CN109831698A - 信息审核方法、装置、电子设备及计算机可读取存储介质 - Google Patents

Abstract

本申请公开了一种信息审核方法、装置、电子设备及计算机可读取存储介质，涉及直播领域。该方法包括：获取目标直播间的待审核内容，所述待审核内容包括直播间描述信息、评论信息和主播信息的至少一种，所述评论信息为预设时间段内所述目标直播间的公屏区域内获取的信息；根据所述待审核内容判断所述目标直播间是否违规；若违规，则将所述目标直播间的标识推送至审核客户端，指示所述审核客户端对所述目标直播间内的即时信息的违规性审核。因此，能够通过直播间内的信息查找到违规的直播间，再将违规的直播间审核，能够避免对所有直播间均审核，而导致审核效率过低，进而降低审核成本。

Description

信息审核方法、装置、电子设备及计算机可读取存储介质

技术领域

本申请涉及直播领域，更具体地，涉及一种信息审核方法、装置、电子设备及计算机可读取存储介质。

背景技术

目前对网络直播的监督方式比较落后，各个直播平台均是采用委任超级管理员人工监督或由群众监督举报。随着直播房间和观众的激增，人工监督的方式显然不能满足管理的需求。

发明内容

本申请提出了一种信息审核方法、装置、电子设备及计算机可读取存储介质，以改善上述缺陷。

第一方面，本申请实施例提供了一种信息审核方法，该方法包括：获取目标直播间的待审核内容，所述待审核内容包括直播间描述信息、评论信息和主播信息的至少一种，所述评论信息为预设时间段内所述目标直播间的公屏区域内获取的信息；根据所述待审核内容判断所述目标直播间是否违规；若违规，则将所述目标直播间的标识推送至审核客户端，指示所述审核客户端对所述目标直播间内的即时信息的违规性审核。

第二方面，本申请实施例还提供了一种信息审核装置，包括：获取单元、判断单元和处理单元。获取单元，用于获取目标直播间的待审核内容，所述待审核内容包括直播间描述信息、评论信息和主播信息的至少一种，所述评论信息为预设时间段内所述目标直播间的公屏区域内获取的信息。判断单元，用于根据所述待审核内容判断所述目标直播间是否违规。处理单元，用于若违规，则将所述目标直播间的标识推送至审核客户端，指示所述审核客户端对所述目标直播间内的即时信息的违规性审核。

第三方面，本申请实施例还提供了一种电子设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述方法。

第四方面，本申请实施例还提供了一种计算机可读取可读介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述方法。

本申请提供的信息审核方法、装置、电子设备及计算机可读取存储介质，会获取目标直播间的直播间描述信息、评论信息和主播信息的至少一种作为待审核内容，其中，评论信息为预设时间段内所述目标直播间的公屏区域内获取的信息，根据所述待审核内容判断所述目标直播间是否违规，如果目标直播间被判定为违规，则将该目标直播间的标识送至审核客户端，以使审核客户端对所述目标直播间内的即时信息的违规性审核。因此，能够通过直播间内的信息查找到违规的直播间，再将违规的直播间审核，能够避免对所有直播间均审核，而导致审核效率过低，进而降低审核成本。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例提供的信息处理方法及装置的应用场景图；

图2示出了本申请一实施例提供的信息审核方法的方法流程图；

图3示出了本申请一实施例提供的直播间界面的示意图；

图4示出了本申请另一实施例提供的直播间界面的示意图；

图5示出了本申请又一实施例提供的直播间界面的示意图；

图6示出了本申请实施例提供的拒绝信息的示意图；

图7示出了本申请另一实施例提供的信息审核方法的方法流程图；

图8示出了本申请又一实施例提供的信息审核方法的方法流程图；

图9示出了本申请实施例提供的信息审核装置的模块框图；

图10示出了本申请实施例提供的电子设备的结构框图；

图11示出了本申请实施例的用于保存或者携带实现根据本申请实施例的信息审核方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

请参阅图1，示出了本申请实施例提供的方法及装置的应用场景图，如图1所示，该客户端安装在第一电子设备100内，第一电子设备100和前端服务器200以及后端服务器300位于无线网络或有线网络中，第一电子设备100和前端服务器200进行数据交互，并且前端服务器200与后端服务器300也能够进行数据交互。另外，审核客户端安装在第二电子设备400，该审核客户端用于对前端服务器200送审的内容审核。

其中，第一电子设备100和第二电子设备400可以为移动电话或智能电话(例如，基于iPhone TM，基于Android TM的电话)，便携式游戏设备 (例如Nintendo DS TM，PlayStation Portable TM，Gameboy Advance TM， iPhone TM)、膝上型电脑、PDA、便携式互联网设备、音乐视频播放器以及数据存储设备。

在一些实施例中，客户端安装在第一电子设备100内，例如，该客户端可以是安装在第一电子设备100的计算机应用程序(Application，APP)，也可以是web客户端，该web客户端指基于Web架构而开发的应用程序。用户在客户端通过帐号登录，则该帐号对应的所有信息可以存储在前端服务器200的存储空间内，其中，该账号对应的信息包括用户通过客户端输入的信息以及用户通过客户端接收的信息等。

则作为一种实施方式，该客户端可以是实时交互应用程序，该客户端具有信息输入界面，用户在该界面内输入信息，并且该信息在客户端的聊天界面内显示，其中，该信息可以包括文本以及图片、视频以及语音等，则该客户端可以是聊天软件、直播软件或者视频播放软件等。

则客户端获取用户输入的信息之后将该信息发送至前端服务器200，前端服务器200将所获取的信息发送至后端服务器300去审核，如果审核通过，就将该信息发布，也就是说，在网络上的其他用户能够接收到该信息，而如果审核不通过，就拦截，从而避免违规信息散播。

作为一种实施方式，第一电子设备100内的客户端录入的数据发送至前端服务器200，前端服务器200将信息发送至后端服务器300审核，未经后端服务器300拦截的信息能够在客户端的界面上显示，在一些实施例中，前端服务器200将未拦截的信息发送至第二电子设备400，并且在审核客户端的界面内显示，审核人员通过该审核客户端对前端服务器200送审的内容审核，具体地，可以是一种人工审核的方式，从而避免违规信息被更多的用户看到，而能够及时对违规信息处理。

但是，发明人在研究中发现，由于客户端的用户群庞大，而前端服务器所获取的客户端内的待审核的信息数量巨大，而现有的审核方式又是针对每个直播间都有审核人员在审核，不仅审核成本过高，而且审核效率低，导致一些违规信息不能够及时被发现。

因此，为了克服上述缺陷，本申请实施例提供了一种信息审核方法，该方法可以应用于电子设备，该电子设备可以是一个审核服务器，具体地，该审核服务器可以是上述前端服务器，也可以是后端服务器，该方法包括： S201至S203。

S201：获取目标直播间的待审核内容，所述待审核内容包括直播间描述信息、评论信息和主播信息的至少一种。

直播间内包括用户评论的信息、进入直播间内的用户的用户信息、主播的相关信息、直播的视频内容等，这些直播间的内容均可能会涉及违规信息，如果置之不理，不仅会污染良好的网络环境而且会损害用户的利益。因此，需要获取直播间内的内容并且对所获取的内容审核，查找出违规的信息，并对违规行为处罚。

具体地，可以获取目标直播间的待审核内容，其中，目标直播间内当前所开启的所有直播间中的一个，具体地，可以是被审核的直播间。

其中，待审核内容包括直播间描述信息、评论信息和主播信息的至少一种，其中，评论信息为预设时间段内所述目标直播间的公屏区域内获取的信息。作为一种实施方式，该待审核内容可以包括直播间描述信息、评论信息和主播信息。

其中，直播间描述信息为用于描述直播间所直播的内容摘要、直播间的ID以及标题等信息，用户通过该直播间描述信息能够在众多直播间中查找到目标直播间，并且能够在进入直播间观看具体内容之前，通过直播间描述可以了解直播间做直播内容的主题、类别等摘要信息。如图3所示，在直播间界面内显示有直播间身份信息303，该直播间身份信息303包括直播间标题和直播间标识，则该直播间标题和直播间标识属于直播间描述信息。如图3中的“标题1”为直播间标题，“ID：123467”为直播间标识。则该界面内还显示有直播视频302和评论信息301，其中，评论信息301为预设时间段内所述目标直播间的公屏区域内获取的信息，需要说明的是，用户在公屏区域内输入的信息由两部分构成，即被拦截的信息和未被拦截的信息，其中，被拦截的信息不在直播间界面内显示，而未被拦截的信息又称为上屏信息，是指能够在直播间界面内显示的信息，即在公屏区域内所显示的信息为上屏信息，即没有被拦截的信息，而本申请实施例中，该评论信息为上述未被拦截的信息。

另外，图3所示的直播间界面内还显示有用户信息304，其中，该用户信息304为加入本直播间的用户的身份信息，具体地，可以是用户的账号或者昵称的至少一种，在一些实施中，目标直播间的待审核内容还可以包括目标用户的身份信息，其中，目标用户为加入目标直播间的用户。

另外，目标直播间内还可以包括子直播间列表，在该子直播间列表内包括多个子直播间的身份信息，如图4所示，该“子标题1”为子直播间的身份信息305，其中，该子直播间可以是目标直播间的主播开播的直播间，其从属于目标直播间，用户进入该目标直播间之后再点击该目标直播间的直播间界面内的子直播间列表中的一个子直播间，然后进入该子直播间内，则该子直播间与目标直播间可以对应同一个主播的身份信息，即是同一个主播开启的直播间。而在另一些实施例中，该子直播间与目标直播间不存在从属关系，而目标直播间为该子直播间提供一个进入接口，即用户可以从目标直播间内的该子直播列表进入某个子直播间，也可以在客户端主界面的直播间列表内点击该子直播间进入，则此处的目标直播间与子直播间不表示二者为主从关系。

则所述目标直播间的直播间描述信息还包括所述子直播间列表内每个所述子直播间的身份信息，具体地，该子直播间的身份信息可以是子直播间的标题。

另外，目标直播间的直播间界面还显示有主播的身份资料，如图4所示，主播身份显示界面306，在该主播身份显示界面306内显示有主播的头像、身份信息、主播介绍信息等，其中，该主播的身份信息可以包括主播的昵称和主播的用户标识(ID)，而主播介绍信息可以包括主播的简介和签名等，用户在直播间界面内点击主播的头像或者其他能够访问主播的身份资料的按键，则客户端获取到主播身份查阅请求，根据该请求在直播间界面内将主播的身份资料显示。则在一些实施例中，如果客户端的直播间界面内未常驻显示主播的身份资料，则当客户端获取到主播身份查阅请求时，表示有用户请求查阅主播的身份资料，则将该主播的身份资料作为待审核内容。当然，也可以是在目标直播间开播的时候，就将直播间对应的主播的身份资料作为待审核内容而审核。由于，某些主播会在昵称或者主播介绍信息中介绍自己从事营销等业务，因此，可以将主播的身份资料作为待审核内容的一部分，而对其审核。

再者，目标直播间的直播间描述信息还包括公告信息，如图5所示，在该直播间界面内还设置有公告显示区域307，在该公告显示区域307显示有直播间的公告信息，该公告信息可以是对目标直播间的开播内容的概要介绍。

S202：根据所述待审核内容判断所述目标直播间是否违规。

作为一种实施方式，前端服务器获取到待审核内容之后，对其是否违规进行审核，进而判断目标直播间是否违规。作为另一种实施方式，还可以是将待审核内容发送至后端服务器，后端服务器在获取到待审核内容之后，对该待审核内容是否违规进行审核，并反馈审核结果，前端服务器根据所反馈的审核结果确定该目标直播间是否违规。于本申请实施例中，可以采用由前端服务器将待审核内容发送至后端服务器审核的方式。

则判断直播间是否违规的方式可以是根据所获取的待审核信息判断在该预设时间段内，待审核信息的增长量，如果该增长量大于指定数据，则判定该直播间违规，这是因为如果有用户在直播间进行诈骗行为，则可能会在短时间内信息大幅度增长，因此，如果增长量猛增，则由可能是存在诈骗或者营销等违规行为，则可以将该直播间判定为违规，并送给审核人员审核。

另外，判断直播间是否违规的方式还可以是判断该待审核内容中是否存在违规信息，根据所查找的违规信息判断直播间是否违规。

则具体地，后端服务器内包括多个审核模块，各个审核模块的审核策略不全相同，从而能够保证以多种不同的审核策略对待审核的内容审核，以使所审核得到的结果更加准确。具体地，该多个审核模块可以包括正则模块、分类审核模块和内容匹配模块。所述正则模块用于查找所述待审核内容内是否包括指定内容，如果包括，则反馈确定违规的审核结果。所述分类审核模块用于确定所述待审核内容所属类别，如果所属类别为指定类别，则反馈确定违规的审核结果。所述内容匹配模块用于判断所述待审核内容是否与指定内容匹配，如果匹配，则反馈确定违规的审核结果。

其中，正则模块为根据正则表达式判断待审核的内容当中是否包括某些指定的内容，正则表达式(也称为“regex”或“regexp”)是一种描述文本字符串或模式的方式，这样程序就可以将该模式与任意文本字符串相匹配，具体地，正则表达式是一种查找以及字符串替换操作，其常被用于检查文本中是否含有指定的特征词、找出文中匹配特征词的位置、从文本中提取信息，比如：字符串的子串等。

例如，phone<-"([0-9]{2})[-.]([0-9]{3})[-.]([0-9]{4})"，其中，[0-9]表示我门要匹配一个数字，用花括号括起来的2则表示[0-9]重复两次，即开头有两个数字，[-.]表示数字之间的分隔符可以“-”也可以是“”和“.”，该正则算法用于判断字符串中是否包括电话号码。则依据此法则，可以预先定义一些指定内容，该指定内容可以属于一些政治敏感类、涉黄类、诈骗类或者广告类，则在判定该待审核内容包括上述指定内容的时候，确定该待审核内容是违规的内容，可以输出一个确定违规的审核结果，否则，可以输出一个不违规的审核结果。

分类审核模块采用的是机器学习文本分类算法。文本分类是指在给定分类体系下，根据文本内容自动确定文本类别的过程。具体的包含贝叶斯文本分类、SVM文本分类、CNN文本分类。则预先定义一些指定类别，如政治敏感类、违背社会公德类等类别，如果该待审核的内容属于该指定类别，则判定该待审核的内容违规，则给出第一个确定违规的审核结果。否则，可以输出一个不违规的审核结果。

内容匹配模块用于判断所述待审核内容是否与指定内容匹配，则虽然内容匹配模块也是用于将待审核内容与指定内容匹配，但是二者的策略上有所不同，在内容匹配模块中给出的结果是二者不同，但是在正则模块可能判定二者是相同，再例如“加额的QQ”通过正则模块可以确定该内容包括“加qq”这个内容，而如果通过内容匹配模块将“加额的QQ”与“加qq”匹配，得到的结果可能是二者不匹配，即“加额的QQ”未包括“加qq”。

作为一种实施方式，后端服务器内包括多个词典，每个词典为包含多个文本的数据集，例如，按照词库的类别划分，多个词库可以包括商品广告、涉嫌赌博、药物毒品、枪械刀具、涉及政治、色情广告、诈骗、非法网址以及低俗谩骂等。而每个词库中又包括多个词条。

另外，在将用户发送的待审核的内容与词库里的各个词条匹配的时候，会存在完全一致以及部分一致的情况，例如，商品广告类中，如果待审核的内容包括商品广告类的全部词条，则判定待审核的内容属于商品广告类，并且反馈确定违规的审核结果。而对于低俗谩骂来的词条，只要部分包含词条，就确定为违规，则判定为命中了该低俗谩骂的词条，则反馈确定违规的审核结果。

另外，多个审核模块在并行执行，具体地，在获取到待审核的内容之后，同时启动多个线程，且多个线程同时运行，而每个线程用于运行一个审核模块。作为另一种实施方式，还可以是后端服务器内包括多个运算芯片，每个运算芯片运行一个审核模块，多个运算芯片同时运行以使多个审核同步执行，即实现并行。

在审核服务器能够检测到待审核内容中的违规信息，根据该违规信息确定所述目标直播间是否违规，具体地，可以是在检测到待审核内容中包括违规信息的时候，就判断该待审核内容是违规的，进而判断该目标直播间违规，当然也可以是在包括多个违规信息的时候才判定目标直播间违规，具体，可以参考后续实施例。

S203：则将所述目标直播间的标识推送至审核客户端，指示所述审核客户端对所述目标直播间内的即时信息的违规性审核。

在审核服务器根据待审核内容中的违规信息确定目标直播间违规之后，将目标直播间的标识发送至审核客户端，审核人员在审核客户端的指定界面内能够看到该目标直播间的标识，具体地，该目标直播间的标识可以通过列表的形式展现，即该列表为审核列表，在该审核列表内包括多个违规的直播间的标识、并注明了审核时间长度和该直播间的主播的身份信息，则审核人员根据每个直播间对应的审核时间长度对该直播间的即时信息的违规性审核，例如，该审核时间长度为1小时，则表示审核人员可以对该直播间的即时信息审核一小时。

另外，上述的审核时间长度可以根据直播间的违规类别而设定，则违规类别与违规信息的数量、种类等相关，具体地，请参看后续实施例。

其中，即时信息包括直播间的直播内容和公屏区域内的评论内容，还可以包括频道信息和主播信息。则审核人员对直播间的即时信息，如果该即时信息出现违规现象，则可以对该直播间执行处罚措施，具体地，可以对该直播间执行冻结处罚操作。其中，该冻结处罚操作包括将已经加入处于违规状态的直播间内的用户踢出，并且为该直播间设置一个处罚时长，在该处罚时长内用户无法进入该直播间，作为一种实施方式，在进入该直播间的时候，客户端显示无法进入该直播间的拒绝信息。

作为一种实施方式，客户端可以将处于违规状态的直播间的标识不在客户端的直播间列表界面内显示，具体地，该直播间列表界面可以位于客户端的主界面，即在用户成功登录该客户端之后所显示的界面，则在该直播间列表界面内显示有多个直播间的缩略图和标识，用户点击某个直播间的标识或者缩略图则能够输入进入该直播间内的请求，客户端查找该请求对应的直播间是否处于违规状态，如果处于违规状态，则禁止用户进入该直播间并且显示无法进入该直播间的拒绝信息。则该拒绝信息如图6所示，可以通过一个弹窗的方式展示该拒绝信息，如图6所示的该拒绝信息为“该直播间由于涉及违规内容被冻结！请于[2018-12-18 19:25]再尝试进入。”，则通过该拒绝信息用户能够知晓所要进入的直播间已经被冻结，原因是涉及违规，并且也可以知晓该直播间可能恢复开启状态的时间为2018年12 月18日的19:25时刻，则用户可以在2018年12月18日19:25之后再尝试进入该直播间。因此，在审核人员为违规的直播间执行处罚操作的时候，还可以为该处罚设定一个持续时间段，即在该持续时间段内该处罚有效。

作为另一种实施方式，还可以是不仅对该直播间设置冻结状态，还可以在直播间列表界面内清除该违规的直播间对应的显示信息，所述显示信息可以是上述的直播间的缩略图和标识。并且将该显示信息替换为默认信息，则用户在该直播间列表界面内看到的是该违规的直播间对应的默认信息，例如，该默认信息可以是一个空白图片。

因此，通过收集直播间内的直播间描述信息、评论信息和主播信息至少一种的信息，并作为待审核内容，对该待审核内容是否违规进行审核，如果违规，则将该直播间的标识发送至审核客户端以进行审核，则如果直播间内的主播或者用户在公屏区域内发送“找兼职加qq：12121212”，或者某个标题、用户名称以及公告信息中包括涉及诈骗等违规信息的时候，该直播间就会被送审，而如果不涉及违规信息，则该直播间可以不送审，不仅少了审核人员的工作了，提高了审核效率，而且能够选出涉及违规的直播间送审，避免审核人员因所审的内容过多而在审核过程中遗漏违规信息。

另外，考虑到涉及违规的直播间的主播可能会开启其他的直播间，或者在一些诈骗的场景中，某个主播在一个直播间内宣传诈骗信息，诱导其去其他用户进入其他直播间以进行诈骗行为，例如，主播先在A频道(客服人员)发招聘信息，让用户去B频道，主播开启B频道，在B频道(招聘人员)宣讲诈骗内容，引导去C频道，主播再开启C频道，再在C频道 (财务人员)进行具体诈骗行为，其中，该频道可以理解为直播间。

则为了避免对某个涉及违规的直播间违规，但是，该直播间的主播可能会开启其他直播间执行诈骗等违规行为，虽然可以通过对该直播间的信息审核来判定该直播间是否违规，从而对其审核，但是，可能在审核的过程中，已经有用户看到该违规信息，而为了减少违规信息的扩散，使得违规信息扩散范围和时间尽可能的小，请参阅图7，本申请实施例提供了一种信息审核方法，该方法包括：S701至S705。

S701：获取目标直播间的待审核内容，所述待审核内容包括直播间描述信息、评论信息和主播信息的至少一种。

S702：根据所述待审核内容判断所述目标直播间是否违规。

S703：将所述目标直播间的标识推送至审核客户端，指示所述审核客户端对所述目标直播间内的即时信息的违规性审核。

S704：在当前开启的所有直播间中，查找在与所述目标直播间的主播的身份信息相同的直播间。

在判定目标直播间违规之后，获取该目标直播间对应的主播的身份信息，具体地，该主播的身份信息可以是主播的账号，然后，获取当前处于开启状态的所有直播间的标识，并且在直播间记录表中查找每个直播间对应的主播的身份信息，作为待选身份信息。

作为一种实施方式，每个主播通过客户端开启的所有直播间均被存储在客户端对应的服务器内，例如，可以是由前端服务器记录。具体地，主播在开播的时候，会发送一个开播请求至前端服务器，该开播请求绑定有主播的身份信息，前端服务器为该开播请求分配一个直播间标识，并且将直播间标识与主播的身份信息绑定存储，并且在该直播间记录表中，每个直播间的状态也会被记录，例如，开启状态以及关闭状态，则根据该直播间记录表就能够查找到当前所有处于开启状态的直播间以及每个直播间对应的主播的身份信息，将所查找到的所有的主播的身份信息作为待选身份信息。

获取所述目标直播间所对应的主播的身份信息，将所述目标直播间所对应的主播的身份信息与所述待选身份信息中的每个身份信息匹配，查找到与所述目标直播间所对应的主播的身份信息一致的身份信息，作为目标身份信息。

S705：将所查找到的直播间的标识发送至审核客户端，指示所述审核客户端对所查找到的直播间内的即时信息的违规性审核。

将所述目标身份信息对应的直播间的标识均发送至审核客户端，指示所述审核客户端对所述目标身份信息对应的直播间的标识的即时信息的违规性审核，具体的审核方式以及违规之后的处罚措施可以参考前述实施例，在此不再赘述。

从而，能够避免仅仅将主播开播的一个违规的直播间送审，而主播可以在其他未被发现是违规的直播间内继续执行违规操作，则可以在确定某个直播间违规的情况下，将该直播间对应的主播所开启的所有的直播间均送审。

例如，在上述诈骗行为的场景中，主播在直播间A内发布招聘信息，而被判定为该直播间A违规，则将该直播间A送审，审核人员对该直播间A 审核，则可以通过将该直播间A冻结的方式，强行将直播间A内的用户踢出并且阻止其他用户加入该直播间A。

而如果用户被直播间A内的招聘信息诱导，而进入该主播所开启的直播间B，由于该直播间B所对应的主播与直播间A所对应的主播是相同的，则该直播间B在开启的时候，就会被送审，审核人员能够第一时间对该直播间B审核，如果确定该直播间B违规，能够快速将该直播间B冻结，能够第一时间避免用户加入直播间B，即使该主播又开启了其他的直播间，例如，直播间C和D，则也会被送审。也就是说，在发现一个直播间违规的情况下，该直播间对应的主播所开启的所有直播间都会被审核。

即使该直播间B的主播与直播间A的主播不是同一个主播，则可以将直播间B作为新的目标直播间而返回执行S701，如果确定违规，则依然可以送审。

另外，如果目标直播间的界面还包括子直播间列表，则将该子直播间的标识也发送至审核客户端，指示所述审核客户端对该子直播间的标识内的即时信息的违规性审核，因为该子直播间所对应的主播可能与目标直播间的主播相同，也可能不同，但是，该子直播间位于该目标直播间的界面内，属于疑似违规的直播间，则均可以送审，即将该子直播间的标识也发送至审核客户端，指示所述审核客户端对该子直播间的标识内的即时信息的违规性审核。另外，该子直播间可能会处于开启状态，也可能处于关闭状态，则在确定目标直播间违规的情况下，确定该目标直播间内的所有子直播间内处于开启状态的子直播间，将处于开启子直播间的标识发送至审核客户端审核，并且对处于关闭状态的子直播间监测其状态，一旦变为开启状态，也立即发送至审核客户端审核。

另外，送审的直播间还可以和直播间内的用户人数有关，具体地，在确定目标直播间违规的时候，获取该目标直播间内的用户人数，如果该用户人数超过指定人数，则将所述目标直播间的标识推送至审核客户端，指示所述审核客户端对所述目标直播间内的即时信息的违规性审核，如果该用户人数不超过指定人数，则暂时不送审并且检测该目标直播间内的用户人数，若超过该指定人数，则将该目标直播间送审。

另外，还可以设定一个超时机制，如果该目标直播间的用户人数处于不超过指定人数的时间长度大于或等于指定时间长度，则表示该目标直播间无人关注，则可以放弃对该直播间内的即时信息的违规性的审核。具体地，在确定目标直播间违规的时候，获取该目标直播间内的用户人数，判断该用户人数是否大于指定人数，如果不大于，则执行计时操作，具体地，该计时操作为以判定该用户人数不大于指定人数的时间点为起点，统计该目标直播间的用户人数处于不超过指定人数的持续时间长度，如果该持续时间长度大于或等于指定时间长度，则放弃对该目标直播间的送审，但是，依然可以执行S704和S705，以及将该目标直播间的主播的身份信息写入黑名单。这是因为，虽然目标直播间内用户人数过少，即使不送审也可以，但是，该目标直播间违规则表示该目标直播间的主播所开启的其他直播间也涉嫌违规，以及该目标直播间内的子直播间也涉嫌违规，则依然可以将该主播所开启的所有直播间以及该子直播间均送审。

另外，还可以设置一个黑名单，其中，所述黑名单内的身份信息在开启直播间时，所开启的直播间的即时信息的违规性会被所述审核客户端审核。则有主播开启直播间的时候，先确定该主播是否属于黑名单内，如果属于，则将该直播间的标识送至审核客户端，对该直播间的即时信息的违规性审核。

因此，在将所述目标直播间的标识推送至审核终端之后，将所述主播的身份信息写入黑名单，则一旦该目标直播间的主播再次开启直播间的时候，由于该主播的身份信息在黑名单内，则该主播的身份信息开启的所有直播间都会被送审。另外，在上述的该目标直播间的用户人数处于不超过指定人数的时间长度大于或等于指定时间长度的时候，该目标直播间即使不会送审，也可以将该目标直播间的主播的身份信息写入该黑名单内。

另外，可以为黑名单内的身份信息设置一个监管时限，在监管时限结束时，从黑名单内将身份信息删除，其中，该监管时限可以是根据需求而设定的，例如，一周或者一个月，作为另一种实施方式，该监管时限也可以根据直播间的违规类别而设定，则违规类别与违规信息的数量、种类等相关，具体地，在后续实施例内介绍。

需要说明的是，上述步骤未详细描述的部分，可参考前述实施例，在此不再赘述。

再者，有些直播间内可能是部分用户偶尔发布了违规信息或者审核模块将几条本不应该属于违规信息的内容判定为违规，则需要对违规的次数做一个统计，以便能更加精确的判定直播间是否违规，具体地，请参阅图8，示出了一种信息审核方法，该方法包括：S801至S806。

S801：获取目标直播间的待审核内容，所述待审核内容包括直播间描述信息、评论信息和主播信息的至少一种。

S802：判断所述待审核内容中是否存在违规信息。

S803：确定所述待审核内容中属于违规信息的信息总数。

如果待审核内容中存在违规信息，则执行S803。具体地，待审核内容可以包括多个待审核信息，例如，多条评论信息、直播间描述信息中的多条文本，则对待审核内容拆分，以获取多个待审核信息，其中，可以是将一条评论信息作为一个待审核信息，也可以是将一段文本内容中的多个句子分成一个待审核信息，还可以是将一个句子中的一个词组或一个字作为一个待审核信息。

对上述的多个待审核信息分别审核，每当有一个审核信息属于违规信息的时候，则计一次数，对所有待审核信息审核完毕之后，就能够确定待审核内容中属于违规信息的信息总数。也就是说，待审核内容对应的多个待审核信息中，没命中一个，就将信息总数加一，其中，命中是指违规，从而能够统计到总命中数，即该待审核内容中属于违规信息的信息总数。

S804：判断所述信息总数是否大于指定数值。

其中，指定数值可以是根据经验而设定的固定数值，例如，可以是20，还可以是与待审核内容中的待审核信息的总量有关，例如，该指定数值为待审核信息的信息总量与指定比例的乘积，其中，该指定比例为根据经验而设定的比例值，例如，可以是20％。

S805：判定所述目标直播间违规。

如果所述信息总数大于指定数值，则判定目标直播间违规，如果该信息总是小于或等于指定数值，则该目标直播间暂时不违规，可以结束本次方法，进而继续获取目标直播间的待审核内容，进行下一次目标直播间的违规与否的判断操作。

通过统计待审核内容中的违规信息的数量，在数量大于指定数值的时候再判定目标直播间违规，能够避免部分用户偶尔发布了违规信息或者审核模块将几条本不应该属于违规信息的内容判定为违规的情况下，将目标直播间误判为违规。

S806：将所述目标直播间的标识推送至审核客户端，指示所述审核客户端对所述目标直播间内的即时信息的违规性审核。

另外，审核服务器可以在判定目标直播间违规之后，设定审核时间长度，则该审核时间长度可以根据直播间的违规类别而设定，则违规类别与违规信息的数量、种类等相关。

作为一种实施方式，确定所述直播间的违规类型，根据所述违规类型确定目标直播间的违规类别。其中，违规类型可以包括商品广告、涉嫌赌博、药物毒品、枪械刀具、涉及政治、色情广告、诈骗、非法网址以及低俗谩骂等，具体地，在对待审核内容内的多个待审核信息审核的时候，确定违规信息的时候，确定该违规信息的类别，并且统计所有的违规信息中类别占比最高的类别，将占比最高的类别作为该待审核内容的违规类别，从而作为该目标直播间的违规类别。获取预设的违规类别与审核时间长度的第一对应关系，其中，第一对应关系中包括多个违规类别和每个违规类别对应的审核时间长度，则在第一对应关系中查找目标直播间的违规类别对应的审核时间长度，并发送至审核客户端，提醒使用该审核客户端对目标直播间的即时信息审核的审核人员所审核的时间长度不得低于该目标直播间的违规类别对应的审核时间长度。

作为另一种实施方式，除了采用上述的根据违规类别确定审核时间长度之外，还可以采用违规信息的数量来确定。具体地，根据上述S803能够获取待审核内容中违规信息的数量，即违规信息的信息总数，然后，确定该信息总数所处于的数量段，则该数量段可以是数值区间，例如， [0-100],[101-199]等。然后，获取预设的违规信息的数量与审核时间长度的第二对应关系，第二对应关系包括多个违规数量和审核时间长度，其中，每个违规数量对应一个审核时间长度，而违规数量为违规信息的数量，即待审核内容中的违规信息的总数量。则在第二对应关系中查找目标直播间的违规信息的信息总数对应的审核时间长度，并发送至审核客户端，提醒使用该审核客户端对目标直播间的即时信息审核的审核人员所审核的时间长度不得低于该目标直播间的违规类别对应的审核时间长度。

其中，上述的违规类别和违规信息的数量统称为违规参数。则可以根据目标直播间的违规参数设置审核时间长度，其中，违规数量越多和/或违规级别越高，审核时间长度越长，其中，违规级别与违规类别有关，可以预先为每个违规类别对应一个违规级别。

另外，上述的处罚时长也可以根据该违规参数而设定，具体地，可以获取预设的第三对应关系和第四对应关系，其中，第三对应关系包括多个违规类别和处罚时长，其中，每个违规类别对应一个处罚时长，而第四对应关系包括多个违规数量和处罚时长，其中，每个违规数量对应一个处罚时长，则根据该第三对应关系和第四对应关系也能够确定目标直播间所对应的处罚时长，其中，违规数量越多和/或违规级别越高，处罚时长越长，其中，违规级别与违规类别有关，可以预先为每个违规类别对应一个违规级别。

再者，上述超时机制中的指定时间长度也可以根据该违规参数而设定，具体地，可以获取预设的第五对应关系和第六对应关系，其中，第五对应关系包括多个违规类别和指定时间长度，其中，每个违规类别对应一个指定时间长度，而第六对应关系包括多个违规数量和指定时间长度，其中，每个违规数量对应一个指定时间长度，则根据该第五对应关系和第六对应关系也能够确定目标直播间所对应的指定时间长度，其中，违规数量越多和/或违规级别越高，指定时间长度越长，其中，违规级别与违规类别有关，可以预先为每个违规类别对应一个违规级别。

因此，审核服务计算频道(直播间)相关信息，挖掘疑似欺诈频道，调用自动化举报送审，对高危OW(主播)开播推送巡查，能够第一时间发现欺诈行为，避免用户损失。

需要说明的是，上述步骤未详细描述的部分，可参考前述实施例，在此不再赘述。

请参阅图9，其示出了本申请实施例提供的一种信息审核装置900的结构框图，该装置可以包括：获取单元901、判断单元902和处理单元903。

获取单元901，用于获取目标直播间的待审核内容，所述待审核内容包括直播间描述信息、评论信息和主播信息的至少一种，所述评论信息为预设时间段内所述目标直播间的公屏区域内获取的信息。

其中，所述目标直播间的直播间描述信息包括所述目标直播间的标题和公告信息，具体地，所述目标直播间的界面还包括子直播间列表，所述目标直播间的直播间描述信息还包括所述子直播间列表内每个所述子直播间的标题。

判断单元902，用于根据所述待审核内容判断所述目标直播间是否违规。

具体地，所述判断单元902用于判断所述待审核内容中是否存在违规信息；如果存在，则确定所述待审核内容中属于违规信息的信息总数；判断所述信息总数是否大于指定数值；若大于，则判定所述目标直播间违规。

处理单元903，用于若违规，则将所述目标直播间的标识推送至审核客户端，指示所述审核客户端对所述目标直播间内的即时信息的违规性审核。

其中，所述即时信息包括直播内容和公屏区域内的评论内容。

进一步的，所述主播信息包括主播的身份信息，所述装置还包括附加送审单元，用于在当前开启的所有直播间中，查找在与所述目标直播间的主播的身份信息相同的直播间；将所查找到的直播间的标识发送至审核客户端，指示所述审核客户端对所查找到的直播间内的即时信息的违规性审核。

进一步的，所述主播信息包括主播的身份信息，所述装置还包括拉黑单元，用于将所述主播的身份信息写入黑名单，其中，所述黑名单内的身份信息在开启直播间时，所开启的直播间的即时信息的违规性会被所述审核客户端审核。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请参考图10，其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备300’可以是智能手机、平板电脑、电子书等能够运行应用程序的电子设备。于本申请实施中，该电子设备300’为上述的审核服务器。

本申请中的电子设备300’可以包括一个或多个如下部件：处理器110、存储器120以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器110 可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列 (ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。

存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备300’在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

请参考图11，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质1100中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质1100可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质1100包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质1100具有执行上述方法中的任何方法步骤的程序代码1110的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码1110可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种信息审核方法，其特征在于，包括：

获取目标直播间的待审核内容，所述待审核内容包括直播间描述信息、评论信息和主播信息的至少一种，所述评论信息为预设时间段内所述目标直播间的公屏区域内获取的信息；

根据所述待审核内容判断所述目标直播间是否违规；

若违规，则将所述目标直播间的标识推送至审核客户端，指示所述审核客户端对所述目标直播间内的即时信息的违规性审核。

2.根据权利要求1所述的方法，其特征在于，所述主播信息包括主播的身份信息，所述将所述目标直播间的标识推送至审核终端之后，还包括：

在当前开启的所有直播间中，查找在与所述目标直播间的主播的身份信息相同的直播间；

将所查找到的直播间的标识发送至审核客户端，指示所述审核客户端对所查找到的直播间内的即时信息的违规性审核。

3.根据权利要求1所述的方法，其特征在于，所述根据所述待审核内容判断所述目标直播间是否违规，包括：

判断所述待审核内容中是否存在违规信息；

如果存在，则确定所述待审核内容中属于违规信息的信息总数；

判断所述信息总数是否大于指定数值；

若大于，则判定所述目标直播间违规。

4.根据权利要求1-3任一所述的方法，其特征在于，所述目标直播间的直播间描述信息包括所述目标直播间的标题和公告信息。

5.根据权利要求4所述的方法，其特征在于，所述目标直播间的界面还包括子直播间列表，所述目标直播间的直播间描述信息还包括所述子直播间列表内每个所述子直播间的标题。

6.根据权利要求1-3任一所述的方法，其特征在于，所述主播信息包括主播的身份信息，所述将所述目标直播间的标识推送至审核终端之后，还包括：

将所述主播的身份信息写入黑名单，其中，所述黑名单内的身份信息在开启直播间时，所开启的直播间的即时信息的违规性会被所述审核客户端审核。

7.根据权利要求1-3任一所述的方法，其特征在于，所述即时信息包括直播内容和公屏区域内的评论内容。

8.一种信息审核装置，其特征在于，包括：

获取单元，用于获取目标直播间的待审核内容，所述待审核内容包括直播间描述信息、评论信息和主播信息的至少一种，所述评论信息为预设时间段内所述目标直播间的公屏区域内获取的信息；

判断单元，用于根据所述待审核内容判断所述目标直播间是否违规；

处理单元，用于若违规，则将所述目标直播间的标识推送至审核客户端，指示所述审核客户端对所述目标直播间内的即时信息的违规性审核。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-7任一项所述的方法。

10.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行所述权利要求1-7任一项所述方法。