CN115774768A - 一种消息模板的审核方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请公开了一种消息模板的审核方法、装置、电子设备和存储介质。所述方法包括：接收消息平台发送的模板审核请求，根据模板审核请求中的消息模板信息，获取所述消息模板中的素材ID、文本内容和上传者的账号信息；根据第一审核数据库对素材ID进行审核，得到第一审核结果；根据第二审核数据库对文本内容进行审核，得到第二审核结果；当第一审核结果和第二审核结果皆为通过时，获取第三方发送的第三审核结果；当第三审核结果为不通过时，将账号信息加入黑名单，根据消息平台信息向所述消息平台返回审核结果。本申请所公开的技术方案，能够解决现有技术中无法对消息模板进行有效安全审核的问题。

Description

一种消息模板的审核方法、装置、电子设备和存储介质

技术领域

本申请涉及消息模板审核技术领域，尤其涉及一种消息模板审核的方法、装置、电子设备和存储介质。

背景技术

5G消息模板是由素材+文本内容组合成的，其中素材包含图片、音频、视频等富媒体载体，然而，目前5G消息模板常用的安全审核方式只单独审核素材和文本，对于素材+文本一起审核的场景没有覆盖，例如发的图片中隐含非法内容，文本内容是手机号、地址等联系方式。对此现有技术中对并没有很好的针对性的防范措施。

发明内容

本申请实施例提供了消息模板的审核方法、装置、电子设备和存储介质，以实现消息模板的全面审核。

本申请实施例采用下述技术方案：

第一方面，本申请实施例提供一种消息模板的审核方法，该方法包括：

接收消息平台发送的模板审核请求，所述模板审核请求中包含消息平台信息，消息模板信息；

根据所述消息模板信息，获取所述消息模板中的素材ID、文本内容和上传者的账号信息；

根据预设的第一审核数据库对所述素材ID进行审核，得到第一审核结果；根据预设的第二审核数据库对所述文本内容进行审核，得到第二审核结果；

当所述第一审核结果和第二审核结果皆为通过时，获取第三方发送的第三审核结果；

当所述第三审核结果为不通过时，将所述账号信息加入黑名单；

根据所述消息平台信息向所述消息平台返回审核结果。

可选的，所述接收消息平台发送的模板审核请求包括：

消息平台的客户端将需要上传的素材进行MD5加密，生成对应的素材ID，并将所述素材上传到消息平台的素材数据库中；

消息平台的客户端创建消息模板，将创建完成的消息模板发送给消息平台，所述消息模板中包含素材ID和文本内容；

消息平台向安全审核平台发送模板审核请求，所述模板审核请求中包含消息模板的素材ID、文本内容、上传者的账号信息、消息平台ID、回跳地址。

可选的，所述第一审核数据库为素材黑名单，所述素材黑名单中包含至少一个不合法素材的素材ID；

所述根据预设的第一审核数据库对所述素材ID进行审核，得到第一审核结果包括：

将所述素材ID与素材黑名单进行匹配，当匹配成功时，得到审核不通过结果；当匹配失败时，得到审核通过结果；

所述第二审核数据库为敏感词数据库，所述敏感词数据库中包含至少一个敏感词。

所述根据预设的第二审核数据库对所述文本内容进行审核，得到第二审核结果包括：

将所述文本内容与敏感词数据库中的敏感词进行匹配，当匹配成功时，得到审核不通过结果；当匹配失败时，得到审核通过结果；

可选的，所述获取第三方发送的第三审核结果包括：

通过所述消息平台ID获取所述消息平台对应的素材数据库，根据所述素材ID从所述素材数据库中获取所述素材内容，通过人工或人工智能对所述素材内容和文本内容进行识别，得到第三审核结果；

当所述第三审核结果为不通过时，将所述上传者的账号信息加入黑名单包括：

当素材内容不合法时，返回素材内容不合法的第三审核结果，根据所述第三审核结果将所述上传者的账号信息加入黑名单，并将所述素材内容对应的素材ID加入所述第一审核数据库；

当素材内容和文本内容组合不合法时，返回素材内容和文本内容组合不合法的第三审核结果，根据所述第三审核结果将所述上传者的账号信息加入黑名单。

可选的，当所述第一审核结果和第二审核结果中至少一个为不通过时，将所述上传者的账号信息加入黑名单。

可选的，所述根据所述消息平台信息向所述消息平台返回审核结果包括：

根据所述消息平台ID和回跳地址，将审核结果反馈给消息平台。

第二方面，本申请实施例还提供一种消息模板的安全审核装置，所述安全审核装置包括：

接收单元，用于接收消息平台发送的模板审核请求，所述模板审核请求中包含消息平台信息，消息模板信息；

获取单元，用于根据所述消息模板信息，获取所述消息模板中的素材ID、文本内容和上传者的账号信息；

审核单元，用于根据预设的第一审核数据库对所述素材ID进行审核，得到第一审核结果；根据预设的第二审核数据库对所述文本内容进行审核，得到第二审核结果；当所述第一审核结果和第二审核结果皆为通过时，获取第三方发送的第三审核结果；当所述第三审核结果为不通过时，将所述账号信息加入黑名单；

反馈单元，用于根据所述消息平台信息向所述消息平台返回审核结果。

可选的，获取单元，用于通过所述消息平台ID获取所述消息平台对应的素材数据库，根据所述素材ID从所述素材数据库中获取所述素材内容；

审核单元，用于通过人工或人工智能对所述素材内容和文本内容进行识别，得到第三审核结果；其中，当素材内容不合法时，返回素材内容不合法的第三审核结果，根据所述第三审核结果将所述上传者的账号信息加入黑名单，将所述素材ID加入所述第一审核数据库；当素材内容和文本内容组合不合法时，返素材内容和文本内容组合不合法的第三审核结果，根据所述第三审核结果将所述上传者的账号信息加入黑名单。

第三方面，本申请实施例还提供一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上任一所述的数据清理方法。

第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行如上任一所述的数据清理方法。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：可见，在本申请中，通过预设的第一审核数据库对所述素材ID进行审核，以及通过预设的第二审核数据库对所述文本内容进行审核，能够在完备的审核数据库下，提高对消息模板的审查效率，即能够过滤掉大部分消息模板。在此基础上，再通过第三方审核对进行了预审之后的消息模板进行更加细致的审核，并结合第三方审核的结果，扩充第一审核数据库，从而实现降低对非法素材的重复利用。并且，通过将上传非法素材的账号信息加入黑名单，从源头上减少非法素材的传播。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为根据本申请一个实施例的一种消息模板的审核方法的流程示意图；

图2为根据本申请一个实施例的一种消息模板的审核方法的详细流程示意图；

图3为根据本申请一个实施例的一种消息模板的安全审核装置的结构示意图；

图4为本申请实施例中一种电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中涉及的是针对消息平台中上传的消息模板的安全审核。目前针对5G消息平台中上传的模板，其常用的安全审核方式只单独审核素材和文本，对于素材+文本一起审核的场景没有覆盖，例如发的图片隐含非法内容，文本内容是手机号、地址等联系方式。因此，现有的针对消息模板的审查存在不够全面的难题。本申请的技术方案就主要就是解决这一技术问题而提出的。

本申请的发明构思在于：先对消息模板中的素材内容和文本内容分别进行安全审查，然后再通过第三方如人工或人工智能的方式对素材内容和文本内容的整体进行安全审核，从而能够提高对消息模板的审核效率和审查的准确性。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为根据本申请一个实施例的一种消息模板的审核方法的流程示意图。参见图1所示，该方法包括以下步骤：

步骤S101，接收消息平台发送的模板审核请求，所述模板审核请求中包含消息平台信息，消息模板信息。

步骤S102，根据所述消息模板信息，获取所述消息模板中的素材ID、文本内容和上传者的账号信息。

步骤S103，根据预设的第一审核数据库对所述素材ID进行审核，得到第一审核结果；根据预设的第二审核数据库对所述文本内容进行审核，得到第二审核结果。

步骤S104，当所述第一审核结果和第二审核结果皆为通过时，获取第三方发送的第三审核结果。

步骤S105，当所述第三审核结果为不通过时，将所述账号信息加入黑名单。

步骤S106，根据所述消息平台信息向所述消息平台返回审核结果。

可见，在本申请中，由于上传的素材都会有一个对应的素材ID，通过预设的第一审核数据库对素材ID进行审核，过滤掉存在非法素材的消息模板；然后再通过预设的第二审核数据库对文本内容进行审核，过滤掉存在非法敏感词的消息模板，因此能够在完备的第一审核数据库和第二审核数据库的作用下，提高对消息模板的审查效率，即能够过滤掉大部分的使用了非法素材或包含敏感词的消息模板。在此基础上，再通过第三方对该消息模板进行更加细致的审核，并结合第三方审核的结果，扩充第一审核数据库，从而实现降低非法素材的重复利用，以及通过将上传非法素材的账号信息加入黑名单，从源头上减少非法素材的传播。

图2为根据本申请一个实施例的一种消息模板的审核方法的详细流程示意图。参见图2所示，该方法包括以下步骤：

步骤S201，消息平台的客户端创建消息模板，并上传给消息平台。

在步骤S201中，消息平台的客户端将需要上传的素材进行MD5加密，生成对应的素材ID，并将所述素材上传到消息平台的素材数据库中。

消息平台的客户端创建消息模板时，可以从素材数据库中选取素材，选取素材之后，配上文本内容之后，生成消息模板。将创建完成的消息模板发送给消息平台，所述消息模板中包含素材ID和文本内容。

在本申请的一种具体实施例中，消息平台的客户端可以为网页客户端，用户打开消息平台的网页界面，点击对应的增加消息模板功能按键。然后在弹出的网页界面中上传素材、选取素材以及编辑文本内容等操作。

步骤S202，消息平台向安全审核平台发送模板审核请求。

在步骤S202中，在客户端上传了消息模板之后，消息平台会基于该消息模板向安全审核平台发送模板审核请求，安全审核平台审核该消息模板中是否包含了不合法的内容。其中，所述模板审核请求中包含消息模板的素材ID、文本内容、上传者的账号信息、消息平台ID、回跳地址。

步骤S203，安全审核平台根据所述消息模板信息，获取所述消息模板中的素材ID、文本内容和上传者的账号信息。

步骤S204，根据预设的第一审核数据库对所述素材ID进行审核，得到第一审核结果。

在步骤S204中，所述第一审核数据库为素材黑名单，所述素材黑名单中包含至少一个不合法素材的素材ID；将所述素材ID与素材黑名单进行匹配；当匹配成功时，表明当前的素材ID所对应的素材为不合法素材，得到审核不通过结果；当匹配失败时，表明当前的素材ID所对应的素材为合法素材，得到审核通过结果。

步骤S205，根据预设的第二审核数据库对所述文本内容进行审核，得到第二审核结果。

在步骤S205中，所述第二审核数据库为敏感词数据库，所述敏感词数据库中包含至少一个敏感词；将所述文本内容与敏感词数据库中的敏感词进行匹配；当匹配成功时，表明当前的文本内容中存在敏感词，得到审核不通过结果；当匹配失败时，表明当前的文本内容中不存在敏感词，得到审核通过结果。

步骤S206，当所述第一审核结果和第二审核结果皆为通过时，进入步骤 207，当所述第一审核结果和/或第二审核结果为不通过时，进入步骤S210，

步骤S207，第三方获取消息模板的素材ID、文本内容，对素材内容和文本内容进行审核，返回第三审核结果；

在步骤S207中，第三方审核可以为人工审核方式，或者是人工智能审核方式。即第三方通过模板审核请求中包含消息模板的素材ID、文本内容、上传者的账号信息、消息平台ID、回跳地址，从消息平台ID对应的素材数据库中，根据所述素材ID从所述素材数据库中获取所述素材内容，通过人工或人工智能对所述素材内容和文本内容进行识别，得到第三审核结果。具体而言，在审核平台的对外接口中定义相关参数，当消息平台接入时，根据对外接口中包含的素材内容参数、文本内容参数、账号信息参数、消息平台参数等，发送对应的模板审核请求。审核平台在获取到对应的参数信息之后，得到对应的待审核模板，再对待审核模板进行审核。

当采用人工智能审核方式时，通过训练好的图像内容识别算法，对图像类的素材内容进行识别，通过训练好的视频内容识别算法，对视频类的素材内容进行识别。具体而言，可以采用标注好的包含素材内容和文本内容的样本，对创建好的卷积神经网络模型进行模型训练，使其能够准确的识别不合法的素材内容和文本内容组合。

步骤S208，第三方对素材内容进行审核。

在步骤S208中，第三方根据所述素材ID从所述素材数据库中获取所述素材内容。对获取的素材内容进行审核，当素材内容不合法时，返回的第三审核结果中表明当前素材内容不合法。然后将所述上传者的账号信息加入黑名单。还可以将所述素材ID加入所述第一审核数据库。

步骤S209，第三方对素材内容和文本内容进行审核。

在步骤S209中，第三方根据所述素材ID从所述素材数据库中获取所述素材内容，对获取的素材内容和文本内容进行审核，当素材内容和文本内容组合之后不合法时，返回的第三审核结果中表明素材内容和文本内容组合之后不合法，即单独的素材内容合法，单独的文本内容合法，但是素材内容和文本内容组合之后不合法。将所述上传者的账号信息加入黑名单。

步骤S210，根据所述消息平台信息向所述消息平台返回审核结果

在步骤S210中，消息平台信息中包含消息平台ID和对应于的回跳地址，根据所述消息平台ID和回跳地址，将审核结果反馈给消息平台。消息平台将审核结果展示到对应的账号信息所登录的消息平台客户端中。

在本申请的具体实施例中，当所述第一审核结果和第二审核结果中至少一个为不通过时，将所述上传者的账号信息加入黑名单，并返回具体的审核结果，如文本内容不合法和/或素材内容不合法。当第三审核结果为不通过时，将所述上传者的账号信息加入黑名单，并返回具体的审核结果，如文本内容不合法和素材内容不合法。用户能够在客户端界面中查看对应的审核结果，如文本内容不合法时，审核结果为文本内容不合法；素材内容不合法时，审核结果为素材内容不合法，文本内容和素材内容组合不合法，审核结果为文本内容和素材内容组合不合法。

图3为根据本申请一个实施例的一种消息模板的审核装置的结构示意图。参见图3所示，该装置包括：

接收单元301，用于接收消息平台发送的模板审核请求，所述模板审核请求中包含消息平台信息，消息模板信息；

获取单元302，用于根据所述消息模板信息，获取所述消息模板中的素材 ID、文本内容和上传者的账号信息；

审核单元303，用于根据预设的第一审核数据库对所述素材ID进行审核，得到第一审核结果；根据预设的第二审核数据库对所述文本内容进行审核，得到第二审核结果；当所述第一审核结果和第二审核结果皆为通过时，获取第三方发送的第三审核结果；当所述第三审核结果为不通过时，将所述账号信息加入黑名单。

反馈单元304，用于根据所述消息平台信息向所述消息平台返回审核结果。

在本申请的一种实施例中，所述第一审核数据库为素材黑名单，所述素材黑名单中包含至少一个不合法素材的素材ID；审核单元303，用于将所述素材 ID与素材黑名单进行匹配；当匹配成功时，得到审核不通过结果；当匹配失败时，得到审核通过结果；所述第二审核数据库为敏感词数据库，所述敏感词数据库中包含至少一个敏感词；审核单元303，用于将所述文本内容与敏感词数据库中的敏感词进行匹配；当匹配成功时，得到审核不通过结果；当匹配失败时，得到审核通过结果；

在本申请的一种实施例中，获取单元302，用于通过所述消息平台ID获取所述消息平台对应的素材数据库，根据所述素材ID从所述素材数据库中获取所述素材内容。

审核单元303，用于通过人工或人工智能对所述素材内容和文本内容进行识别，得到第三审核结果；其中，当素材内容不合法时，返回素材内容不合法的第三审核结果，根据所述第三审核结果将所述上传者的账号信息加入黑名单，将所述素材ID加入所述第一审核数据库；当素材内容和文本内容组合不合法时，返素材内容和文本内容组合不合法的第三审核结果，根据所述第三审核结果将所述上传者的账号信息加入黑名单。

在本申请的一种实施例中，审核单元303，用于当所述第一审核结果和第二审核结果中至少一个为不通过时，将所述上传者的账号信息加入黑名单。

可见，在本申请中，根据MD5加密后的生成的素材ID，基于包含多个非法素材的素材ID黑名单的第一审核数据库对素材ID进行审核，降低非法素材的重复利用。通过敏感词数据库对文本内容进行审核，能够在完备的审核数据库下，提高对消息模板的审查效率，即能够过滤掉大部分消息模板。在此基础上，再通过第三方审核对进行了预审之后的消息模板进行更加细致的审核，并结合第三方审核的结果，扩充第一审核数据库，从而实现对拦截包含非法素材的消息模板。并且，通过将上传非法素材的账号信息加入黑名单，从源头上减少非法素材的传播。

图4是本申请的一个实施例电子设备的结构示意图。请参考图4，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry StandardArchitecture，工业标准体系结构)总线、PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended IndustryStandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成数据清理装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

接收消息平台发送的模板审核请求，所述模板审核请求中包含消息平台信息，消息模板信息；根据所述消息模板信息，获取所述消息模板中的素材ID、文本内容和上传者的账号信息；根据预设的第一审核数据库对所述素材ID进行审核，得到第一审核结果；根据预设的第二审核数据库对所述文本内容进行审核，得到第二审核结果；当所述第一审核结果和第二审核结果皆为通过时，获取第三方发送的第三审核结果；当所述第三审核结果为不通过时，将所述账号信息加入黑名单，将所述素材ID加入所述第一审核数据库；根据所述消息平台信息向所述消息平台返回审核结果。

上述如本申请图1所示实施例揭示的源码保护方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器 (Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－ Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

该电子设备还可执行图1中所执行的方法，并实现消息模板的安全审核装置300在图3所示实施例的功能，本申请实施例在此不再赘述。

本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图1所示实施例中源码保护的方法，并具体用于执行：

接收消息平台发送的模板审核请求，所述模板审核请求中包含消息平台信息，消息模板信息；根据所述消息模板信息，获取所述消息模板中的素材ID、文本内容和上传者的账号信息；根据预设的第一审核数据库对所述素材ID进行审核，得到第一审核结果；根据预设的第二审核数据库对所述文本内容进行审核，得到第二审核结果；当所述第一审核结果和第二审核结果皆为通过时，获取第三方发送的第三审核结果；当所述第三审核结果为不通过时，将所述账号信息加入黑名单，将所述素材ID加入所述第一审核数据库；根据所述消息平台信息向所述消息平台返回审核结果。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和 /或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/ 或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器 (CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种消息模板的审核方法，其特征在于，所述方法包括：

接收消息平台发送的模板审核请求，所述模板审核请求中包含消息平台信息，消息模板信息；

根据所述消息模板信息，获取所述消息模板中的素材ID、文本内容和上传者的账号信息；

根据预设的第一审核数据库对所述素材ID进行审核，得到第一审核结果；根据预设的第二审核数据库对所述文本内容进行审核，得到第二审核结果；

当所述第一审核结果和第二审核结果皆为通过时，获取第三方发送的第三审核结果；

当所述第三审核结果为不通过时，将所述账号信息加入黑名单；

根据所述消息平台信息向所述消息平台返回审核结果。

2.根据权利要求1所述的审核方法，其特征在于，所述接收消息平台发送的模板审核请求包括：

消息平台的客户端将需要上传的素材进行MD5加密，生成对应的素材ID，并将所述素材上传到消息平台的素材数据库中；

消息平台的客户端创建消息模板，将创建完成的消息模板发送给消息平台，所述消息模板中包含素材ID和文本内容；

消息平台向安全审核平台发送模板审核请求，所述模板审核请求中包含消息模板的素材ID、文本内容、上传者的账号信息、消息平台ID、回跳地址。

3.根据权利要求2所述的审核方法，其特征在于，

所述第一审核数据库为素材黑名单，所述素材黑名单中包含至少一个不合法素材的素材ID；

所述根据预设的第一审核数据库对所述素材ID进行审核，得到第一审核结果包括：

将所述素材ID与素材黑名单进行匹配，当匹配成功时，得到审核不通过结果；当匹配失败时，得到审核通过结果；

所述第二审核数据库为敏感词数据库，所述敏感词数据库中包含至少一个敏感词；

所述根据预设的第二审核数据库对所述文本内容进行审核，得到第二审核结果包括：

将所述文本内容与敏感词数据库中的敏感词进行匹配，当匹配成功时，得到审核不通过结果；当匹配失败时，得到审核通过结果。

4.根据权利要求2所述的审核方法，其特征在于，所述获取第三方发送的第三审核结果包括：

通过所述消息平台ID获取所述消息平台对应的素材数据库，根据所述素材ID从所述素材数据库中获取所述素材内容，通过人工或人工智能对所述素材内容和文本内容进行识别，得到第三审核结果；

当所述第三审核结果为不通过时，将所述上传者的账号信息加入黑名单包括：

当素材内容不合法时，返回素材内容不合法的第三审核结果，根据所述第三审核结果将所述上传者的账号信息加入黑名单，并将所述素材内容对应的素材ID加入所述第一审核数据库；

当素材内容和文本内容组合不合法时，返回素材内容和文本内容组合不合法的第三审核结果，根据所述第三审核结果将所述上传者的账号信息加入黑名单。

5.根据权利要求1所述的审核方法，其特征在于，

当所述第一审核结果和第二审核结果中至少一个为不通过时，将所述上传者的账号信息加入黑名单。

6.根据权利要求2所述的审核方法，其特征在于，所述根据所述消息平台信息向所述消息平台返回审核结果包括：

根据所述消息平台ID和回跳地址，将审核结果反馈给消息平台。

7.一种消息模板的安全审核装置，其特征在于，所述安全审核装置包括：

接收单元，用于接收消息平台发送的模板审核请求，所述模板审核请求中包含消息平台信息，消息模板信息；

获取单元，用于根据所述消息模板信息，获取所述消息模板中的素材ID、文本内容和上传者的账号信息；

审核单元，用于根据预设的第一审核数据库对所述素材ID进行审核，得到第一审核结果；根据预设的第二审核数据库对所述文本内容进行审核，得到第二审核结果；当所述第一审核结果和第二审核结果皆为通过时，获取第三方发送的第三审核结果；当所述第三审核结果为不通过时，将所述账号信息加入黑名单；

反馈单元，用于根据所述消息平台信息向所述消息平台返回审核结果。

8.根据权利要求7所述的装置，其特征在于，

获取单元，用于通过所述消息平台ID获取所述消息平台对应的素材数据库，根据所述素材ID从所述素材数据库中获取所述素材内容；

审核单元，用于通过人工或人工智能对所述素材内容和文本内容进行识别，得到第三审核结果；其中，当素材内容不合法时，返回素材内容不合法的第三审核结果，根据所述第三审核结果将所述上传者的账号信息加入黑名单，将所述素材ID加入所述第一审核数据库；当素材内容和文本内容组合不合法时，返素材内容和文本内容组合不合法的第三审核结果，根据所述第三审核结果将所述上传者的账号信息加入黑名单。

9.一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述权利要求1～6之任一所述方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行所述权利要求1～6之任一所述方法。

Images