CN114218599B - 一种业务数据处理方法及装置、存储介质及电子设备 - Google Patents

Abstract

本申请提供了一种业务数据处理方法及装置、存储介质及电子设备，该方法包括：在确定出业务数据满足免审规则的情况下，将业务数据写入预设队列中，并设置业务数据的进审时间，将业务数据发送至业务系统，在确定出成功将业务数据发送至业务系统的情况下，将预设队列中的业务数据和业务数据的进审时间进行删除。可见，本申请方案，在确定出业务数据满足免审规则的情况下，将业务数据写入预设队列中，从而解决了在审核系统重启或升级过程中存在的免审业务数据丢失的问题。

Description

一种业务数据处理方法及装置、存储介质及电子设备

技术领域

本申请涉及数据处理技术领域，尤其涉及一种业务数据处理方法及装置、存储介质及电子设备。

背景技术

在互联网产品中都存在审核系统，用于保障网络安全。

现有技术中，审核系统对于免审的业务数据，直接将该业务数据发送至业务系统，所以免审的业务数据不会进入到审核系统的数据库中，从而在审核系统重启或升级过程中，若免审的业务数据未成功发送至业务系统，则会造成免审的业务数据的丢失。

发明内容

本申请提供了一种业务数据处理方法及装置、存储介质及电子设备，目的在于解决现有的业务数据处理方案，在审核系统重启或升级过程中会存在免审的业务数据丢失的问题。

为了实现上述目的，本申请提供了以下技术方案：

一种业务数据处理方法，包括：

获取用户发送的待审核的业务数据，并对所述业务数据进行机器审核；

若所述业务数据通过机器审核，则判断所述业务数据是否满足免审规则；

在确定出所述业务数据满足免审规则的情况下，将所述业务数据写入预设队列中，并设置所述业务数据的进审时间；

将所述业务数据发送至业务系统；

在确定出成功将所述业务数据发送至所述业务系统的情况下，将所述预设队列中的所述业务数据和所述业务数据的进审时间进行删除。

上述的方法，可选的，还包括：

按预设周期，判断所述预设队列中是否存在满足预设的告警条件的业务数据；

若所述预设队列中存在满足所述告警条件的业务数据，则基于所述满足所述告警条件的业务数据，发出告警消息。

上述的方法，可选的，所述判断所述预设队列中是否存在满足预设的告警条件的业务数据，包括：

针对所述预设队列中的每一个业务数据，对所述业务数据的进审时间和当前时间进行计算，得到计算值，判断所述计算值是否大于预设阈值，若所述计算值大于预设阈值，则确定所述业务数据满足预设的告警条件，若所述计算值不大于预设阈值，则确定所述业务数据不满足预设的告警条件。

上述的方法，可选的，所述判断所述业务数据是否满足免审规则，包括：

判断所述用户是否在预设的免审名单中；

若所述用户不在所述免审名单中，则确定出所述业务数据不满足免审规则；

若所述用户在所述免审名单中，则确定出所述业务数据满足免审规则。

上述的方法，可选的，所述对所述业务数据进行机器审核，包括：

对所述业务数据进行非法文字、非法视频和非法图片识别；

若所述业务数据中未包含非法文字、非法视频或非法图片，则判断所述业务数据包括的视频文件是否在预设的视频文件黑名单中；

若所述业务数据包括的视频文件不在所述视频文件黑名单中，则确定所述业务数据通过机器审核。

上述的方法，可选的，所述将所述业务数据发送至业务系统，包括：

通过消息中间件，将所述业务数据发送至业务系统。

上述的方法，可选的，所述对所述业务数据进行机器审核之前，还包括：

对所述业务数据中包括的广告内容进行过滤处理。

一种业务数据处理装置，包括：

获取单元，用于获取用户发送的待审核的业务数据，并对所述业务数据进行机器审核；

第一判断单元，用于若所述业务数据通过机器审核，则判断所述业务数据是否满足免审规则；

写入单元，用于在确定出所述业务数据满足免审规则的情况下，将所述业务数据写入预设队列中，并设置所述业务数据的进审时间；

发送单元，用于将所述业务数据发送至业务系统；

删除单元，用于在确定出成功将所述业务数据发送至所述业务系统的情况下，将所述预设队列中的所述业务数据和所述业务数据的进审时间进行删除。

一种存储介质，所述存储介质存储有指令集，其中，所述指令集被处理器执行时实现如上述的业务数据处理方法。

一种电子设备，包括：

存储器，用于存储至少一组指令集；

处理器，用于执行所述存储器中存储的指令集，通过执行所述指令集实现如上述的业务数据处理方法。

与现有技术相比，本申请包括以下优点：

本申请提供了一种业务数据处理方法及装置、存储介质及电子设备，该方法包括：在确定出业务数据满足免审规则的情况下，将业务数据写入预设队列中，并设置业务数据的进审时间，将业务数据发送至业务系统，在确定出成功将业务数据发送至业务系统的情况下，将预设队列中的业务数据和业务数据的进审时间进行删除。可见，本申请方案，在确定出业务数据满足免审规则的情况下，将业务数据写入预设队列中，从而解决了在审核系统重启或升级过程中存在的免审业务数据丢失的问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请提供的一种业务数据处理方法的方法流程图；

图2为本申请提供的一种业务数据处理方法的又一方法流程图；

图3为本申请提供的一种业务数据处理方法的另一方法流程图；

图4为本申请提供的一种业务数据处理方法的示例图；

图5为本申请提供的一种业务数据处理装置的结构示意图；

图6为本申请提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请可用于众多通用或专用的计算装置环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。

本实施例中，为了便于理解，对本申请涉及的相关名词进行说明如下：

1、数据进审：业务系统的数据，进入到审核系统中，等待审核，即为一次数据进审。

2、进审处理器：每个进审处理器都针对进审数据完成某项工作。在数据进审过程中会经过一系列的进审处理器对数据进行处理，每个进审处理器是处理链路上的一环。

3、免审用户：平台特邀用户（账号添加了免审标签），此类用户发布的内容无需人工审核，机器审核正常即为审核通过。

4、机器审核处理器：包括文字检测处理器（检测文本内容中是否命中非法文字）、md5黑名单检测处理器（检测视频文件是否命中视频md5黑名单）、ai检测处理器用于人脸识别、图片检测、视频检测，以检测非法图片和非法视频）。

5、免审检测处理器：免审检测处理器是进审处理器中的一环，针对免审用户发布的内容进审时，会做出免审处理，直接审核通过。因免审检测处理器之前仍然有一系列机器审核处理器，可以保证审核安全。

6、数据出审：审核系统将业务数据的审核结果下发到业务系统。

7、数据审核丢失：完整的数据审核流程要经过三步，（1）数据进审；（2）数据审核；（3）数据出审。若数据没有走完三个步骤则出现了数据审核丢失。

本发明实施例提供了一种业务数据处理方法，该方法可以应用在审核系统，所述方法的方法流程图如图1所示，具体包括：

S101、获取用户发送的待审核的业务数据，并对业务数据进行机器审核。

本实施例中，获取用户发送的待审核的业务数据，示例性的，待审核的业务数据包括视频文件。

本实施例中，在获取到用户发送的待审核的业务数据后，对该业务数据进行机器审核，具体的，调用机器审核处理器，对业务数据进行机器审核。

参阅图2，对业务数据进行机器审核的过程，具体包括以下步骤：

S201、对业务数据进行非法文字、非法视频和非法图片识别。

本实施例中，对业务数据进行非法文字、非法视频和非法图片识别，以确定业务数据中是否包含非法文字、非法视频或非法图片。

本实施中，机器审核处理器包括文字检测处理器，和ai检测处理器，通过文字检测处理，对业务数据中的非法文字进行识别，通过ai检测处理器，对业务数据中的非法图片和非法视频进行识别。

S202、判断业务数据中是否包含非法文字、非法视频或非法图片，若是，执行S203，若否，执行S204。

本实施例中，基于对业务数据进行非法文字、非法视频和非法图片识别的识别结果，判断业务数据中是否包含非法文字、非法视频或非法图片，若业务数据中未包含非法文字、非法视频或非法图片，也就是说业务数据中未包含非法文字、非法视频和非法图片中的任意一项，则执行步骤S204，若业务数据中包含非法文字、非法视频和非法图片中的任意一项，则执行步骤S203。

S203、确定业务数据未通过机器审核。

本实施例中，若业务数据中包含非法文字、非法视频和非法图片中的任意一项，则确定业务数据未通过机器审核。

本实施例中，若业务数据中未包含非法文字、非法视频和非法图片中的任意一项，但是业务数据包括的视频文件在预设的视频文件黑名单中，则确定业务数据未通过机器审核。

S204、判断业务数据包括的视频文件是否在预设的视频文件黑名单中，若是，执行S203，若否，执行S205。

本实施例中，若业务数据中未包含非法文字、非法视频和非法图片中的任意一项，则进一步判断业务数据包括的视频文件是否在预设的视频文件黑名单中，具体的，计算业务数据包括的视频文件的md5（Message-Digest Algorithm，信息摘要算法），判断预设的视频文件黑名单包括的各个md5中，是否存在与业务数据包括的视频文件的md5相匹配的md5，若存在，则确定业务数据包括的视频文件在预设的视频文件黑名单中，否则，确定业务数据包括的视频文件不在预设的视频文件黑名单中。

本实施例中，机器审核处理器中包括md5黑名单检测处理器，通过md5黑名单处理器判断业务数据包括的视频文件是否在预设的视频文件黑名单中。

S205、确定业务数据通过机器审核。

本实施例中，若业务数据包括的视频文件不在预设的视频文件黑名单中，则确定业务数据通过机器审核。

S102、判断业务数据是否通过机器审核，若否，执行S103，若是，执行S104。

S103、输出用于提示业务数据未通过机器审核的提示信息。

本实施例中，若业务数据未通过机器审核，则生成业务数据未通过机器审核的提示信息，并输出该提示信息。

S104、判断业务数据是否满足免审规则，若是，执行S105，若否，执行S106。

本实施例中，若业务数据通过机器审核，则进一步判断业务数据是否满足免审规则。

本实施例中，判断业务数据是否满足免审规则的过程，具体包括以下步骤：

判断用户是否在预设的免审名单中；

若用户不在所述免审名单中，则确定出业务数据不满足免审规则；

若用户在免审名单中，则确定出业务数据满足免审规则。

本实施例中，预设免审名单，免审名单中包括多个免审用户的用户信息。

本实施例中，判断用户是否在预审的免审名单中，也就是判断免审名单中是否存在与该用户对应的用户信息。

本实施例中，若用户在免审名单中，则确定业务数据满足免审规则，若用户不在免审名单中，则确定业务数据不满足免审规则。

S105、将业务数据写入预设队列中，并设置业务数据的进审时间。

本实施例中，若业务数据满足免审规则，则说明该业务为免审数据，并将该业务数据写入预设队列中，并设置业务数据的进审时间，具体的，基于获取待审核的业务数据的获取时间，设置业务数据的进审时间。

其中，在预设队列中设置业务数据的进审时间。

具体的，对业务数据进行复制，得到业务数据的副本，将业务数据的副本写入至预设队列中。

S106、将业务数据写入审核系统的数据库中。

本实施例中，若业务数据不满足免审规则，则将业务数据写入审核系统的数据库中，等待人工审核。

S107、将业务数据发送至业务系统。

本实施例中，将业务数据发送至业务系统，具体的，通过消息中间件，将业务数据发送至业务系统。

本实施例中，通过消息中间件，将业务数据发送至业务系统的过程，具体包括：审核系统将业务数据发送至消息中间件，业务系统通过消息中间件消费业务数据。

S108、在确定出成功将业务数据发送至业务系统的情况下，将预设队列中的业务数据和业务数据的进审时间进行删除。

本实施例中，在将业务数据发送至业务系统后，判断是否成功将业务数据发送至业务系统，具体的，判断是否成功将业务数据发送至消息中间件，若成功将业务数据发送至消息中间件，则确定出成功将业务数据发送至业务系统。

本实施例中，在成功将业务数据发送至业务系统后，将预设队列中的业务数据和该业务数据的进审时间进行删除。

本申请实施例提供的业务数据处理方法，在确定出业务数据满足免审规则的情况下，将业务数据写入预设队列中，并设置业务数据的进审时间，将业务数据发送至业务系统，在确定出成功将业务数据发送至业务系统的情况下，将预设队列中的业务数据和业务数据的进审时间进行删除。应用本申请实施例提供的业务数据处理方法，在确定出业务数据满足免审规则的情况下，将业务数据写入预设队列中，从而解决了在审核系统重启或升级过程中存在的免审业务数据丢失的问题。

本申请实施例提供的业务数据处理方法，在步骤S101提及的对业务数据进行机器审核之前，还可以包括以下步骤：

对业务数据中包括的广告内容进行过滤处理。

本实施例中，在对业务数据进行机器审核之前，还可以对业务数据中包括的广告内容进行过滤处理，以将业务数据中包括的广告内容进行删除。

本实施例中，审核系统还包括过滤处理器，通过过滤处理器对业务数据中包括的广告内容进行过滤处理。

参阅图3，本申请实施例提供的业务数据处理方法，还可以包括以下步骤：

S301、按预设周期，判断预设队列中是否存在满足预设的告警条件的业务数据，若是，执行302，若否，返回S301。

本实施例中，按预设周期，判断预设队列中是否存在满足预设的告警条件的业务数据，具体的，针对预设队列中的每一个业务数据，对业务数据的进审时间和当前时间进行计算，得到计算值，判断计算值是否大于预设阈值，若计算值大于预设阈值，则确定业务数据满足预设的告警条件，若计算值不大于预设阈值，则确定业务数据不满足预设的告警条件。

其中，当前时间为当前的系统时间。

本实施例中，对业务数据的进审时间和当前时间进行计算，具体为，计算当前时间与业务数据的进审时间之间的时间差，相应的，上述提及的计算值为当前时间与业务数据的进审时间之间的时间差。

示例性的，预设阈值可以是2秒。

示例性的，预设周期可以是5秒为一个周期。

本实施例中，若预设队列中不存在满足告警条件的业务数据，则返回执行步骤S301。

S302、基于满足告警条件的业务数据，发出告警消息。

本实施例中，若预设队列中存在满足告警条件的业务数据，则针对满足告警条件的每一个业务数据，基于该业务数据，发出告警消息，可选的，可以通过短信或邮件的方式，发出告警消息。

本实施例中，按预设周期，判断预设队列中是否存在满足预设的告警条件的业务数据，若存在满足告警条件的业务数据，则基于满足告警条件的业务数据，发出告警消息。

参阅图4，对本申请实施例提及的业务数据处理方法进行举例说明如下：

将待审核的业务数据在通过机器审核处理的机器审核后，将该业务数据流入免审检测处理器，免审检测处理判断该业务数据是否为免审内容，也就是判断该业务数据是否为满足免审规则，若业务数据满足免审规则，则确定该业务数据为免审内容，若业务数据不满足免审内容，则确定该业务数据不为免审内容。

若该业务数据不为免审内容，则将该业务数据写入审核系统的数据库中，并其它一系列检测器对该业务数据进行检测。

若该业务数据为免审内容，则将该业务数据写入免审内容队列中，并设置该业务数据的进审时间，将该业务数据通过mq（消息中间件）下发消息至业务系统，若成功将业务数据发送至业务系统，则将免审内容队列中的该业务数据进行删除。

利用免审内容检测器，定时监测免审内容队列，若免审内容队列中存在满足预设的告警条件的业务数据，也就是发现免审内容队列中存在异常，则通过短信和/或邮件进行通知。

需要说明的是，虽然采用特定次序描绘了各指令，但是这不应当理解为要求这些指令以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。

应当理解，本申请公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本申请公开的范围在此方面不受限制。

与图1所述的方法相对应，本申请实施例还提供了一种业务数据处理装置，用于对图1中方法的具体实现，其结构示意图如图5所示，具体包括：

获取单元501，用于获取用户发送的待审核的业务数据，并对所述业务数据进行机器审核；

第一判断单元502，用于若所述业务数据通过机器审核，则判断所述业务数据是否满足免审规则；

写入单元503，用于在确定出所述业务数据满足免审规则的情况下，将所述业务数据写入预设队列中，并设置所述业务数据的进审时间；

发送单元504，用于将所述业务数据发送至业务系统；

删除单元505，用于在确定出成功将所述业务数据发送至所述业务系统的情况下，将所述预设队列中的所述业务数据和所述业务数据的进审时间进行删除。

本申请实施例提供的业务数据处理装置，在确定出业务数据满足免审规则的情况下，将业务数据写入预设队列中，从而解决了在审核系统重启或升级过程中会存在免审的业务数据丢失的问题。

在本申请的一个实施例中，基于前述方案，还可以配置为：

第二判断单元，用于按预设周期，判断所述预设队列中是否存在满足预设的告警条件的业务数据；

告警单元，用于若所述预设队列中存在满足所述告警条件的业务数据，则基于所述满足所述告警条件的业务数据，发出告警消息。

在本申请的一个实施例中，基于前述方案，第二判断单元具体用于：

针对所述预设队列中的每一个业务数据，对所述业务数据的进审时间和当前时间进行计算，得到计算值，判断所述计算值是否大于预设阈值，若所述计算值大于预设阈值，则确定所述业务数据满足预设的告警条件，若所述计算值不大于预设阈值，则确定所述业务数据不满足预设的告警条件。

在本申请的一个实施例中，基于前述方案，第一判断单元502在判断所述业务数据是否满足免审规则时，具体用于：

判断所述用户是否在预设的免审名单中；

若所述用户不在所述免审名单中，则确定出所述业务数据不满足免审规则；

若所述用户在所述免审名单中，则确定出所述业务数据满足免审规则。

在本申请的一个实施例中，基于前述方案，获取单元501在对所述业务数据进行机器审核时，具体用于：

对所述业务数据进行非法文字、非法视频和非法图片识别；

若所述业务数据中未包含非法文字、非法视频或非法图片，则判断所述业务数据包括的视频文件是否在预设的视频文件黑名单中；

若所述业务数据包括的视频文件不在所述视频文件黑名单中，则确定所述业务数据通过机器审核。

在本申请的一个实施例中，基于前述方案，发送单元504具体用于：

通过消息中间件，将所述业务数据发送至业务系统。

在本申请的一个实施例中，基于前述方案，还可以配置为：

过滤单元，用于对所述业务数据中包括的广告内容进行过滤处理。

本申请实施例还提供了一种存储介质，所述存储介质存储有指令集，其中，在所述指令集运行时执行如上文任一实施例公开的业务数据处理方法。

本申请实施例还提供了一种电子设备，其结构示意图如图6所示，具体包括存储器601，用于存储至少一组指令集；处理器602，用于执行所述存储器中存储的指令集，通过执行所述指令集实现如上文任一实施例公开的业务数据处理方法。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本申请公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。

以上描述仅为本申请公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请公开中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (8)

1.一种业务数据处理方法，其特征在于，包括：

获取用户发送的待审核的业务数据，并对所述业务数据进行机器审核；

若所述业务数据通过机器审核，则判断所述业务数据是否满足免审规则；

在确定出所述业务数据满足免审规则的情况下，将所述业务数据写入预设队列中，并设置所述业务数据的进审时间；

将所述业务数据发送至业务系统；

在确定出成功将所述业务数据发送至所述业务系统的情况下，将所述预设队列中的所述业务数据和所述业务数据的进审时间进行删除；

按预设周期，针对所述预设队列中的每一个业务数据，对所述业务数据的进审时间和当前时间进行计算，得到计算值，判断所述计算值是否大于预设阈值，若所述计算值大于预设阈值，则确定所述业务数据满足预设的告警条件，若所述计算值不大于预设阈值，则确定所述业务数据不满足预设的告警条件；

若所述预设队列中存在满足所述告警条件的业务数据，则基于所述满足所述告警条件的业务数据，发出告警消息。

2.根据权利要求1所述的方法，其特征在于，所述判断所述业务数据是否满足免审规则，包括：

判断所述用户是否在预设的免审名单中；

若所述用户不在所述免审名单中，则确定出所述业务数据不满足免审规则；

若所述用户在所述免审名单中，则确定出所述业务数据满足免审规则。

3.根据权利要求1所述的方法，其特征在于，所述对所述业务数据进行机器审核，包括：

对所述业务数据进行非法文字、非法视频和非法图片识别；

若所述业务数据中未包含非法文字、非法视频或非法图片，则判断所述业务数据包括的视频文件是否在预设的视频文件黑名单中；

若所述业务数据包括的视频文件不在所述视频文件黑名单中，则确定所述业务数据通过机器审核。

4.根据权利要求1所述的方法，其特征在于，所述将所述业务数据发送至业务系统，包括：

通过消息中间件，将所述业务数据发送至业务系统。

5.根据权利要求1所述的方法，其特征在于，所述对所述业务数据进行机器审核之前，还包括：

对所述业务数据中包括的广告内容进行过滤处理。

6.一种业务数据处理装置，其特征在于，包括：

获取单元，用于获取用户发送的待审核的业务数据，并对所述业务数据进行机器审核；

第一判断单元，用于若所述业务数据通过机器审核，则判断所述业务数据是否满足免审规则；

写入单元，用于在确定出所述业务数据满足免审规则的情况下，将所述业务数据写入预设队列中，并设置所述业务数据的进审时间；

发送单元，用于将所述业务数据发送至业务系统；

删除单元，用于在确定出成功将所述业务数据发送至所述业务系统的情况下，将所述预设队列中的所述业务数据和所述业务数据的进审时间进行删除；

第二判断单元，用于按预设周期，判断所述预设队列中是否存在满足预设的告警条件的业务数据；

告警单元，用于若所述预设队列中存在满足所述告警条件的业务数据，则基于所述满足所述告警条件的业务数据，发出告警消息；

第二判断单元具体用于：

针对所述预设队列中的每一个业务数据，对所述业务数据的进审时间和当前时间进行计算，得到计算值，判断所述计算值是否大于预设阈值，若所述计算值大于预设阈值，则确定所述业务数据满足预设的告警条件，若所述计算值不大于预设阈值，则确定所述业务数据不满足预设的告警条件。

7.一种存储介质，其特征在于，所述存储介质存储有指令集，其中，所述指令集被处理器执行时实现如权利要求1-5任意一项所述的业务数据处理方法。

8.一种电子设备，其特征在于，包括：

存储器，用于存储至少一组指令集；

处理器，用于执行所述存储器中存储的指令集，通过执行所述指令集实现如权利要求1-5任意一项所述的业务数据处理方法。

Images