CN111639902A - 基于kafka的数据审核方法、控制装置及计算机设备、存储介质 - Google Patents

Abstract

本申请属于数据处理技术领域，涉及基于kafka的数据审核方法、控制装置及计算机设备、存储介质，所述方法包括：对待审核文档集进行文档数据量分析；若所述待审核文档集的文档数据量预设的瞬时传输阈值大于，则在传输所述待审核文档集至基于kafka的文档解析系统时，对所述待审核文档集进行传输限定；使所述基于kafka的文档解析系统对接收的待审核文档集进行文档数据解析处理，生成审核数据集，对所述审核数据集中的审核数据进行分组，得到多个目标审核数据集，使审核端基于预设算法对所述目标审核数据集进行数据审核操作，并在审核结束后输出数据审核结果。本申请提供的方案通过在文档审核之前对文档的传输进行数据量控制，可提供更加稳定的数据审核环境。

Description

基于kafka的数据审核方法、控制装置及计算机设备、存储 介质

技术领域

本申请实施例属于人工智能中的数据处理技术领域，尤其涉及一种基于kafka的数据审核方法、控制装置及计算机设备、存储介质。

背景技术

目前，大多数服务型产业为了业务量的需求，都会有一套自己的运营系统，当企业间进行合作，会有大批的合同订单和数据信息待审核，以批量合同审核为例子，每一个合同审核都需要依次调用下游的多个子系统来完成，比如调用工作流系统去流转订单状态，进行合同批量审核，而合同审核处理会依次调用下游的多个子系统服务，比如调用传输系统将需要审核的合同图片，pdf等批量传给审核系统，等待审核系统线上审核，调用订单系统去同步订单。申请人在实现本申请方案的过程中发现，上游系统运营系统批量合同审核的操作比较简单，它的数据吞吐量要远高于获取数据的下游服务，当上下游系统直接对接时，会导致下游系统的服务无法及时处理上游系统的批量审核数据从而造成系统奔溃的问题。

发明内容

有鉴于此，本申请实施例提供一种基于kafka的数据审核方法、控制装置及计算机设备、存储介质，以解决现有技术中上下游系统直接对接时，会导致下游系统的服务无法及时处理上游系统的批量审核数据从而造成系统奔溃的问题。

第一方面，本申请实施例提供一种基于kafka的数据审核方法，包括：

获取待审核文档集信息，根据所述待审核文档集信息对待审核文档集进行文档数据量分析；

判断所述待审核文档集的文档数据量是否大于预设的瞬时传输阈值，若大于则在传输所述待审核文档集至基于kafka的文档解析系统时，对所述待审核文档集进行传输限定，所述传输限定的方式至少包括传输流量控制、文档集分组和时间区间控制中的一种；

使所述基于kafka的文档解析系统对接收的待审核文档集进行文档数据解析处理，生成审核数据集，对所述审核数据集中的审核数据进行分组，将分组的结果以队列形式保存，得到多个目标审核数据集；

基于审核端的数据获取请求发送所述目标审核数据集中的审核数据至审核端，使审核端基于预设算法对所述目标审核数据集进行数据审核操作，并在审核结束后输出数据审核结果。

作为本申请可实施的方式，所述传输流量控制包括：

获取实时传输的文档数据的流量信息，判断实时传输的文档数据流量是否大于预设的瞬时传输阈值，若大于则对传输的文档数据进行部分缓存，并实时获取传输的文档数据的新的流量信息，直到实时传输的文档数据流量小于所述预设的瞬时传输阈值时，再获取缓存的文档数据进行传输。

作为本申请可实施的方式，所述文档集分组包括基于预设的文档数据权重对所述待审核文档集进行分组，具体包括:

基于预设的文档数据权重等级表，获取所述待审核文档集中的文档数据的被审核概率值，将被审核概率值与设定阈值进行比较，根据比较结果对所述待审核文档集中的文档数据进行分组。

作为本申请可实施的方式，所述时间区间控制包括在所述待审核文档集被传输至基于kafka的文档解析系统之前对待传输的文档数据进行传输分时限定，其中所述传输分时限定包括：

获取预设的时间闲置等级，若当前时间段的时间闲置等级符合设定的时间闲置阈值，改变所述瞬时传输阈值，以对待传输的文档数据进行传输分时限定。

作为本申请可实施的方式，所述方法还包括：

若待审核文档集的文档数据量不大于所述预设的瞬时传输阈值，则将待审核文档集中文档数据传入所述基于kafka的文档解析系统。

作为本申请可实施的方式，所述对所述审核数据集中的审核数据进行分组，将分组的结果以队列形式保存包括：

向kafka集群中每一台缓存代理服务器发送处理指令，使各所述缓存代理服务器将所述审核数据集作为待处理数据进行审核数据的拆分提取，形成与所述缓存代理服务器数量相同的子数据集，并将子数据集以队列形式同步存储到对应的所述缓存代理服务器上，此外，所述子数据集以队列形式同步存储于可存储于区块链中。

作为本申请可实施的方式，在所述使审核端基于预设算法对所述目标审核数据集进行数据审核操作之前，所述方法还包括：

在传输所述目标审核数据集到审核端时，对所述目标审核数据集进行传输流量限制。

第二方面，本申请实施例提供一种基于kafka的数据审核控制装置，包括：

数据分析模块，用于获取待审核文档集信息，根据所述待审核文档集信息对待审核文档集进行文档数据量分析；

数据限流模块，用于判断所述待审核文档集的文档数据量是否大于预设的瞬时传输阈值，若大于则在传输所述待审核文档集至基于kafka的文档解析系统时，对所述待审核文档集进行传输限定，所述传输限定的方式至少包括传输流量控制、文档集分组和时间区间控制中的一种；

数据处理模块，使所述基于kafka的文档解析系统对接收的待审核文档集进行文档数据解析处理，生成审核数据集，对所述审核数据集中的审核数据进行分组，将分组的结果以队列形式保存，得到多个目标审核数据集；

数据发送模块，用于基于审核端的数据获取请求发送所述目标审核数据集中的审核数据至审核端，使审核端基于预设算法对所述目标审核数据集进行数据审核操作，并在审核结束后输出数据审核结果。

第三方面，本申请实施例提供一种计算机设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机可读指令，所述计算机可读指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如上述的基于kafka的数据审核方法的步骤。

第四方面，本申请实施例提供一种非易失性的计算机可读存储介质，包括存储数据区和存储程序区，存储数据区存储根据区块链节点的使用所创建的数据，存储程序区存储有计算机程序；所述计算机可读指令被至少一个处理器执行时实现如上述的基于kafka的数据审核方法的步骤。

根据本申请实施例提供的基于kafka的数据审核方法、装置及计算机设备、存储介质，通过在文档审核之前，先对文档的传输进行数据量控制，将经过数据量控制的文档传入基于kafka的文档解析系统中，经过对获取的文档数据进行数据解析和分组保存，以供下游审核系统调用，能保证进行批量数据审核时，不会因为系统审核数据量过多，而导致系统崩溃的情况出现，避免了在瞬时时间点上传输数据过多的情况，为企业级的批量数据审核提供更加稳定的数据审核环境。进一步，上述相关数据可存储于区块链中以增强数据的安全性。

附图说明

为了更清楚地说明本申请的方案，下面将对实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的基于kafka的数据审核方法的流程图；

图2为本申请实施例提供的基于kafka的数据审核控制装置的结构框图；

图3为本申请实施例提供的计算机设备的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。

在说明书中的各个位置出现的“实施例”该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

如图1所示，本申请提供了一种基于kafka的数据审核方法，包括：

S1、获取待审核文档集信息，根据所述待审核文档集信息对待审核文档集进行文档数据量分析；

S2、判断所述待审核文档集的文档数据量是否大于预设的瞬时传输阈值，若大于则在传输所述待审核文档集至基于kafka的文档解析系统时，对所述待审核文档集进行传输限定，所述传输限定的方式至少包括传输流量控制、文档集分组和时间区间控制中的一种；

S3、使所述基于kafka的文档解析系统对接收的待审核文档集进行文档数据解析处理，生成审核数据集，对所述审核数据集中的审核数据进行分组，将分组的结果以队列形式保存，得到多个目标审核数据集；

S4、基于审核端的数据获取请求发送所述目标审核数据集中的审核数据至审核端，使审核端基于预设算法对所述目标审核数据集进行数据审核操作，并在审核结束后输出数据审核结果。

通过以上步骤，能保证进行批量数据审核时，不会因为系统审核数据量过多，而导致系统崩溃的情况出现，避免了在瞬时时间点上传输数据过多的情况，为企业级的批量数据审核提供更加稳定的审核环境。

在本申请实施例中，步骤S1中的待审核文档集为包括批量待审核的合同、订单、数据包等包含待审核数据的载体集合，而待审核文档集信息则包含待审核的合同、订单、数据包等包含待审核数据的生成状态信息，待审核文档集信息的具体的获取方式包括本地缓存查询、远程缓存抓取等。

在本申请实施例中，对于步骤S2，在对待审核文档集的文档数据进行审核前，首先获取待审核文档集的文档数据量，具体通过对待审核文档集中文档的数量进行计算来获取总的文档数据量，其中获取待审核数据集中文档的总数量时不对文档的具体内容进行获取；若待审核文档集中个文档数量较多，且文档数据量超过瞬时传输阈值时，则后续在传输待审核文档集中文档数据至基于kafka的文档解析系统时，需要对待审核文档集进行传输限制处理，例如待审核文档集中的文档数据数达到100万个，而在实际的数据审核过程中往往达不到同时对100万个文档进行传输和数据审核，假设设定的瞬时传输阈值为只满足同时对1万个文档进行传输和数据审核，则需要在进行数据审核前对待审核文档集中文档数据量进行获取和阈值判断，这样保证了在文档数据传输时避免瞬时传输的文档数据过多，从而减少服务器的压力，有助于提高系统的使用寿命。

如果待审核文档集中文档数量较少，在小于瞬时文档数据量阈值的情况下，可直接对待审核文件进行传输和审核操作，相应的，在一些实施例中，所述方法还包括：若待审核文档集的文档数据量不大于所述预设的瞬时传输阈值，则将待审核文档集中文档数据传入所述基于kafka的文档解析系统。在后续步骤中，文档数据将被传输至基于kafka的文档解析系统进行文档解析。

在本申请实施例中，所述基于kafka的文档解析系统为对待审核文档集中的文档进行实质内容获取的系统，该系统能够从每一个传入的格式文档中抓取数据，例如txt格式文档，通过数据流中的读写流，获取txt文件中所有的数据内容，比如BufferedReader类可以直接将文档数据进行读取，在文档数据读取之后，将文档数据进行缓存，在进行缓存时，为了保证文档数据与文档的对应关系，可以将进行内容读取的文档名与该文档对应的具体内容进行结合保存，通过对搜索字段做同义词扩写，使得搜索模型的训练范围扩大，避免了模型训练时训练范围小而导致训练结果不准确的问题，有助于提高搜索结果的准确性。

在本申请实施例中，所述传输流量控制是指对文档数据向基于kafka的文档解析系统传输的过程进行控制。在一些实施例中，所述传输流量控制包括：

获取实时传输的文档数据的流量信息，判断实时传输的文档数据流量是否大于预设的瞬时传输阈值，若大于则对传输的文档数据进行部分缓存，并实时获取传输的文档数据的新的流量信息，直到实时传输的文档数据流量小于所述预设的瞬时传输阈值时，再获取缓存的文档数据进行传输。

具体的，可使用数据流量监控系统监控实时的文档数据的传输流量，若某一个时刻实时的传输流量大于设定的瞬时传输阈值，则对文档数据进行流量传输控制，通过将当前待传而未被传入的文档数据存入缓存，等待实时的传输流量小于预设的瞬时传输阈值时，再重新获取缓存的文档数据并进行传输，下面举例进行说明:

假设瞬时传输阈值设定为fl(pr)＝600MB,若当前待传输的文档数据的传输流量为fl(rt)＝1024MB；则将待传输的文档数据的数据量缓存424MB，在实时传输时，加入心跳上报机制，即传输接口不停地向服务器上报当时实时的传输流量，若当前的实时待传输流量fl(rt)<600MB，比如当前传输流量为fl(rt)＝300MB，从缓存中获取存储的424MB中的300MB进行传输；由此保证了数据传输的均衡性，避免了因瞬时的数据传输过多，造成系统崩溃的情况，从而可提高系统的可使用年限，节省成本。这种实时流量传输限定方式，既保证了审核数据传输时，若数据量过多，不会造成数据负载量过大；也保证了在审核数据量过小时，从缓存中获取数据不会浪费处理时间。

在一些实施例中，所述文档集分组包括基于预设的文档数据权重对所述待审核文档集进行分组，具体包括:

基于预设的文档数据权重等级表，获取所述待审核文档集中的文档数据被审核概率值，将被审核概率值与设定阈值进行比较，根据比较结果对所述待审核文档集中的文档数据进行分组。

具体的，在本申请实施例中以文档数据的被审核概率值来体现权重，在文档数据权重等级表中包含分组阈值和待审核合同数据的被审核概率值，在进行审核数据集审核时，同时对多种合同文档进行审核，如合同A为车辆贷款合同、合同B为房产转让合同、订单C为批量采购单。假设A合同中审核数据内容少，权重低；B合同中审核数据内容适宜，权重中等；C中待审核的数据内容多，权重较高。为了保证在进行文档数据解析时，每一个处理器的处理均衡，将权重高和权重低的文档相互结合成组，避免了权重高的在一起，造成个别服务器压力增加，做到负载均衡。下面举例进行说明:

例如在进行个人贷款业务审核时，设定分组阈值为50％，待审核数据包括用户名、性别、身高、体重、年龄、工作情况、个人月收入、有无负债、负债情况等；假定其中的用户名、性别、身高、体重的被审核概率值均为5％，年龄、工作情况的被审核概率值均为30％，个人月收入、有无负债、负债情况的审核概率值均为70％；现按照分组阈值对各项目进行组合，具体将至少一个被审核概率值大于分组阈值的项目和至少一个被审核概率值大于分组阈值的项目进行组合，比如将个人月收入和年龄进行组合，将有无负债和工作情况进行组合，将负债情况与用户名、性别、身高、体重进行组合，组合后，分别得到权重值100％,100％,90％，即为将被审核次数占比多的数据和被审核次数占比少的数据进行组合，确保被审核次数占比多的数据不会一同传入，造成后期审核时，审核负载过重，实际上为对待审核数据集进行了一次前期的数据平衡处理，保证后期审核时，同一时间节点上能尽量均匀平衡的进行数据审核。

在一些实施例中，所述时间区间控制包括在所述待审核文档集被传输至基于kafka的文档解析系统之前对待传输的文档数据进行传输分时限定，其中所述传输分时限定包括：

获取预设的时间闲置等级，若当前时间段的时间闲置等级符合设定的时间闲置阈值，改变所述瞬时传输阈值，以对待传输的文档数据进行传输分时限定。

在本申请实施例中，在进行审核数据集审核时，同时对多种合同文档进行审核，为了保证系统在审核时忙时和闲时相互结合，更好的利用资源，设置了传输分时限定的方式。具体的，从数据库中获取时间闲置等级表，该表中包含时间闲置等级以及对应的期望数据流量，该时间闲置等级和期望数据流量为基于提前预设的数据流量占比进行设定，期望数据流量与瞬时传输阈值相关，用网用户较少的时段可以提高数据的瞬时传输阈值，用网高峰期可以降低数据的瞬时传输阈值，如:中午12：00—14：00，晚上18：00—19：00设定闲置等级为5级，期望数据流量为400MB；晚上19:00—21:00设定闲置等级为6级，期望数据流量为200MB；凌晨0：00—2：00设定闲置等级为2级，期望数据流量为1GB；凌晨2：00—4：00设定闲置等级为1级，期望数据流量为2GB。在进行传输分时限定时，通过根据不同时段对应的时间分段闲置等级来调整不同时段的瞬时传输阈值，更好的保证了资源的使用率，同时也能一定程度上提高审核的效率，保证了系统的稳定性。

在本申请实施例中，步骤S3之前是在文档数据传入基于kafka的文档解析系统进行解析前的处理部分，此后为对文档数据进行解析和审核的处理部分。其中，对于步骤S3，所述基于kafka的文档解析系统在对接收的文档数据进行内容解析后，将对解析的文档数据和文档名进行结合缓存，例如待审核数据集中包括文档a.txt和ac.txt，两个文档中的内容有大部分内容相同，只有少数部分内容不同，为了区分解析后的内容在所述哪个文档中，在解析时，解析出的内容前需提前加上a.txt+具体内容，ac.txt+具体内容，由此在文档数据过多时，可避免数据审核混乱，从而提高审核效率。

在本申请实施例中，基于kafaka的文档解析系统可包含多个子处理系统，每个子处理系统对应一个缓存代理服务器，共同组成一个kafka集群。在一些实施例中，所述对所述审核数据集中的审核数据进行分组，将分组的结果以队列形式保存包括：

向kafka集群中每一台缓存代理服务器发送处理指令，使各所述缓存代理服务器将所述审核数据集作为待处理数据进行审核数据的拆分提取，形成与所述缓存代理服务器数量相同的子数据集，并将子数据集以队列形式同步存储到对应的所述缓存代理服务器上。

具体的，kafka集群中的每一个子处理系统叫做一个broker,在文档数据传入基于kafaka的文档解析系统之后，系统先对待审核文档进行平均分组，将接收的待审核文档平均分配到每一个broker上，保证了后续审核时在对文档数据进行提取时，可在多个子处理系统同时进行提取，既能保证处理的效率也能够保证各个子系统的性能，避免了系统宕机或者崩溃的情况。

在每个缓存代理服务器中包含多个topic模块，用于对审核数据集进行数据的拆分提取，每个topic模块包含多个topic任务处理器，每个topic任务处理器只处理其对应的审核任务的数据提取，想要增加新的处理模块，只需要增加topic，对于系统的整体架构和处理模式，不造成任何影响，后续在对文档中内容进行提取时，相同格式的提取内容使用同一个topic模块进行处理，保证了系统的高效率和高拓展性，减少了系统间各个模块的耦合性。在每一个topic任务处理器进行任务处理后，将处理结果以队列形式保存，队列中包括多个单个数据，所述单个数据包括文档标识和任务结果两个部分。例如topic1只获取合同文档中的用户名，topic2只获取文档中用户申请的额度，Topic1每完成一次审核数据解析任务，输出一个用户名，为了区别该用户名对应的审核合同类型，在对任务结果进行队列缓存时，加上文档的标识，进行缓存。其中，所述文档标识包括不同类型标识和同种审核合同的不同文档编号，如topic解析的为订单中的用户名，订单在待审核合同中为一个大类，假设为III类，每一张订单的编号为一个文档，假设为2019113567,所以为了清除的进行区分，在保存时“III2019113567+用户名”的格式。将文档中提取到的任务结果进行队列保存，并且通过标识的方式进行保存，便于下游审核系统在进行数据审核时的快速获取，提高了系统的处理性能，一定程度上避免了审核任务的积压，降低系统崩溃的可能性。

在本申请实施例中，对于步骤S4，审核端可从步骤S3中的队列中获取解析后的文档数据，并将队列中标识相同的数据进行整合，形成一条完整的待审核数据。例如topic1中获取的队列结果为用户名集，每一条用户前面都加了审核类型和文档编号的标识，同样的，topic2中获取的队列结果为申请额度集，每一条额度信息前面都加了审核类型和文档编号的标识。将具有相同标识的内容进行整，说明该数据内容为从同一个审核文档上提取的，为了便于最终的审核合格验证，需要基于完整的内容进行整体评估。在形成完整的待审核数据后，其将被传入预设的算法模型中进行审核评估，所述预设的算法模型进行一系列算法处理，最后输出数据审核结果，算法模型可采用现有的模型，此处不具体补充算法模型。

在一些实施例中，在所述使审核端基于预设算法对所述目标审核数据集进行数据审核操作之前，所述方法还包括：在传输所述目标审核数据集到审核端时，对所述目标审核数据集进行传输流量限制。具体的，审核端获取目标审核数据集时，可采用类似于步骤S2中所述的传输限定的方式进行传输流量的限制，通过在进行审核前的流程控制，可再次避免了系统传输量激增的情况，保证了系统的稳定性。

根据本申请实施例提供的基于kafka的数据审核方法，通过在文档审核之前，先对文档的传输进行数据量控制，将经过数据量控制的文档传入基于kafka的文档解析系统中，经过对获取的文档数据进行数据解析和分组保存，以供下游审核系统调用，能保证进行批量数据审核时，不会因为系统审核数据量过多，而导致系统崩溃的情况出现，避免了在瞬时时间点上传输数据过多的情况，为企业级的批量数据审核提供更加稳定的数据审核环境。

本申请实施例提供一种基于kafka的数据审核控制装置，可执行上述实施例提供的基于kafka的数据审核方法，如图2所示，所述基于kafka的数据审核控制装置包括数据分析模块1、数据限流模块2、数据处理模块3和数据发送模块4，其中：

数据分析模块1用于获取待审核文档集信息，根据所述待审核文档集信息对待审核文档集进行文档数据量分析；

数据限流模块2用于判断所述待审核文档集的文档数据量是否大于预设的瞬时传输阈值，若大于则在传输所述待审核文档集至基于kafka的文档解析系统时，对所述待审核文档集进行传输限定，所述传输限定的方式至少包括传输流量控制、文档集分组和时间区间控制中的一种；

数据处理模块3使所述基于kafka的文档解析系统对接收的待审核文档集进行文档数据解析处理，生成审核数据集，对所述审核数据集中的审核数据进行分组，将分组的结果以队列形式保存，得到多个目标审核数据集；

数据发送模块4用于基于审核端的数据获取请求发送所述目标审核数据集中的审核数据至审核端，使审核端基于预设算法对所述目标审核数据集进行数据审核操作，并在审核结束后输出数据审核结果。

所述基于kafka的数据审核控制装置能保证进行批量数据审核时，不会因为系统审核数据量过多，而导致系统崩溃的情况出现，避免了在瞬时时间点上传输数据过多的情况，为企业级的批量数据审核提供更加稳定的审核环境。

在本申请实施例中，待审核文档集为包括批量待审核的合同、订单、数据包等包含待审核数据的载体集合，而数据分析模块1获取待审核文档集信息则包含待审核的合同、订单、数据包等包含待审核数据的生成状态信息，待审核文档集信息的具体的获取方式包括本地缓存查询、远程缓存抓取等。

在本申请实施例中，在对待审核文档集的文档数据进行审核前，数据限流模块2首先获取待审核文档集的文档数据量，具体通过对待审核文档集中文档的数量进行计算来获取总的文档数据量，其中获取待审核数据集中文档的总数量时不对文档的具体内容进行获取；若待审核文档集中个文档数量较多，且文档数据量超过瞬时传输阈值时，则后续在传输待审核文档集中文档数据至基于kafka的文档解析系统时，需要对待审核文档集进行传输限制处理，这样保证了在文档数据传输时避免瞬时传输的文档数据过多，从而减少服务器的压力，有助于提高系统的使用寿命。

如果待审核文档集中文档数量较少，在待审核文档集的文档数据量不大于瞬时文档数据量阈值的情况下，则数据限流模块2不进行限流操作，可直接将待审核文档集中文档数据传入所述基于kafka的文档解析系统，以对待审核文件进行后续的数据审核操作。关于基于kafka的文档解析系统接收文档数据的过程和有益效果可参阅上述方法实施例中相关内容，在此不作展开。

在本申请实施例中，数据限流模块2进行传输流量控制是指对文档数据向基于kafka的文档解析系统传输的过程进行控制。在一些实施例中，数据限流模块2进行传输流量控制时，具体用于获取实时传输的文档数据的流量信息，判断实时传输的文档数据流量是否大于预设的瞬时传输阈值，若大于则对传输的文档数据进行部分缓存，并实时获取传输的文档数据的新的流量信息，直到实时传输的文档数据流量小于所述预设的瞬时传输阈值时，再获取缓存的文档数据进行传输。具体的，可使用数据流量监控系统监控实时的文档数据的传输流量，若某一个时刻实时的传输流量大于设定的瞬时传输阈值，则对文档数据进行流量传输控制，通过将当前待传而未被传入的文档数据存入缓存，等待实时的传输流量小于预设的瞬时传输阈值时，再重新获取缓存的文档数据并进行传输。

在一些实施例中，数据限流模块2进行文档集分组是指基于预设的文档数据权重对所述待审核文档集进行分组，具体用于基于预设的文档数据权重等级表，获取所述待审核文档集中的文档数据被审核概率值，将被审核概率值与设定阈值进行比较，根据比较结果对所述待审核文档集中的文档数据进行分组。关于基于文档数据权重进行分组的过程和有益效果可参阅上述方法实施例中相关内容，在此不作展开。

在一些实施例中，数据限流模块2进行时间区间控制是指在所述待审核文档集被传输至基于kafka的文档解析系统之前对待传输的文档数据进行传输分时限定，其中数据限流模块2进行传输分时限定时具体用于获取预设的时间闲置等级，若当前时间段的时间闲置等级符合设定的时间闲置阈值，改变所述瞬时传输阈值，以对待传输的文档数据进行传输分时限定。关于进行传输分时限定的过程和有益效果可参阅上述方法实施例中相关内容，在此不作展开。

在本申请实施例中，数据处理模块3在控制所述基于kafka的文档解析系统在对接收的文档数据进行内容解析后，将对解析的文档数据和文档名进行结合缓存，在文档数据过多时，可避免数据审核混乱，从而提高审核效率。

在本申请实施例中，基于kafaka的文档解析系统可包含多个子处理系统，每个子处理系统对应一个缓存代理服务器，共同组成一个kafka集群。在一些实施例中，数据处理模块3控制基于kafaka的文档解析系统对所述审核数据集中的审核数据进行分组，将分组的结果以队列形式保存时，具体用于向kafka集群中每一台缓存代理服务器发送处理指令，使各所述缓存代理服务器将所述审核数据集作为待处理数据进行审核数据的拆分提取，形成与所述缓存代理服务器数量相同的子数据集，并将子数据集以队列形式同步存储到对应的所述缓存代理服务器上。此外，所述子数据集以队列形式同步存储于可存储于区块链中。关于kafka集群的组成和各组成部分的功能及有益效果可参阅上述方法实施例中相关内容，在此不作展开。本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

在本申请实施例中，数据处理模块3可从队列中获取解析后的文档数据，并将队列中标识相同的数据进行整合，形成一条完整的待审核数据发送至审核端。关于数据的整合和发送可参阅上述方法实施例中相关内容，在此不作展开。

在一些实施例中，数据处理模块3在传输所述目标审核数据集到审核端时，数据限流模块2还用于对所述目标审核数据集进行传输流量限制。具体的，传输目标审核数据集时，可采用类似于审核数据传输至基于kafaka的文档解析系统中所采用的传输限定的方式进行传输流量的限制，通过在进行审核前的流程控制，可再次避免了系统传输量激增的情况，保证了系统的稳定性。

根据本申请实施例提供的基于kafka的数据审核控制装置，通过在文档审核之前，先对文档的传输进行数据量控制，将经过数据量控制的文档传入基于kafka的文档解析系统中，经过对获取的文档数据进行数据解析和分组保存，以供下游审核系统调用，能保证进行批量数据审核时，不会因为系统审核数据量过多，而导致系统崩溃的情况出现，避免了在瞬时时间点上传输数据过多的情况，为企业级的批量数据审核提供更加稳定的数据审核环境。

本申请实施例还提供一种计算机设备，如图3所示，所述计算机设备包括至少一个处理器31，以及与所述至少一个处理器31通信连接的存储器32，图3中示出一个处理器31，所述存储器32存储有可被所述至少一个处理器31执行的计算机可读指令，所述计算机可读指令被所述至少一个处理器31执行，以使所述至少一个处理器31能够执行如上所述的基于kafka的数据审核方法的步骤。

具体的，本申请实施例中的存储器32为非易失性计算机可读存储介质，可用于存储计算机可读指令、非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请上述实施例中的基于kafka的数据审核方法对应的程序指令/模块；所述处理器31通过运行存储在存储器32中的非易失性软件程序、计算机可读指令以及模块，从而执行各种功能应用以及进行数据处理，即实现上述方法实施例中所述的基于kafka的数据审核方法。

在一些实施例中，所述存储器32可以包括程序存储区和数据存储区，其中，程序存储区可存储操作系统、至少一个功能所需要的应用程序；数据存储区可存储基于kafka的数据审核方法的处理过程中所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件；

在一些实施例中，存储器32可选包括相对于处理器31远程设置的远程存储器，这些远程存储器可以通过网络连接至执行域名过滤处理的计算机设备，前述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

在本申请实施例中，执行基于kafka的数据审核方法的计算机设备还可以包括输入系统33和输出系统34；其中，输入系统33可获取用户在计算机设备上的操作信息，输出系统34可包括显示屏等显示设备。在本申请实施例中，所述处理器31、存储器32、输入系统33和输出系统34可以通过总线或者其他方式连接，图3中以通过总线连接为例。

根据本申请实施例提供的计算机设备，通过处理器31执行存储器32中的代码时能够执行上述实施例中基于kafka的数据审核方法的步骤，且具有上述方法实施例的技术效果，未在本申请实施例中详尽描述的技术细节，可参见本申请方法实施例中所提供的技术内容。

本申请实施例还提供一种非易失性的计算机可读存储介质，包括存储数据区和存储程序区，存储数据区存储根据区块链节点的使用所创建的数据，存储程序区存储有计算机程序；所述计算机可读存储介质上存储有计算机可读指令，即计算机程序，所述计算机可读指令被至少一个处理器执行时，能够实现如上所述的基于kafka的数据审核方法的步骤，当执行所述方法的步骤时，具有上述方法实施例的技术效果，未在本申请实施例中详尽描述的技术细节，可参见本申请方法实施例中所提供的技术内容。

本申请实施例还提供一种计算机程序产品，所述产品可执行本申请方法实施例中所提供的基于kafka的数据审核方法，具备执行方法相应的功能模块和有益效果。未在本申请实施例中详尽描述的技术细节，可参见本申请方法实施例中所提供的技术内容。

需要说明的是，在本申请上述实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干计算机可读指令用以使得一台计算机系统(可以是个人计算机，服务器，或者网络系统等)或智能终端设备或处理器(Processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请所提供的上述实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，至少两个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到至少两个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请实施例方案的目的。

显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种基于kafka的数据审核方法，其特征在于，包括：

获取待审核文档集信息，根据所述待审核文档集信息对待审核文档集进行文档数据量分析；

判断所述待审核文档集的文档数据量是否大于预设的瞬时传输阈值，若大于则在传输所述待审核文档集至基于kafka的文档解析系统时，对所述待审核文档集进行传输限定，所述传输限定的方式至少包括传输流量控制、文档集分组和时间区间控制中的一种；

使所述基于kafka的文档解析系统对接收的待审核文档集进行文档数据解析处理，生成审核数据集，对所述审核数据集中的审核数据进行分组，将分组的结果以队列形式保存，得到多个目标审核数据集；

基于审核端的数据获取请求发送所述目标审核数据集中的审核数据至审核端，使审核端基于预设算法对所述目标审核数据集进行数据审核操作，并在审核结束后输出数据审核结果。

2.根据权利要求1所述的基于kafka的数据审核方法，其特征在于，所述传输流量控制包括：

获取实时传输的文档数据的流量信息，判断实时传输的文档数据流量是否大于预设的瞬时传输阈值，若大于则对传输的文档数据进行部分缓存，并实时获取传输的文档数据的新的流量信息，直到实时传输的文档数据流量小于所述预设的瞬时传输阈值时，再获取缓存的文档数据进行传输。

3.根据权利要求1所述的基于kafka的数据审核方法，其特征在于，所述文档集分组包括基于预设的文档数据权重对所述待审核文档集进行分组，具体包括:

基于预设的文档数据权重等级表，获取所述待审核文档集中的文档数据的被审核概率值，将被审核概率值与设定阈值进行比较，根据比较结果对所述待审核文档集中的文档数据进行分组。

4.根据权利要求1所述的基于kafka的数据审核方法，其特征在于，所述时间区间控制包括在所述待审核文档集被传输至基于kafka的文档解析系统之前对待传输的文档数据进行传输分时限定，其中所述传输分时限定包括：

获取预设的时间闲置等级，若当前时间段的时间闲置等级符合设定的时间闲置阈值，改变所述瞬时传输阈值，以对待传输的文档数据进行传输分时限定。

5.根据权利要求1至4任一项所述的基于kafka的数据审核方法，其特征在于，所述方法还包括：

若待审核文档集的文档数据量不大于所述预设的瞬时传输阈值，则将待审核文档集中文档数据传入所述基于kafka的文档解析系统。

6.根据权利要求1至4任一项所述的基于kafka的数据审核方法，其特征在于，所述对所述审核数据集中的审核数据进行分组，将分组的结果以队列形式保存包括：

向kafka集群中每一台缓存代理服务器发送处理指令，使各所述缓存代理服务器将所述审核数据集作为待处理数据进行审核数据的拆分提取，形成与所述缓存代理服务器数量相同的子数据集，并将子数据集以队列形式同步存储到对应的所述缓存代理服务器上，此外，所述子数据集以队列形式同步存储于可存储于区块链中。

7.根据权利要求6所述的基于kafka的数据审核方法，其特征在于，在所述使审核端基于预设算法对所述目标审核数据集进行数据审核操作之前，所述方法还包括：

在传输所述目标审核数据集到审核端时，对所述目标审核数据集进行传输流量限制。

8.一种基于kafka的数据审核控制装置，其特征在于，包括：

数据分析模块，用于获取待审核文档集信息，根据所述待审核文档集信息对待审核文档集进行文档数据量分析；

数据限流模块，用于判断所述待审核文档集的文档数据量是否大于预设的瞬时传输阈值，若大于则在传输所述待审核文档集至基于kafka的文档解析系统时，对所述待审核文档集进行传输限定，所述传输限定的方式至少包括传输流量控制、文档集分组和时间区间控制中的一种；

数据处理模块，使所述基于kafka的文档解析系统对接收的待审核文档集进行文档数据解析处理，生成审核数据集，对所述审核数据集中的审核数据进行分组，将分组的结果以队列形式保存，得到多个目标审核数据集；

数据发送模块，用于基于审核端的数据获取请求发送所述目标审核数据集中的审核数据至审核端，使审核端基于预设算法对所述目标审核数据集进行数据审核操作，并在审核结束后输出数据审核结果。

9.一种计算机设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机可读指令，所述计算机可读指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如权利要求1至7中任一项所述的基于kafka的数据审核方法的步骤。

10.一种非易失性的计算机可读存储介质，其特征在于，包括存储数据区和存储程序区，存储数据区存储根据区块链节点的使用所创建的数据，存储程序区存储有计算机程序；所述计算机可读指令被至少一个处理器执行时实现如权利要求1至7中任一项权利要求所述的基于kafka的数据审核方法的步骤。

Images