CN114282672A - 一种比对实时流数据的装置和方法 - Google Patents

Abstract

本发明以及大数据处理领域，尤其涉及一种比对实时流数据的装置和方法。所述装置包括：流数据输入接口，用于读取流数据；用户基础关键字输入接口，用于输入用户基础关键字；AI知识库接入接口，用于向AI知识库输入用户基础关键字，并接收AI知识库推荐设置的比对关键字；比对单元，用于比对所述流数据和所述比对关键字并输出比对结果；和预警比对输出接口，用于对外输出所述比对结果。本发明的装置可以极大地减少重复编码甚至达到零编码，降低开发成本；可以无缝的嵌套在各个业务治理系统中，实现实时快速比对，快速响应客户实时动态变化的需求，极大提高了实时数据使用的质量。

Description

一种比对实时流数据的装置和方法

技术领域

本发明涉及大数据处理领域，尤其涉及一种比对实时流数据的装置和方法。

背景技术

随着社会的高速发展，各行业数字化进程的推动，大数据精确比对预警推送就显得尤为重要，每天面对庞杂的业务数据，怎么从这些数据中找到我们想要的数据，这对每个行业来说都极其重要。

在各行业中一般都有一套甚至多套标准化数据治理流程。对于传统软件行业开发的预警比对功能，面对各类多源异构数据，通常都是只能比对某一特定的数据源，或者只能比对单个关键字，如果有不同的数据源以及不同的比对内容就需要重新写代码，重新部署上线，十分繁琐且不能及时响应客户动态需求。

发明内容

有鉴于现有技术的上述缺陷，本发明的目的是提供一种比对实时流数据的装置和方法，通过嵌入该装置和方法能很好的避免上述重复开发流程，极大缩小开发成本和人力投入，可以实践一套装置完成各类业务数据比对预警并推送到各类应用平台的功能，可实现实时设置并完成快速预警比对的需求，在系统业务以及功能层面快速实现零编码完成各类不同关键业务功能的数据预警比对推送功能。

为实现上述目的，本发明提供了一种比对实时流数据的装置，包括：

流数据输入接口，用于读取流数据；

用户基础关键字输入接口，用于输入用户基础关键字；

AI知识库接入接口，用于向AI知识库输入用户基础关键字，并接收AI知识库推荐设置的比对关键字；

比对单元，用于比对所述流数据和所述比对关键字并输出比对结果；

和预警比对输出接口，用于对外输出所述比对结果。

进一步的，所述比对单元的比对维度包括：比对关键字、目标组件类型和地址。

进一步的，所述比对单元的比对维度还包括：数据来源、资源表名、字段名、预警起止时间、使用资源线程数、预警数据阀值。

进一步的，所述预警比对输出接口连接的外部设备为日志系统。

进一步的，所述用户基础关键字输入接口为窗体。

本发明提供了一种比对实时流数据的方法，应用于本发明第一方面的比对实时流数据的装置，包括：

步骤S1、分析各业务系统数据解析入库流程，找到数据处理中间流程代码或装置嵌入本发明的比对实时流数据的装置的代码；

步骤S2、设置基础比对资源和比对结果集合；

步骤S3、输入用户基础关键字，并将用户基础关键字转发给AI知识库；

步骤S4、接收AI知识库根据用户基础关键字推荐的比对关键字；

步骤S5、获取业务系统的流数据，比对所述流数据和所述比对关键字，输出比对结果。

本发明实现了如下技术效果：

(1)本发明的装置提供了一个灵活性高且低耦合的AI智能动态配置比对模板装置，可以极大地减少重复编码甚至达到零编码，降低开发成本。

(2)本发明的装置可以无缝的嵌套在各个业务治理系统中，实现实时快速比对，快速响应客户实时动态变化的需求，极大提高了实时数据使用的质量。

附图说明

图1是本发明的比对实时流数据的装置的功能框图；

图2是本发明涉及的实时流数据比对流程图。

具体实施方式

为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。

现结合附图和具体实施方式对本发明进一步说明。

如图1所示，本发明公开了一种比对实时流数据的装置，具体为一个嵌入式插件形式的计算机程序，包括：流数据输入接口、用户基础关键字输入接口、AI知识库接入接口、比对单元和预警比对输出接口等。其中，读取流数据输入接口，用于读取流数据；用户基础关键字输入接口，用于和用户交互，输入用户基础关键字；AI知识库接入接口，用于和行业AI知识库交互，向AI知识库输入查询信息-用户基础关键字，并接收AI知识库推荐的比对关键字；比对单元，用于比对流数据和比对关键字并输出比对结果；预警比对输出接口，用于对外输出结果。

其中的各输入接口、输出接口、接入接口即为程序间的参数调用接口。

在本实施例中，比对单元设置有基础比对表，基础比对表设置有多个比对维度，以便于从各方面适配各业务系统，最终给出比对结果。

在本实施例中，给出了一种基础比对表的比对维度的设置示例。该比对单元的比对维度包括：

2-1:dataSource:

配置需要比对的数据来源

2-2:resourceName:

配置需要进行比对的资源表名

2-3:fields:

配置需要比对的字段名，可以根据业务需求自定义

2-4:keyword:

配置需要进行比对的关键字，如果不配置则进行全字段匹配

2-5:starttime/endtime:

配置需要比对的预警起止时间

2-6:threshold:

配置解析需要的资源线程数，调优使用

2-7:sinkType/sinkAddress:

配置比对匹配后可以推送的目标组件类型以及对应的地址

在本实施例中，可以动态设置基础比对表，基础比对表支持数据库以及配置文件两种方式。

基础比对表在数据库配置模式下的参数定义，可见如下计算机代码：

在具体应用中，基础比对表的比对维度的设置至少包括了比对关键字、目标组件类型和地址，以实现对目标实时流数据的比对，在设置时属于必选项。其余的参数则为可选项，用于对实时流数据做进一步的比对、筛选，以完善比对预警信息。

在本实施例中，用户基础关键字输入接口的方式是窗体，可通过窗口灵活配置用户基础关键字。

如图2所示，采用本发明的比对实时流数据的装置(嵌入式插件)，执行如下流程：

步骤S1、分析各业务系统数据解析入库流程，找到数据处理中间流程代码或装置嵌入本发明的比对实时流数据的装置的代码；

步骤S2、设置基础比对资源和比对结果集合；

步骤S3、输入用户基础关键字，并将用户基础关键字转发给AI知识库；

步骤S4、接收AI知识库根据用户基础关键字推荐的比对关键字；

步骤S5、获取业务系统的流数据，比对所述流数据和所述比对关键字，输出比对结果。

以示例的计算机代码为例，说明如下：

根据客户设置的基础关键字keyword1和keyword2，通过调用各行业后台AI知识库推荐出同语义的关键字keyword3，keyword4，keyword5，布控到比对表中，用于实时流数据的比对预警，并把比对结果根据配置异步输出到指定节点"kafka","kafka-01:2181:kafka-02:2181:kafka-03:2181"。输出的节点通常为某一日志系统，比对结果以日志方式存储。在本计算机代码示例中，该指定节点为kafka，Kafka最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者的，基于zookeeper协调的分布式日志系统(也可以当做MQ系统)，可以用于web/nginx日志、访问日志，消息服务等等。

本发明实现在多源异构的情况下，不影响原有业务系统，异步实现动态配置，AI智能推荐，实现快速、高效比对数据并将比对成功的数据实时推送到任意系统平台，解决以往单一、高耦合度的数据解析问题，能够快速实现大量不同表结构的数据解析。通过动态模板，将之前单一处理表结构的解析过程转变为不同表结构的通用解析过程，只需要将表的字段进行配置，就能对资源数据进行解析，避免了重复开发，节约生产力。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (7)

1.一种比对实时流数据的装置，其特征在于，包括：

流数据输入接口，用于读取流数据；

用户基础关键字输入接口，用于输入用户基础关键字；

AI知识库接入接口，用于向AI知识库输入用户基础关键字，并接收AI知识库推荐设置的比对关键字；

比对单元，用于比对所述流数据和所述比对关键字并输出比对结果；

和预警比对输出接口，用于对外输出所述比对结果。

2.如权利要求1所述的比对实时流数据的装置，其特征在于，所述比对单元的比对维度包括：比对关键字、目标组件类型和地址。

3.如权利要求2所述的比对实时流数据的装置，其特征在于，所述比对单元的比对维度还包括：数据来源、资源表名、字段、预警起止时间、使用资源线程数、预警数据阀值。

4.如权利要求1所述的比对实时流数据的装置，其特征在于，所述预警比对输出接口连接的外部设备为日志系统。

5.如权利要求1所述的比对实时流数据的装置，其特征在于，所述用户基础关键字输入接口为窗体。

6.如权利要求1所述的比对实时流数据的装置，其特征在于，所述比对实时流数据的装置为计算机控件。

7.一种比对实时流数据的方法，其特征在于，应用于如权利要求1-6任一项所述的比对实时流数据的装置，包括：

步骤S1、将所述比对实时流数据的装置的代码嵌入业务系统的数据处理中间流程中；

步骤S2、设置基础比对资源和比对结果集合；

步骤S3、输入用户基础关键字，并将用户基础关键字转发给AI知识库；

步骤S4、接收AI知识库根据用户基础关键字推荐的比对关键字；

步骤S5、获取业务系统的流数据，比对所述流数据和所述比对关键字，输出比对结果。

Images