CN111625583B - 业务数据处理方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种业务数据处理方法、装置、计算机设备和存储介质。所述方法包括：通过获取业务需求数据；基于预设第一Kafka数据通道，根据业务需求数据访问外部业务数据平台，获取业务系统的待处理业务数据；基于预设第二Kafka数据通道，获取数据采集终端上传的实时业务数据，并查找与待处理业务数据对应的目标实时业务数据；根据目标实时业务数据以及待处理业务数据，获取数据处理结果。本申请通过Kafka数据解耦特性来进行数据传输，可以有效提高业务需求处理过程中，跨系统处理的数据处理效率。

Description

业务数据处理方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种业务数据处理方法、装置、计算机设备和存储介质。

背景技术

随着信息技术和智能电网的发展，电力企业对于信息资源共享与数据价值发现等技术的需求不断激增。智能变电站、智能电表、在线监测系统、现场移动检修系统、测控一体化系统等一大批服务应用系统的广泛建成，使得企业产生和积累了海量结构多样、来源复杂、规模巨大、系统独立的数据资源，造成企业跨系统数据集成与共享难度加大，直接影响数据内在知识价值发现，降低电网运营审计效率。

当前进行跨系统数据处理主要依托于系统集成，系统集成的实现方式主要是通过数据分析平台设置不同的数据源，将各自系统的数据源均可通过数据分析平台实现展示查看，最后通过数据分析平台设置表间的勾稽关系，实现跨系统数据处理展示。

当前的数据集成的方法不支持数据解耦，以营销与计量自动化跨域场景为例，当营销系统或计量自动化系统其中一个升级造成拓展或修改了数据处理过程，将无法实时获取和输出正确的成果数据。此时需要重新进行数据采集和处理，才能更新及展示实时结果数据，在这种情况下数据处理的效率会受到一定影响。

发明内容

基于此，有必要针对上述技术问题，提供一种能够能有效提高跨系统数据处理效率的业务数据处理方法、装置、计算机设备和存储介质。

一种业务数据处理方法，所述方法包括：

获取业务需求数据；

基于预设第一Kafka数据通道，根据所述业务需求数据访问外部业务数据平台，获取业务系统的待处理业务数据；

基于预设第二Kafka数据通道，获取数据采集终端上传的实时业务数据，并查找与所述待处理业务数据对应的目标实时业务数据；

根据所述目标实时业务数据以及所述待处理业务数据，获取数据处理结果。

在其中一个实施例中，所述基于预设第二Kafka数据通道，获取数据采集终端上传的实时业务数据，并查找与所述待处理业务数据对应的目标实时业务数据之前，还包括：

基于Kafka架构构建与外部业务数据平台的预设第一Kafka通道；

基于Kafka架构构建与数据采集终端的预设第二Kafka数据通道。

在其中一个实施例中，所述基于预设第一Kafka数据通道，根据所述业务需求数据访问外部业务数据平台，获取业务系统的待处理业务数据之前，还包括：

基于所述预设第一Kafka通道构建第一Kafka消息队列；

所述基于预设第一Kafka数据通道，根据所述业务需求数据访问外部业务数据平台获取业务系统的待处理业务数据包括：

通过所述第一Kafka消息队列，以异步方式根据所述业务需求数据访问外部业务数据平台获取业务系统的待处理业务数据。

在其中一个实施例中，所述待处理业务数据包括通过预设第三Kafka消息队列，以ETL数据仓库技术以及网络服务技术从业务系统采集的结构化数据。

在其中一个实施例中，所述基于预设第二Kafka数据通道，获取数据采集终端上传的实时业务数据，并查找与所述待处理业务数据对应的目标实时业务数据之前，还包括：

基于所述预设第二Kafka通道构建第二Kafka消息队列；

所述基于预设第二Kafka数据通道，从数据采集终端获取所述待处理业务数据对应的目标实时业务数据包括：

通过第二Kafka消息队列获取数据采集终端上传的实时业务数据，并查找与所述待处理业务数据对应的目标实时业务数据。

在其中一个实施例中，所述根据所述目标实时业务数据以及所述待处理业务数据，获取数据处理结果之后，还包括：

获取所述实时业务数据的数据种类；

根据所述实时业务数据的数据种类为所述实时业务数据添加系统标签；

根据添加系统标签后的实时业务数据生成数据下发指令，发送数据下发指令发送至所述外部业务数据平台，所述数据下发指令用于控制所述外部业务数据平台根据所述系统标签，将所述实时业务数据下发至所述系统标签对应的业务系统。

一种业务数据处理装置，所述装置包括：

需求获取模块，用于获取业务需求数据；

第一数据获取模块，用于基于预设第一Kafka数据通道，根据所述业务需求数据访问外部业务数据平台获取业务系统的待处理业务数据；

第二数据获取模块，用于基于预设第二Kafka数据通道，获取底层终端上传的实时业务数据，并查找与所述待处理业务数据对应的目标实时业务数据；

数据处理模块，用于根据所述目标实时业务数据以及所述待处理业务数据，获取数据处理结果。

在其中一个实施例中，还包括通道构建模块，用于：

基于Kafka架构构建与外部业务数据平台的预设第一Kafka通道；

基于Kafka架构构建与数据采集终端的预设第二Kafka数据通道。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取业务需求数据；

基于预设第一Kafka数据通道，根据所述业务需求数据访问外部业务数据平台，获取业务系统的待处理业务数据；

基于预设第二Kafka数据通道，获取数据采集终端上传的实时业务数据，并查找与所述待处理业务数据对应的目标实时业务数据；

根据所述目标实时业务数据以及所述待处理业务数据，获取数据处理结果。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取业务需求数据；

基于预设第一Kafka数据通道，根据所述业务需求数据访问外部业务数据平台，获取业务系统的待处理业务数据；

基于预设第二Kafka数据通道，获取数据采集终端上传的实时业务数据，并查找与所述待处理业务数据对应的目标实时业务数据；

根据所述目标实时业务数据以及所述待处理业务数据，获取数据处理结果。

上述业务数据处理方法、装置、计算机设备和存储介质，通过获取业务需求数据；基于预设第一Kafka数据通道，根据业务需求数据访问外部业务数据平台，获取业务系统的待处理业务数据；基于预设第二Kafka数据通道，获取数据采集终端上传的实时业务数据，并查找与待处理业务数据对应的目标实时业务数据；根据目标实时业务数据以及待处理业务数据，获取数据处理结果。本申请基于业务需求数据，通过Kafka通道分别访问外部业务数据平台获取业务系统的待处理业务数据，以及从数据采集终端上传的实时业务数据中，获取待处理业务数据对应的目标实时业务数据，并基于待处理业务数据以及目标实时业务数据，得到业务需求对应的数据处理结果，通过Kafka数据解耦特性来进行数据传输，可以有效提高业务需求处理过程中，跨系统处理的数据处理效率。

附图说明

图1为一个实施例中业务数据处理方法的应用环境图；

图2为一个实施例中业务数据处理方法的流程示意图；

图3为一个实施例中数据下发过程的步骤的流程示意图；

图4为一个实施例中业务数据处理装置的结构框图；

图5为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的业务数据处理方法，可以应用于如图1所示的应用环境中。其中，外部业务数据平台102以及数据采集终端104通过网络与服务器106通过网络进行通信，具体通过Kafka数据通道进行数据通信，服务器106还通过网络与申请终端108通信。服务器106首先从申请终端108获取业务需求数据；基于预设第一Kafka数据通道，根据业务需求数据访问外部业务数据平台，获取业务系统的待处理业务数据；基于预设第二Kafka数据通道，获取数据采集终端上传的实时业务数据，并查找与待处理业务数据对应的目标实时业务数据；根据目标实时业务数据以及待处理业务数据，获取数据处理结果。其中，申请终端108可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器106可以用独立的服务器或者是多个服务器组成的服务器集群来实现，也可以为云服务器。

在一个实施例中，如图2所示，提供了一种业务数据处理方法，以该方法应用于图1中的服务器106为例进行说明，包括以下步骤：

步骤201，获取业务需求数据。

其中，业务需求数据是指用于确定业务需要达成的目的相关，服务器可以根据业务需求数据从不同的数据系统中提取相应的数据来达成相应的业务需求。如在其中一个实施例中，本申请适用于对电网数据领域的营销域数据与计量自动化系统数据的协同分析。此时业务需求数据则具体可以包括：确定计量自动化最大需量值是否异常，确定营销域与计量抄表示数是否一致，以及确定变压器暂停期间仍产生电量等。

具体地，当申请终端108所在端的客户需要结合外部业务数据平台的数据以及目标实时业务数据来进行达成业务需求时，可以通过申请终端108向服务器106发送相应业务需求数据，来请求服务器106进行相应的业务处理。

步骤203，基于预设第一Kafka数据通道，根据业务需求数据访问外部业务数据平台，获取业务系统的待处理业务数据。

其中，Kafka是由Apache软件基金会开发的一个开源流处理平台。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。Kafka的架构包括若干Producer(可以是服务器日志，业务数据，页面前端产生的page view等)，多个broker(Kafka支持水平扩展，一般broker数量越多，集群吞吐率越高)，若干Consumer(Group)，还有一个Zookeeper集群。Kafka通过Zookeeper管理集群配置，选举leader，以及在consumer group产生改变时进行rebalance。Producer使用push(推)模式将消息发布到broker，Consumer使用pull(拉)模式从broker订阅并消费消息。Kafka架构提供的基本组件主要有：①Topic：Kafka根据topic对消息进行归类，发布到Kafka集群的每条消息都需要指定一个topic。②Broker：消息中间件处理节点，一个Kafka节点就是一个broker，一个或者多个Broker可以组成一个Kafka集群。③Producer：消息生产者，向Broker发送消息的客户端。④Consumer：消息消费者，从Broker读取消息的客户端。每个Consumer属于一个特定的Consumer Group，一条消息可以发送到多个不同的Consumer Group，但是一个ConsumerGroup中只能有一个Consumer能够消费该消息。⑤Partition：物理上的概念，一个topic可以分为多个partition，每个partition内部是有序的。而Kafka数据通道是基于Kafka架构构建的数据交流通道，通过Kafka解耦特性来可以有效保证数据的传输。而外部业务数据平台是指用于存放业务系统产生数据的业务数据平台，当业务系统产生业务数据后，这些业务数据可以通过相应的Kafka通道上传到外部业务数据平台内，由业务数据平台对业务数据进行保存，当处理器106接收到业务需求数据后，可以根据业务需求数据访问外部业务数据平台102获取该业务需求数据相应的待处理业务数据。在其中一个实施例中，本申请适用于对电网业务数据进行处理，此时业务系统的待处理业务数据具体可以是指电网计量自动化系统内的业务数据。如运行电能表抄表日冻结电能量以及运行电能表月最大需量等数据。或者是电网营销系统内的数据，如用电客户数据、计量点数据、计量点运行电能表关系数据、运行电能表数据、抄表信息、业扩工作单基本信息以及核算运行变压器信息等。

步骤205，基于预设第二Kafka数据通道，获取数据采集终端上传的实时业务数据，并查找与待处理业务数据对应的目标实时业务数据。

其中数据采集终端布置在业务处理的最末端，用于采集实时的业务数据，同时通过预设第二Kafka数据通道将采集的所有实时业务数据上传到服务器106中。服务器106在接收到业务需求数据后，还可以从数据采集终端采集的实时业务数据中，查找获得待处理业务数据对应的目标实时业务数据。在其中一个实施例中，本申请适用于对电网业务数据进行处理，此时目标实时业务数据具体是指在电网的客户源处通过传感器采集的数据或者智能电网设备数据等。目标实时业务数据可以与待处理业务数据获得相应的数据处理结果。

步骤207，根据目标实时业务数据以及待处理业务数据，获取数据处理结果。

当得到业务需求数据对应的待处理业务数据，同时得到目标实时业务数据后，可以结合业务系统处获取的待处理业务数据以及数据采集终端处的目标实时业务数据，基于初始的业务需求数据进行相应分析，得到最终的数据处理结果。此外，因为此处的待处理业务数据中也可以包含多种业务系统内的待处理业务数据，服务器也可以基于不同系统内的待处理业务数据获得相应的数据处理结果。如在其中一个实施例中，本申请适用于对电网业务数据进行处理，此时的业务需求数据为分析确定计量自动化最大需量值是否异常，确定营销域与计量抄表示数是否一致，以及确定变压器暂停期间仍产生电量等。比如当需要确定营销域数据与计量抄表示数是否一致时，服务器106可以外部业务数据平台得到营销系统中的用电客户、计量点、计量点运行电能表关系、运行电能表、抄表信息，同时可以从计量自动化系统中得到。运行电能表日冻结电能量、运行电能表月最大需量。而后通过对比营销系统中的抄见电量以及计量自动化系统中的计量自动化1日零点电量，确定其中的异常数据。并将异常数据作为确定的数据处理结果。当本申请应用于电力审计业务时，可以为电力审计业务提供了跨系统数据协同分析基础。并通过在营销审计中进行数据分析处理，实现了跨系统数据协同分析的实际应用，为营销审计提供了一种创新且有效的审计手段，对审计工作产生了积极的改善效果，加强了营销审计力度。

上述业务数据处理方法，通过获取业务需求数据；基于预设第一Kafka数据通道，根据业务需求数据访问外部业务数据平台，获取业务系统的待处理业务数据；基于预设第二Kafka数据通道，获取数据采集终端上传的实时业务数据，并查找与待处理业务数据对应的目标实时业务数据；根据目标实时业务数据以及待处理业务数据，获取数据处理结果。本申请基于业务需求数据，通过Kafka通道分别访问外部业务数据平台获取业务系统的待处理业务数据，以及从数据采集终端上传的实时业务数据中，获取待处理业务数据对应的目标实时业务数据，并基于待处理业务数据以及目标实时业务数据，得到业务需求对应的数据处理结果，通过Kafka数据解耦特性来进行数据传输，可以有效提高业务需求处理过程中，跨系统处理的数据处理效率。

在一个实施例中，步骤203之前，还包括：基于Kafka架构构建与外部业务数据平台的预设第一Kafka通道；基于Kafka架构构建与数据采集终端的预设第二Kafka数据通道。

具体地，在服务器106从数据采集终端以及外部业务数据平台获取数据前，可以先建立各个设备间的Kafka数据通道。具体包括基于Kafka架构构建与外部业务数据平台的预设第一Kafka通道。以及基于Kafka架构构建与数据采集终端的预设第二Kafka数据通道。同时还需要构建外部业务数据平台与各个业务系统间的Kafka数据通道。本实施例中，通过先构建预设的Kafka通道，而后可以基于这些Kafka通道达到有效传输待处理业务数据以及目标实时业务数据的效果。可以有效提高数据传输过程的处理效率。

在其中一个实施例中，步骤203之前，还包括：基于预设第一Kafka通道构建第一Kafka消息队列；步骤203具体包括：通过第一Kafka消息队列，以异步方式根据业务需求数据访问外部业务数据平台获取业务系统的待处理业务数据。

具体地，可以通过创建消息队列的方式来明确数据异步处理的机制，由于外部业务数据平台可以存储大批量的待处理业务数据，通过使用消息队列能够使服务器106可以顶住突发的访问压力，在外部业务数据平台发送的待处理业务数据剧增的情况下，服务器仍然需要继续发挥作用，而不会因为突发的超负荷的请求而完全崩溃。本实施例中，通过构建第一Kafka消息队列，来实现数据异步通信，可以有效保证服务器与外部业务数据平台间数据交互过程的有效性。

在其中一个实施例中，待处理业务数据包括通过预设第三Kafka消息队列，以ETL数据仓库技术以及网络服务技术从业务系统采集的结构化数据。

其中，ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。而网络服务技术即Web Service技术，Web Service技术，能使得运行在不同机器上的不同应用无须借助附加的、专门的第三方软件或硬件，就可相互交换数据或集成。

具体的，外部业务数据平台与各个业务系统间通过预设第三Kafka消息队列进行通信，各个业务系统可以通过ETL数据仓库技术以及网络服务技术，将产生的业务数据上传到外部业务数据平台，外部业务数据平台对采集到的数据进行初步清洗、加工和计算，然后将经过清洗转换的数据转化为结构化数据进行存储。在本实施例中，待处理业务数据通过ETL数据仓库技术以及网络服务技术从业务系统采集数据，并将采集到的数据以结构化数据，可以提高后续数据流转和调度的便利性。

在其中一个实施例中，步骤205之前，还包括：基于预设第二Kafka通道构建第二Kafka消息队列；步骤205包括：通过第二Kafka消息队列获取数据采集终端上传的实时业务数据，并查找与待处理业务数据对应的目标实时业务数据。

具体地，可以通过创建消息队列的方式来明确数据异步处理的机制，由于外部业务数据平台可以存储大批量的待处理业务数据，通过使用消息队列能够使服务器106可以顶住突发的访问压力，在外部业务数据平台发送的待处理业务数据剧增的情况下，服务器仍然需要继续发挥作用，而不会因为突发的超负荷的请求而完全崩溃。本实施例中，通过构建第二Kafka消息队列，来实现数据异步通信，可以有效保证服务器与数据采集终端间数据交互过程的有效性。

如图3所示，在其中一个实施例中，步骤207之后，还包括：

步骤302，获取实时业务数据的数据种类。

步骤304，根据实时业务数据的数据种类为实时业务数据添加系统标签。

步骤306，根据添加系统标签后的实时业务数据生成数据下发指令，发送数据下发指令发送至外部业务数据平台，数据下发指令用于控制外部业务数据平台根据系统标签，将实时业务数据下发至系统标签对应的业务系统。

其中，系统标签用于将实时业务数据导入至相应的业务系统。外部业务数据平台可以通过识别系统标签，将数据采集终端采集的实时业务数据导入到相应的业务系统内。数据种类与系统标签的标签可以预先设定，可以根据各个业务系统所需要的数据种类，生成各个数据种类对应的系统标签，数据种类与系统标签的对应关系可以是一对一，也可以是一对多。

具体地，本申请的服务器106还可以进行数据的交互，当获得目标实时业务数据后，可以基于实时业务所属的种类，为其添加对应的系统标签。而后根据添加系统标签后的目标实时业务数据生成数据下发指令，发送数据下发指令至外部业务数据平台。而后通过外部业务数据平台，将数据采集终端采集到的目标实时业务数据分发到各个业务系统。此外，在另一个实施例中，服务器106还可以实现各个业务系统内数据的传输，通过为待处理业务数据添加系统标签，将其访问外部业务数据平台分发到不同的业务系统内。本实施例中，通过为实时业务数据添加相应的数据标签，可以及时有效地将产生的采集到的实时业务数据分发到各个业务系统。

应该理解的是，虽然图2以及图3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2以及图3中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图4所示，提供了一种业务数据处理装置，包括：需求获取模块401、第一数据获取模块403、第二数据获取模块405和数据处理模块407，其中：

需求获取模块401，用于获取业务需求数据；

第一数据获取模块403，用于基于预设第一Kafka数据通道，根据业务需求数据访问外部业务数据平台获取业务系统的待处理业务数据；

第二数据获取模块405，用于基于预设第二Kafka数据通道，获取底层终端上传的实时业务数据，并查找与待处理业务数据对应的目标实时业务数据；

数据处理模块407，用于根据目标实时业务数据以及待处理业务数据，获取数据处理结果。

在其中一个实施例中，还包括通道构建模块，用于：基于Kafka架构构建与外部业务数据平台的预设第一Kafka通道；基于Kafka架构构建与数据采集终端的预设第二Kafka数据通道。

在其中一个实施例中，还包括第一消息队列构建模块，用于：基于预设第一Kafka通道构建第一Kafka消息队列。第一数据获取模块504还用于：通过第一Kafka消息队列，以异步方式根据业务需求数据访问外部业务数据平台获取业务系统的待处理业务数据。

在其中一个实施例中，待处理业务数据包括通过预设第三Kafka消息队列，以ETL数据仓库技术以及网络服务技术从业务系统采集的结构化数据。

在其中一个实施例中，还包括第二消息队列构建模块，用于：基基于预设第二Kafka通道构建第二Kafka消息队列。第二数据获取模块506还用于：通过第二Kafka消息队列获取数据采集终端上传的实时业务数据，并查找与待处理业务数据对应的目标实时业务数据。

在其中一个实施例中，还包括数据交互模块，用于：获取实时业务数据的数据种类；根据实时业务数据的数据种类为实时业务数据添加系统标签；根据添加系统标签后的实时业务数据生成数据下发指令，发送数据下发指令发送至外部业务数据平台，数据下发指令用于控制外部业务数据平台根据系统标签，将实时业务数据下发至系统标签对应的业务系统。

关于业务数据处理装置的具体限定可以参见上文中对于业务数据处理方法的限定，在此不再赘述。上述业务数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据处理数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种业务数据处理方法。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取业务需求数据；

基于预设第一Kafka数据通道，根据业务需求数据访问外部业务数据平台，获取业务系统的待处理业务数据；

基于预设第二Kafka数据通道，获取数据采集终端上传的实时业务数据，并查找与待处理业务数据对应的目标实时业务数据；

根据目标实时业务数据以及待处理业务数据，获取数据处理结果。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：基于Kafka架构构建与外部业务数据平台的预设第一Kafka通道；基于Kafka架构构建与数据采集终端的预设第二Kafka数据通道。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：基于预设第一Kafka通道构建第一Kafka消息队列。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：基于预设第二Kafka通道构建第二Kafka消息队列。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取实时业务数据的数据种类；根据实时业务数据的数据种类为实时业务数据添加系统标签；根据添加系统标签后的实时业务数据生成数据下发指令，发送数据下发指令发送至外部业务数据平台，数据下发指令用于控制外部业务数据平台根据系统标签，将实时业务数据下发至系统标签对应的业务系统。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取业务需求数据；

基于预设第一Kafka数据通道，根据业务需求数据访问外部业务数据平台，获取业务系统的待处理业务数据；

基于预设第二Kafka数据通道，获取数据采集终端上传的实时业务数据，并查找与待处理业务数据对应的目标实时业务数据；

根据目标实时业务数据以及待处理业务数据，获取数据处理结果。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于Kafka架构构建与外部业务数据平台的预设第一Kafka通道；基于Kafka架构构建与数据采集终端的预设第二Kafka数据通道。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于预设第一Kafka通道构建第一Kafka消息队列。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于预设第二Kafka通道构建第二Kafka消息队列。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取实时业务数据的数据种类；根据实时业务数据的数据种类为实时业务数据添加系统标签；根据添加系统标签后的实时业务数据生成数据下发指令，发送数据下发指令发送至外部业务数据平台，数据下发指令用于控制外部业务数据平台根据系统标签，将实时业务数据下发至系统标签对应的业务系统。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种业务数据处理方法，所述方法包括：

获取业务需求数据；

基于预设第一Kafka数据通道，根据所述业务需求数据访问外部业务数据平台，获取业务系统的待处理业务数据；

基于预设第二Kafka数据通道，获取数据采集终端上传的实时业务数据，并查找与所述待处理业务数据对应的目标实时业务数据；

根据所述目标实时业务数据以及所述待处理业务数据，获取数据处理结果。

2.根据权利要求1所述的方法，其特征在于，所述基于预设第二Kafka数据通道，获取数据采集终端上传的实时业务数据，并查找与所述待处理业务数据对应的目标实时业务数据之前，还包括：

基于Kafka架构构建与外部业务数据平台的预设第一Kafka通道；

基于Kafka架构构建与数据采集终端的预设第二Kafka数据通道。

3.根据权利要求1所述的方法，其特征在于，所述基于预设第一Kafka数据通道，根据所述业务需求数据访问外部业务数据平台，获取业务系统的待处理业务数据之前，还包括：

基于所述预设第一Kafka通道构建第一Kafka消息队列；

所述基于预设第一Kafka数据通道，根据所述业务需求数据访问外部业务数据平台获取业务系统的待处理业务数据包括：

通过所述第一Kafka消息队列，以异步方式根据所述业务需求数据访问外部业务数据平台获取业务系统的待处理业务数据。

4.根据权利要求3所述的方法，其特征在于，所述待处理业务数据包括通过预设第三Kafka消息队列，以ETL数据仓库技术以及网络服务技术从业务系统采集的结构化数据。

5.根据权利要求1所述的方法，其特征在于，所述基于预设第二Kafka数据通道，获取数据采集终端上传的实时业务数据，并查找与所述待处理业务数据对应的目标实时业务数据之前，还包括：

基于所述预设第二Kafka通道构建第二Kafka消息队列；

所述基于预设第二Kafka数据通道，从数据采集终端获取所述待处理业务数据对应的目标实时业务数据包括：

通过第二Kafka消息队列获取数据采集终端上传的实时业务数据，并查找与所述待处理业务数据对应的目标实时业务数据。

6.根据权利要求1所述的方法，其特征在于，所述根据所述目标实时业务数据以及所述待处理业务数据，获取数据处理结果之后，还包括：

获取所述实时业务数据的数据种类；

根据所述实时业务数据的数据种类为所述实时业务数据添加系统标签；

根据添加系统标签后的实时业务数据生成数据下发指令，发送数据下发指令发送至所述外部业务数据平台，所述数据下发指令用于控制所述外部业务数据平台根据所述系统标签，将所述实时业务数据下发至所述系统标签对应的业务系统。

7.一种业务数据处理装置，其特征在于，所述装置包括：

需求获取模块，用于获取业务需求数据；

第一数据获取模块，用于基于预设第一Kafka数据通道，根据所述业务需求数据访问外部业务数据平台获取业务系统的待处理业务数据；

第二数据获取模块，用于基于预设第二Kafka数据通道，获取底层终端上传的实时业务数据，并查找与所述待处理业务数据对应的目标实时业务数据；

数据处理模块，用于根据所述目标实时业务数据以及所述待处理业务数据，获取数据处理结果。

8.根据权利要求7所述的装置，其特征在于，还包括通道构建模块，用于：

基于Kafka架构构建与外部业务数据平台的预设第一Kafka通道；

基于Kafka架构构建与数据采集终端的预设第二Kafka数据通道。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

Images