CN107526808A - 实时数据处理方法及装置 - Google Patents

Abstract

本发明实施例提供一种实时数据处理方法及装置。该方法包括：采集源数据发生变更的多个日志数据；根据与每个日志数据匹配的路由规则，确定传输每个日志数据的数据通道；通过每个日志数据对应的数据通道，将所述日志数据分发到与所述数据通道对应的计算节点，由所述计算节点对所述日志数据进行计算处理。实现了对大数据的分发，由不同的计算节点处理不同的大数据，提高了对大数据处理的实时性。

Description

实时数据处理方法及装置

技术领域

本发明实施例涉及通信技术领域，尤其涉及一种实时数据处理方法及装置。

背景技术

大数据(big data)指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

现有技术中,对大数据的处理方法通常是批量采集批量处理,大数据处理的结果并不是实时产生的,而是处理完一批大数据后才能得到该批大数据处理的结果,从而导致对大数据处理的实时性低。

发明内容

本发明实施例提供一种实时数据处理方法及装置，以提高对大数据处理的实时性。

本发明实施例的一个方面是提供一种实时数据处理方法，包括：

采集源数据发生变更的多个日志数据；

根据与每个日志数据匹配的路由规则，确定传输每个日志数据的数据通道；

通过每个日志数据对应的数据通道，将所述日志数据分发到与所述数据通道对应的计算节点，由所述计算节点对所述日志数据进行计算处理。

本发明实施例的另一个方面是提供一种实时数据处理装置，包括：

采集模块，用于采集源数据发生变更的多个日志数据；

确定模块，用于根据与每个日志数据匹配的路由规则，确定传输每个日志数据的数据通道；

分发模块，用于通过每个日志数据对应的数据通道，将所述日志数据分发到与所述数据通道对应的计算节点；

计算节点，用于对所述日志数据进行计算处理。

本发明实施例提供的实时数据处理方法及装置，通过监控源数据，采集源数据发生变更的多个日志数据；根据与每个日志数据匹配的路由规则，确定传输每个日志数据的数据通道；通过每个日志数据对应的数据通道，将日志数据分发到与数据通道对应的计算节点，由计算节点对日志数据进行计算处理，实现了对大数据的分发，由不同的计算节点处理不同的大数据，提高了对大数据处理的实时性。

附图说明

图1为本发明实施例提供的通信系统的示意图；

图2为本发明实施例提供的实时数据处理方法流程图；

图3为本发明实施例提供的另一种实时数据处理方法流程图；

图4为本发明实施例提供的实时数据处理装置的结构图。

具体实施方式

大数据(big data)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

随着云时代的来临，大数据(Big data)也吸引了越来越多的关注。分析师团队认为，大数据(Big data)通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理(MPP)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

目前对信息高时效性、可操作性的需求不断增长，这要求软件系统在更少的时间内能处理更多的数据。传统的大数据处理模型将在线事务处理和离线分析从时序上将两者完全分割开来，但显然该架构目前已经越来越落后于人们对于大数据实时处理的需求。流计算的产生即来源于对于上述数据加工时效性的严苛需求。数据的业务价值随着时间的流失而迅速降低，因此在数据发生后必须尽快对其进行计算和处理。而传统的大数据处理模式对于数据加工均遵循传统日清日毕模式，以小时甚至以天为计算周期对当前数据进行累计并处理，显然这类处理方式无法满足数据实时计算的需求。而流计算作为一类针对流数据的实时计算模型，可有效地缩短全链路数据流时延、实时化计算逻辑、平摊计算成本，最终有效满足实时处理大数据的业务需求。

如今人们对数据的获取与处理的时效性要求越来越高，从信息的产生，到传输，到加工处理的过程就好比一条完整的流水线。各种混杂凌乱的数据，在流水线上传输加工与处理，最终形成有益于的数据。其中的每一步都需要进行良好的设计与实现才能达到目的。

现有技术中,对大数据的处理方法通常是批量采集批量处理,大数据处理的结果并不是实时产生的,而是处理完一批大数据后才能得到该批大数据处理的结果,从而导致对大数据处理的实时性低。具体表现在以下几个方面：

一个方面：全量数据同步，效率低下：

以往的数据采集往往需要在业务低谷时期进行数据的全量导出，再由使用的系统读取并使用。由于技术问题无法区分出增量与变化的数据，导致必须全量同步，造成效率低下。

另一个方面：数据处理实时性低：

同时获取到的数据并非实时的进行处理，往往是批量的处理任务，其缺点是获得结果缓慢，往往需要一批数据全部处理完成才能看到结果。

为了解决上述问题，我们需要一种能够高效的获取新增与发生变化的数据，忽略掉没有变化的数据，并且能够发现一条、传输一条、处理一条以数据流的方式对数据进行采集、加工、处理。具体包括如下几个方面：

一个方面：源端数据实时监控：

在数据的产生端，实时监控对数据的修改日志，从中抓取关心的数据的修改日志。将这种数据实时抓取出来，向后端输送。以达到数据的增量变化情况的获取。解决以往无法获得增量数据而需要全量同步数带来的效率低下问题。

另一个方面：采集数据实时计算：

对于实时抓取的增量变化数据，在流式计算平台及时的匹配归集、归并处理规则，对数据进行深度加工，及时形成有意义的计算结果数据，提供给对外的业务能力服务，为其他系统提供准确的数据服务。

本发明通过在数据产生端进行实时的监控，实时获取数据的变化，将变化情况汇聚分发到数据传输通道，再由对端实时获取流转过来的数据，并及时加工处理数据形成结果，以供其他系统使用。

数据源采集程序实时监控数据源的增量及变化的变更日志数据，将配置的所要抓取的类型的数据，实时的抓取到文件中存储。传输进程从文件中读取每条数据，发送至流式数据处理平台。流数据处理平台实时的对每条数据进行模式匹配，应用归集计算规则，实时处理数据，并最终生成处理后的结果数据，存储于大数据平台上。

数据采集程序通过过滤数据对象的名称，匹配Key/Value哈希的键值对规则，抓取符合规则的数据，进行落地。

数据分发程序通过抓取到的对象名称，匹配以平衡二叉树存放的路由规则，来决定数据经由哪个传输管道送往流式处理计算模块。

流式处理计算模块的计算规则以平衡二叉树结构存放，查找的时间复杂度是O(logN)。能够应对大量计算规则带来的效率下降问题。

本发明提供的实时数据处理方法，可以适用于图1所示的通信系统。如图1所示，该通信系统包括：接入网设备11以及终端设备12。需要说明的是，图1所示的通信系统可以适用于不同的网络制式，例如，可以适用于全球移动通讯(Global System of Mobilecommunication，简称GSM)、码分多址(Code Division Multiple Access，简称CDMA)、宽带码分多址(Wideband Code Division Multiple Access，简称WCDMA)、时分同步码分多址(Time Division-Synchronous Code Division Multiple Access，简称TD-SCDMA)、长期演进(Long Term Evolution，简称LTE)系统及未来的5G等网络制式。可选的，上述通信系统可以为5G通信系统中高可靠低时延通信(Ultra-Reliable and Low LatencyCommunications，简称URLLC)传输的场景中的系统。

故而，可选的，上述接入网设备11可以是GSM或CDMA中的基站(Base TransceiverStation，简称BTS)和/或基站控制器，也可以是WCDMA中的基站(NodeB，简称NB)和/或无线网络控制器(Radio Network Controller，简称RNC)，还可以是LTE中的演进型基站(Evolutional Node B，简称eNB或eNodeB)，或者中继站或接入点，或者未来5G网络中的基站(gNB)等，本发明在此并不限定。

上述终端设备12可以是无线终端也可以是有线终端。无线终端可以是指向用户提供语音和/或其他业务数据连通性的设备，具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备。无线终端可以经无线接入网(Radio Access Network，简称RAN)与一个或多个核心网设备进行通信，无线终端可以是移动终端，如移动电话(或称为“蜂窝”电话)和具有移动终端的计算机，例如，可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，它们与无线接入网交换语言和/或数据。再例如，无线终端还可以是个人通信业务(Personal Communication Service，简称PCS)电话、无绳电话、会话发起协议(Session Initiation Protocol，简称SIP)话机、无线本地环路(Wireless LocalLoop，简称WLL)站、个人数字助理(Personal Digital Assistant，简称PDA)等设备。无线终端也可以称为系统、订户单元(Subscriber Unit)、订户站(Subscriber Station)，移动站(Mobile Station)、移动台(Mobile)、远程站(Remote Station)、远程终端(RemoteTerminal)、接入终端(Access Terminal)、用户终端(User Terminal)、用户代理(UserAgent)、用户设备(User Device or User Equipment)，在此不作限定。可选的，上述终端设备12还可以是智能手表、平板电脑等设备。

本发明提供的实时数据处理方法，旨在解决现有技术的如上技术问题。

下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

图2为本发明实施例提供的实时数据处理方法流程图。本发明实施例针对现有技术中,对大数据的处理方法通常是批量采集批量处理,大数据处理的结果并不是实时产生的,而是处理完一批大数据后才能得到该批大数据处理的结果,从而导致对大数据处理的实时性低，提供了实时数据处理方法，该方法具体步骤如下：

步骤S101、采集源数据发生变更的多个日志数据。

如图3所示，采集端实时的从数据源读取源数据，采集端具体可以监控源数据，并采集源数据发生变更的多个日志数据，例如源数据A变更为B，日志数据记录源数据A由A变为B，由于源数据可以是实时的大数据，因此，源数据发生变更的日志数据是大量的实时的数据，进一步的，采集端还可以根据日志数据的名称，对日志数据进行过滤处理，从多个日志数据中获取出与预设的键值对规则匹配的日志数据，并将与预设的键值对规则匹配的日志数据发送给数据分发端。

步骤S102、根据与每个日志数据匹配的路由规则，确定传输每个日志数据的数据通道。

数据分发端接收到采集端发送的日志数据后，根据每个日志数据的名称，确定与每个日志数据匹配的路由规则，具体的，路由规则以平衡二叉树的形式存放。数据分发端确定出与每个日志数据匹配的路由规则之后，确定传输每个日志数据的数据通道，如图3所示，本实施例以N个数据通道为例，从而可以将每个日志数据分发到相应的数据通道上。

步骤S103、通过每个日志数据对应的数据通道，将所述日志数据分发到与所述数据通道对应的计算节点，由所述计算节点对所述日志数据进行计算处理。

数据分发端通过数据通道对每个日志数据进行分发处理，不同的日志数据可以经由不同的数据通道到达不同的计算节点，即不同的日志数据可以由不同的计算节点进行计算处理。

具体的，所述计算节点包括多个计算规则，所述多个计算规则至少以一个平衡二叉树的结构存储在所述计算节点。所述计算节点对所述日志数据进行计算处理，包括：所述计算节点确定所述日志数据对应的计算规则；所述计算节点根据所述日志数据对应的计算规则，对所述日志数据进行计算处理。

例如，计算节点1存储有两个平衡二叉树，每个平衡二叉树均由一组计算规则构成，当计算节点1接收到一个日志数据时，计算节点1根据该日志数据的字段值从一个平衡二叉树的根节点开始查找与该字段值匹配的计算规则，如果能够找到与该字段值匹配的计算规则，则采用与该字段值匹配的计算规则对该日志数据进行计算处理，如果在该平衡二叉树上没有找到与该字段值匹配的计算规则，则从另一个平衡二叉树上查找与该字段值匹配的计算规则，直到找到与该字段值匹配的计算规则为止，其查找计算规则的时间复杂度是O(logN)，采用与该字段值匹配的计算规则对该日志数据进行计算处理。最后将处理结果发送给目的端存储。

如图3所示，数据源和采集端可以是同一个实体，也可以是不同的实体。数据分发端、数据通道、计算节点可以位于同一个实体，例如流式数据处理平台。目的端具体可以是大数据平台。

在本实施例中，所述对所述日志数据进行计算处理，包括如下至少一种：对所述日志数据进行模式匹配；对所述日志数据进行归集处理。

本实施例通过监控源数据，采集源数据发生变更的多个日志数据；根据与每个日志数据匹配的路由规则，确定传输每个日志数据的数据通道；通过每个日志数据对应的数据通道，将日志数据分发到与数据通道对应的计算节点，由计算节点对日志数据进行计算处理，实现了对大数据的分发，由不同的计算节点处理不同的大数据，提高了对大数据处理的实时性。

图4为本发明实施例提供的实时数据处理装置的结构图。本发明实施例提供的实时数据处理装置可以执行实时数据处理方法实施例提供的处理流程，如图4所示，实时数据处理装置30包括：采集模块31、确定模块32、分发模块33、计算节点34，其中，采集模块31用于采集源数据发生变更的多个日志数据；确定模块32用于根据与每个日志数据匹配的路由规则，确定传输每个日志数据的数据通道；分发模块33用于通过每个日志数据对应的数据通道，将所述日志数据分发到与所述数据通道对应的计算节点；计算节点34用于对所述日志数据进行计算处理。

例如，采集模块31实时的从数据源读取源数据，采集模块31具体可以监控源数据，并采集源数据发生变更的多个日志数据，例如源数据A变更为B，日志数据记录源数据A由A变为B，由于源数据可以是实时的大数据，因此，源数据发生变更的日志数据是大量的实时的数据，进一步的，采集模块31还可以根据日志数据的名称，对日志数据进行过滤处理，从多个日志数据中获取出与预设的键值对规则匹配的日志数据，并将与预设的键值对规则匹配的日志数据发送给分发模块33。

分发模块33接收到采集模块31发送的日志数据后，确定模块32根据每个日志数据的名称，确定与每个日志数据匹配的路由规则，具体的，路由规则以平衡二叉树的形式存放。确定模块32确定出与每个日志数据匹配的路由规则之后，确定传输每个日志数据的数据通道，如图3所示，本实施例以N个数据通道为例，从而可以将每个日志数据分发到相应的数据通道上。

分发模块33通过数据通道对每个日志数据进行分发处理，不同的日志数据可以经由不同的数据通道到达不同的计算节点，即不同的日志数据可以由不同的计算节点进行计算处理。

具体的，所述计算节点包括多个计算规则，所述多个计算规则至少以一个平衡二叉树的结构存储在所述计算节点。

计算节点34对所述日志数据进行计算处理，包括：计算节点34确定所述日志数据对应的计算规则；计算节点34根据所述日志数据对应的计算规则，对所述日志数据进行计算处理。

本发明实施例提供的实时数据处理装置可以具体用于执行上述图2所提供的方法实施例，具体功能此处不再赘述。

本发明实施例通过监控源数据，采集源数据发生变更的多个日志数据；根据与每个日志数据匹配的路由规则，确定传输每个日志数据的数据通道；通过每个日志数据对应的数据通道，将日志数据分发到与数据通道对应的计算节点，由计算节点对日志数据进行计算处理，实现了对大数据的分发，由不同的计算节点处理不同的大数据，提高了对大数据处理的实时性。

在上述实施例的基础上，所述计算节点包括多个计算规则，所述多个计算规则至少以一个平衡二叉树的结构存储在所述计算节点。

可选的，计算节点34具体用于：确定所述日志数据对应的计算规则；根据所述日志数据对应的计算规则，对所述日志数据进行计算处理。

可选的，计算节点34具体用于：对所述日志数据进行模式匹配；或者对所述日志数据进行归集处理。

可选的，所述路由规则以平衡二叉树的形式存放。

例如，计算节点1存储有两个平衡二叉树，每个平衡二叉树均由一组计算规则构成，当计算节点1接收到一个日志数据时，计算节点1根据该日志数据的字段值从一个平衡二叉树的根节点开始查找与该字段值匹配的计算规则，如果能够找到与该字段值匹配的计算规则，则采用与该字段值匹配的计算规则对该日志数据进行计算处理，如果在该平衡二叉树上没有找到与该字段值匹配的计算规则，则从另一个平衡二叉树上查找与该字段值匹配的计算规则，直到找到与该字段值匹配的计算规则为止，其查找计算规则的时间复杂度是O(logN)，采用与该字段值匹配的计算规则对该日志数据进行计算处理。最后将处理结果发送给目的端存储。

如图3所示，数据源和采集端可以是同一个实体，也可以是不同的实体。数据分发端、数据通道、计算节点可以位于同一个实体，例如流式数据处理平台。目的端具体可以是大数据平台。

在本实施例中，所述对所述日志数据进行计算处理，包括如下至少一种：对所述日志数据进行模式匹配；对所述日志数据进行归集处理。

本发明实施例提供的实时数据处理装置可以具体用于执行上述图3所提供的方法实施例，具体功能此处不再赘述。

本发明实施例通过监控源数据，采集源数据发生变更的多个日志数据；根据与每个日志数据匹配的路由规则，确定传输每个日志数据的数据通道；通过每个日志数据对应的数据通道，将日志数据分发到与数据通道对应的计算节点，由计算节点对日志数据进行计算处理，实现了对大数据的分发，由不同的计算节点处理不同的大数据，提高了对大数据处理的实时性。

综上所述，本发明实施例通过监控源数据，采集源数据发生变更的多个日志数据；根据与每个日志数据匹配的路由规则，确定传输每个日志数据的数据通道；通过每个日志数据对应的数据通道，将日志数据分发到与数据通道对应的计算节点，由计算节点对日志数据进行计算处理，实现了对大数据的分发，由不同的计算节点处理不同的大数据，提高了对大数据处理的实时性。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种实时数据处理方法，其特征在于，包括：

采集源数据发生变更的多个日志数据；

根据与每个日志数据匹配的路由规则，确定传输每个日志数据的数据通道；

通过每个日志数据对应的数据通道，将所述日志数据分发到与所述数据通道对应的计算节点，由所述计算节点对所述日志数据进行计算处理。

2.根据权利要求1所述的方法，其特征在于，所述计算节点包括多个计算规则，所述多个计算规则至少以一个平衡二叉树的结构存储在所述计算节点。

3.根据权利要求2所述的方法，其特征在于，所述计算节点对所述日志数据进行计算处理，包括：

所述计算节点确定所述日志数据对应的计算规则；

所述计算节点根据所述日志数据对应的计算规则，对所述日志数据进行计算处理。

4.根据权利要求3所述的方法，其特征在于，所述对所述日志数据进行计算处理，包括如下至少一种：

对所述日志数据进行模式匹配；

对所述日志数据进行归集处理。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述路由规则以平衡二叉树的形式存放。

6.一种实时数据处理装置，其特征在于，包括：

采集模块，用于采集源数据发生变更的多个日志数据；

确定模块，用于根据与每个日志数据匹配的路由规则，确定传输每个日志数据的数据通道；

分发模块，用于通过每个日志数据对应的数据通道，将所述日志数据分发到与所述数据通道对应的计算节点；

计算节点，用于对所述日志数据进行计算处理。

7.根据权利要求6所述的实时数据处理装置，其特征在于，所述计算节点包括多个计算规则，所述多个计算规则至少以一个平衡二叉树的结构存储在所述计算节点。

8.根据权利要求7所述的实时数据处理装置，其特征在于，所述计算节点具体用于：

确定所述日志数据对应的计算规则；

根据所述日志数据对应的计算规则，对所述日志数据进行计算处理。

9.根据权利要求8所述的实时数据处理装置，其特征在于，所述计算节点具体用于：对所述日志数据进行模式匹配；或者对所述日志数据进行归集处理。

10.根据权利要求6-9任一项所述的实时数据处理装置，其特征在于，所述路由规则以平衡二叉树的形式存放。