CN118227357A - 数据的处理方法、系统、存储介质及电子装置 - Google Patents

Abstract

本申请公开了一种数据的处理方法、系统、存储介质及电子装置，该方法包括：获取业务的交易数据；在第一主数据中心的本地，对交易数据进行处理，得到包含多个维度数据的第一统计数据；获取第二主数据中心的第二统计数据，以及第三数据中心的第三统计数据，其中，第二统计数据和第三统计数据的获取方式与第一统计数据的获取方式相同；对第一统计数据、第二统计数据和第三统计数据进行统计处理，得到当前统计数据；基于历史统计数据对当前统计数据进行检测，得到业务的预警信息，其中，预警信息用于提示业务存在异常。

Description

数据的处理方法、系统、存储介质及电子装置

技术领域

本申请涉及数据处理领域，具体而言，涉及一种数据的处理方法、系统、存储介质及电子装置。

背景技术

目前，针对交易数据跨数据中心传输，通常是基于交易数据统计的监控系统通常将各地明细数据传输至主中心，在主中心进行统计分析预警，但是，随着系统交易量增加和新应用系统建设，导致跨广域网的网络流量大幅度增加，在数据传输过程中存在成本高的技术问题。

针对相关技术中，数据传输过程中的成本高的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种数据的处理方法、系统、存储介质及电子装置，以至少解决相关技术中，数据传输过程中的成本高的技术问题。

根据本申请实施例的一个实施例，提供了一种数据的处理方法。该方法可以包括：获取业务的交易数据；在第一主数据中心的本地，对交易数据进行处理，得到包含多个维度数据的第一统计数据；获取第二主数据中心的第二统计数据，以及第三数据中心的第三统计数据，其中，第二统计数据和第三统计数据的获取方式与第一统计数据的获取方式相同；对第一统计数据、第二统计数据和第三统计数据进行统计处理，得到当前统计数据；基于历史统计数据对当前统计数据进行检测，得到业务的预警信息，其中，预警信息用于提示业务存在异常。

在一个示例性实施例中，在第一主数据中心的本地，对交易数据进行处理，得到包含多个维度数据的第一统计数据，包括：对交易数据进行分析，并将分析后的交易数据传输至第一主数据中心的属地计算模块中；控制属地计算模块对分析后的交易数据进行处理，得到第一统计数据。

在一个示例性实施例中，控制属地计算模块对分析后的交易数据进行处理，得到第一统计数据，包括：控制属地计算模块对分析后的交易数据进行细粒度的运算，得到第一统计数据。

在一个示例性实施例中，对第一统计数据、第二统计数据和第三统计数据进行统计处理，得到当前统计数据，包括：汇总第一统计数据、第二统计数据和第三统计数据，得到属地汇总数据；通过消息中间件将属地汇总数据传输至第一主数据中心的统计分析模块；通过统计分析模块对属地汇总数据进行统计处理，得到当前统计数据。

在一个示例性实施例中，该方法还可以包括：将当前统计数据存储至第一主数据中心的分布式文件系统中。

在一个示例性实施例中，通过统计分析模块对属地汇总数据进行统计处理，得到当前统计数据，包括：获取第一主数据中心的监控要求；确定与监控要求匹配的粗粒度；通过统计分析模块对属地汇总数据进行粗粒度的统计处理，得到当前统计数据。

在一个示例性实施例中，该方法还可以包括：响应于第一主数据中心存在异常，获取第二主数据中心的当前统计数据；基于历史统计数据对第二主数据中心的当前统计数据进行判断，得到业务预警信息。

根据本申请实施例的另一个实施例，还提供了一种数据的处理系统。该系统可以包括：第一主数据中心，用于获取业务的交易数据，在第一主数据中心的本地，对交易数据进行处理，得到包含多个维度数据的第一统计数据；获取第二主数据中心的第二统计数据，以及第三数据中心的第三统计数据；对第一统计数据、第二统计数据和第三统计数据进行统计处理，得到当前统计数据；基于历史统计数据对当前统计数据进行判断，得到业务的预警信息；第二主数据中心，用于获取业务的交易数据，在第二主数据中心的本地，对交易数据进行处理，得到包含多个维度数据的第二统计数据；获取第一主数据中心的第一统计数据，以及第三数据中心的第三统计数据；对第一统计数据、第二统计数据和第三统计数据进行统计处理，得到当前统计数据；基于历史统计数据对当前统计数据进行判断，得到业务的辅助预警信息；第三数据中心，用于获取业务的交易数据，在第三数据中心的本地，对交易数据进行运算，得到包含多个维度数据的第三统计数据。

在一个示例性实施例中，该系统还可以用于响应于第一主数据中心异常，将辅助预警信息作为预警信息，并基于预警信息输出提示信号。

根据本申请实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本申请实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

在本申请实施例中，获取业务的交易数据；在第一主数据中心的本地，对交易数据进行处理，得到包含多个维度数据的第一统计数据；获取第二主数据中心的第二统计数据，以及第三数据中心的第三统计数据，其中，第二统计数据和第三统计数据的获取方式与第一统计数据的获取方式相同；对第一统计数据、第二统计数据和第三统计数据进行统计处理，得到当前统计数据；基于历史统计数据对当前统计数据进行检测，得到业务的预警信息，其中，预警信息用于提示业务存在异常。也即，在本申请实施例中，在第一主数据中心初步完成对交易数据的细粒度计算，得到第一统计数据，并获取其他数据中心经过初步处理的第二统计数据和第三统计数据，并对已经处理过的第一统计数据、第二统计数据和第三统计数据进行进一步处理，从而实现了减少数据传输过程中的成本的技术效果，解决了数据传输过程中的成本高的技术问题。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例的一种数据的处理方法的计算机终端的硬件结构框图；

图2是根据本申请实施例的数据的处理方法的流程图；

图3是一种跨数据中心处理架构的示意图；

图4是根据本申请实施例的多地多中心架构的示意图；

图5是根据本申请实施例的数据的处理系统的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

首先，在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释：

多地，可以为多个地址，地址与地址之间距离较远；

多中心，可以为多个数据中心；

主中心，可以为多中心架构中核心地位的数据中心；

被管机，可以为一台安装代理的计算机，受服务器端管理控制。

本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算系统中执行。以运行在计算机终端上为例，图1是本申请实施例的一种数据的处理方法的计算机终端的硬件结构框图。如图1所示，计算机终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理系统)和用于存储数据的存储器104，其中，上述计算机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机终端的结构造成限定。例如，计算机终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本申请实施例中的数据的处理方法对应的计算机程序，处理器202通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器204可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储系统、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器202远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种数据的处理方法，图2是根据本申请实施例的数据的处理方法的流程图，如图2所示，该数据的处理方法包括：

步骤S202，获取业务的交易数据。

步骤S204，在第一主数据中心的本地，对交易数据进行处理，得到包含多个维度数据的第一统计数据。

步骤S206，获取第二主数据中心的第二统计数据，以及第三数据中心的第三统计数据，其中，第二统计数据和第三统计数据的获取方式与第一统计数据的获取方式相同。

步骤S208，对第一统计数据、第二统计数据和第三统计数据进行统计处理，得到当前统计数据。

步骤S210，基于历史统计数据对当前统计数据进行检测，得到业务的预警信息，其中，预警信息用于提示业务存在异常。

通过上述步骤，第一主数据中心可以获取数据中心的交易数据。在第一主数据中心的本地，对获取到的交易数据进行计算、统计、归纳分析等处理，得到包含多个维度数据的第一统计数据。第一主数据中心同时可以获取第二主数据中心的第二统计数据，以及第三数据中心的第三统计数据。然后，可以对第一统计数据、第二统计数据和第三统计数据进行统计处理，得到当前统计数据。可以基于历史统计数据对当前统计数据进行检测，得到业务的预警信息。

其中，交易数据可以用于确定业务的交易明细，可以为业务的交易数据，又可以称为明细数据，比如，可以为金融系统中的交易数据，可以从金融系数的数据中心获取到的，需要说明的是，此处仅为举例说明，不对交易数据的类型和来源做具体限制。第一统计数据可以为细粒度处理后的统计数据，可以包括不同维度数据。维度数据可以为交易数据在交易量维度下的计算结果、交易数据中业务的成功率、交易数据的平均响应时间、平均处理时间、长交易的数量等，对交易数据进行划分的维度可以根据实际情况进行选择，此处仅为举例，不对维度数据的类型做具体限制。当前统计数据可以包括不同维度下的维度数据，可以为对交易数据进行处理后的最终统计结果。历史统计数据用于确定历史数据的交易情况，可以为预先存储至数据库中的数据，可以用于对当前统计数据进行鉴定，需要说明的是，此处不对历史统计数据的存储位置做具体限制。预警信息可以为文字、图像等信息，可以用于提示业务当前存在异常或故障。

在该实施例中，获取到交易数据后，先在第一主数据中心对数据进行处理，得到包含多个维度数据的第一统计数据。第二主数据中心也可以对获取到的交易数据进行处理，得到第二统计数据。第三数据中心同时对获取到的交易数据进行处理，得到第三统计数据。第一主数据中心可以获取第二统计数据和第三统计数据，且对第一统计数据、第二统计数据和第三统计数据进行归纳处理，得到最终的当前统计数据，通过将当前统计数据与历史统计数据进行对比，确定当前业务的运行情况，以得到业务的预警信息。其中，预警信息可以用于提示用户当前的业务存在异常，比如，可以用于表征当前的业务交易存在风险、支付存在问题等信息，需要说明的是，此处仅为举例说明，不对预警信息的类型做具体限制。

可选地，第二统计数据和第三统计数据的获取方式与第一统计数据的获取方式相同，第一主数据中心的交易数据、第二主数据中心的交易数据和第三数据中心的交易数据可以为从不同的数据中心获取到的数据，也可以为从相同的数据中心获取到的数据。

可选地，可以通过统计交易数据的监控系统将不同区域中的交易数据上传至第一主数据中心、第二主数据中心和第三数据中心，上述三个数据中心分别在本地对获取到的交易数据进行初步计算，得到第一统计数据、第二统计数据和第三统计数据。第一主数据中心获取第二主数据中心的第二统计数据，以及第三数据中心的第三统计数据，并对获取到的第一统计数据、第二统计数据和第三统计数据进行进一步统计分析，得到当前统计数据。可以根据历史统计数据对当前统计数据进行进一步分析，以得到预警信息，从而可以提醒用户当前业务存在异常或故障。

举例而言，第一主数据中心中的被管机一、被管机二获取交易数据一，并对获取到的交易数据一进行进一步处理，以得到包含多个维度数据的第一统计数据。第二主数据中心中的被管机三、被管机四获取交易数据二，并对获取到的交易数据二进行进一步处理，得到第二统计数据。第三数据中心中的被管机五、被管机六获取交易数据三，并对交易数据三进行进一步处理，得到第三统计数据。第一主中心获取处理后第一统计数据、第二统计数据和第三统计数据，并对第一统计数据、第二统计数据和第三统计数据进行统计处理，以得到当前统计数据，基于历史统计数据对当前统计数据进行进一步判断，以得到业务的预警信息。

在该实施例中，通过数据的处理方法，获取业务的交易数据；在第一主数据中心的本地，对交易数据进行处理，得到包含多个维度数据的第一统计数据；获取第二主数据中心的第二统计数据，以及第三数据中心的第三统计数据，其中，第二统计数据和第三统计数据的获取方式与第一统计数据的获取方式相同；对第一统计数据、第二统计数据和第三统计数据进行统计处理，得到当前统计数据；基于历史统计数据对当前统计数据进行检测，得到业务的预警信息，其中，预警信息用于提示业务存在异常。也即，在本申请实施例中，在第一主数据中心初步完成对交易数据的细粒度计算，得到第一统计数据，并获取其他数据中心经过初步处理的第二统计数据和第三统计数据，并对已经处理过的第一统计数据、第二统计数据和第三统计数据进行进一步处理，从而实现了减少数据传输过程中的成本的技术效果，解决了数据传输过程中的成本高的技术问题。

在一个示例性实施例中，在第一主数据中心的本地，对交易数据进行处理，得到包含多个维度数据的第一统计数据，包括：对交易数据进行分析，并将分析后的交易数据传输至第一主数据中心的属地计算模块中；控制属地计算模块对分析后的交易数据进行处理，得到第一统计数据。

在该实施例中，当第一主数据中心获取到交易数据后，可以对交易数据进行分析，并将分析后的交易数据传输至第一主数据中心点的属地计算模块中，控制属地计算模块对分析后的交易数据进行处理，以得到第一统计数据。其中，属地计算模块可以用于对交易数据进行计算，可以用于实时计算本数据中心各个维度的维度数据。维度数据可以为统计数据。

可选地，每个数据中心中可以部署一个属地计算模块，可以利用第一主数据中心的属地计算模块对获取到的交易数据进行处理，利用第二主数据中心中部署的属地计算模块对获取到的交易数据进行处理，且利用第三数据中心部署的属地计算模块对获取到的交易数据进行处理，以得到第一统计数据、第二统计数据和第三统计数据。

在该实施例中，限定了一种多地多中心数据统计分析的方法，该方法提出多地多中心数据统计，分别在每个数据中心本地对交易数据进行初步计算处理，并将处理后的统计数据进行传输，此时的统计数据极大的减少了数据量，从而避免了跨广域网交易明细数据传输量大的问题，极大的降低网络流量的传输数量。

在一个示例性实施例中，控制属地计算模块对分析后的交易数据进行处理，得到第一统计数据，包括：控制属地计算模块对分析后的交易数据进行细粒度的运算，得到第一统计数据。

在该实施例中，可以控制属地计算模块对分析后的交易数据进行细粒度的运算，得到第一统计数据。其中，细粒度计算可以为对交易数据进行更细致、更精细的计算处理。比如，可以先对数据进行精细的分割和处理，以提高计算的效率和精度。

可选地，该实施例可以利用属地计算模块对交易数据进行属地本地的细粒度计算。细粒度计算可以为先对交易数据进行分隔，然后对分隔后的交易数据进行独立的处理，从而提高数据处理的并行性，以加快数据的处理速度，并且可以更精确的控制数据处理的过程。

举例而言，在利用属地计算模块对交易数据进行属地计算的过程中，细粒度交易统计指标可以包括：交易量，可以用于表示统计1秒钟内的业务交易的数量；业务成功率，可以用于表示在1秒钟内统计时间内，业务交易成功的数量在总交易量的占比；系统成功率，可以用于表示在1秒钟内统计时间内，系统交易成功的数量在总交易量的占比；平均响应时间，可以用于表示在1秒钟内统计时间内，系统响应时间在总交易时间的占比；平均处理时间，可以用于表示在1秒钟内统计时间内，业务处理时间在总交易时间的占比；长交易量，可以用于表示一笔交易的处理时间大于一个阈值；长交易率，可以用于表示在1秒钟内统计时间内，长交易量在总交易量的占比；应用性能指数(Application Performance Index，简称为Apdex)，每个系统可以预先定义处理一个Apdex阈值，基于Apdex阈值对交易质量等信息进行进一步判断，比如，如果交易数据的处理时间大于Apdex阈值，则交易数据的质量值等于0，如果交易数据的处理时间处于75％-100％的Apdex阈值之间，则交易数据的质量值为50，如果交易数据的处理时间处于25％-75％的Apdex阈值之间，则交易数据的质量值为75，如果交易数据的处理时间处于0％-25％的Apdex阈值之间，则交易数据的质量值为100，可以在1秒钟内统计时间内，统计交易的平均交易质量值。

举例而言，细粒度的第一统计结果通常是基于每个业务系统的交易数据进行多个维度和多个指标进行统计，第一统计结果可以附带时间戳。例如：将1秒级别交易数据加工成1分钟级别数据，将整天划分1440分钟，时间窗口划分按照整分钟进行划分，将同一个系统统同一维度的统一个指标的数据，按照时间戳分布在时间窗口内，然后对窗口内的数据进行汇总计算，得到包含不同时间维度数据的第一统计数据。

在一个示例性实施例中，对第一统计数据、第二统计数据和第三统计数据进行统计处理，得到当前统计数据，包括：汇总第一统计数据、第二统计数据和第三统计数据，得到属地汇总数据；通过消息中间件将属地汇总数据传输至第一主数据中心的统计分析模块；通过统计分析模块对属地汇总数据进行统计处理，得到当前统计数据。

在该实施例中，第一主数据中心可以包括消息中间件和统计分析模块。得到第一统计数据、第二统计数据和第三统计数据后，可以对第一统计数据、第二统计数据和第三统计数据进行汇总，得到属地汇总数据，通过消息中间件将属地汇总数据传输至第一主数据中心的统计分析模块，通过统计分析模块对属地汇总数据进行统计处理，以得到当前统计数据。其中，统计分析模块可以用于对统计数据进行汇总计算。

可选地，该实施例提出多地多中心架构设计，可以选取n(n>＝2)个数据中心作为主中心，每个数据中心部署一套数据接收服务器、消息中间件和属地计算工程，每个属地实时计算本中心各个维度统计数据，计算完成后将属地汇总数据双发至两个主中心的消息中间件，消息中间件将分析后得到的第一统计数据、第二统计数据和第三统计数据传输至主中心的统计分析模块中进行统计处理，得到当前统计数据。其中，第一主数据中心和第二主数据中心又可以称为主中心。第一统计数据、第二统计数据和第三统计数据可以为属地汇总数据。

在一个示例性实施例中，该方法还可以包括：将当前统计数据存储至第一主数据中心的分布式文件系统中。

在该实施例中，可以将第一主数据中心确定的当前统计数据存储至第一主数据中心的分布式文件系统中。且可以将第二主数据中心确定的当前统计数据存储至第二主数据中心的分布式文件系统中。

可选地，同时主中心分别将汇总数据入到各自的分布式文件系统中，两个中心双跑支持任何一个中心建立应用故障了，另一个中心可以持续提供服务，从而利用主备建设，避免了由于单数据中心监控系统故障导致全行系统的无法监控的问题，从而达到了提升系统的高可用性的目的。

在一个示例性实施例中，通过统计分析模块对属地汇总数据进行统计处理，得到当前统计数据，包括：获取第一主数据中心的监控要求；确定与监控要求匹配的粗粒度；通过统计分析模块对属地汇总数据进行粗粒度的统计处理，得到当前统计数据。

在该实施例中，对第一统计数据、第二统计数据和第三统计数据进行汇总，得到属地汇总数据之后。可以获取第一主数据中心的监控要求，确定与监控要求匹配的粗粒度。通过分析模块按照粗粒度对属地汇总数据进行统计处理，以得到当前统计数据。其中，粗粒度通常可以为10秒、1分钟、5分钟和1小时、1天等，通过不同粒度可以满足不同监控要求，避免粒度过细导致告警数量太多，使得重要告警信息淹没在告警风暴里。需要说明的是，此处粗粒度的大小仅为举例说明，此处不做具体限制。

可选地，基于粗粒度的统计数据可以根据历史数据情况进行预警。

在该实施例中，可以利用统计分析模块对属地汇总数据进行汇总计算，基于属地汇总计算得到的数据结果，进一步加工粗粒度的统计数据，以得到当前统计数据。其中，当前统计数据可以包括：交易数据的交易量，可以用于表征统计1分钟内的业务交易的数量；业务成功率，可以用于表征在1分钟内统计时间内，业务交易成功的数量在总交易量的占比；系统成功率，可以用于表征在1分钟内统计时间内，系统交易成功的数量在总交易量的占比；平均响应时间，可以用于表示在1分钟内统计时间内，系统响应时间在总交易时间的占比；平均处理时间，可以用于表示在1秒钟内统计时间内，业务处理时间在总交易时间的占比；长交易量，可以用于表示一笔交易的处理时间大于一个阈值的情况下，在1分钟内统计时间内，计算长交易的数量；长交易率，可以用于表示在1分钟内统计时间内，长交易量在总交易量的占比；Apdex、平均交易质量值等，此处不对当前统计数据中的内容做具体限制。

在一个示例性实施例中，该方法还可以包括：响应于第一主数据中心存在异常，获取第二主数据中心的当前统计数据；基于历史统计数据对第二主数据中心的当前统计数据进行判断，得到业务预警信息。

在该实施例中，如果第一主数据中心存在异常或故障，可以获取第二主数据中心的当前统计数据，基于历史统计数据对第二主数据中心的当前统计数据进行判断，以得到业务预警信息。

可选地，该实施例限定了一种多地多中心数据统计分析的方法，利用多地多中心数据统计，从而解决了跨广域网交易明细数据传输，极大降低网络流量的传输。同时，支持主备建设，当第一主数据中心存在异常时，基于第二主数据中心的当前统计数据，确定业务预警信息，从而避免由于单数据中心监控系统故障导致全行系统的无法监控的问题，以提升监控系统的高可用性，从而达到降低跨广域网数据流量，同时支持灾备主备中心同时运行机制的目的。

在该实施例中，在第一主数据中心初步完成对交易数据的细粒度计算，得到第一统计数据，并获取其他数据中心经过初步处理的第二统计数据和第三统计数据，并对已经处理过的第一统计数据、第二统计数据和第三统计数据进行进一步处理，从而实现了减少数据传输过程中的成本的技术效果，解决了数据传输过程中的成本高的技术问题。

为了更好的理解上述数据的处理方法的结构以及功能，以下再结合可选实施例对上述数据的处理方法的实现功能的流程进行说明，但不用于限定本申请实施例的技术方案。

以处理交易数据为例，针对交易数据跨数据中心传输引发的高带宽问题。通常金融系统应用采用多地多中心部署模式。基于交易数据统计的监控系统通常将各地明细数据传输至主中心，在主中心进行统计分析预警。各个数据中心的每台被管机将交易数据传送至本中心的数据接收服务器，数据接收服务器将数据统一发送至主中心的消息中间件，主中心进行统计分析后将数据写入消息中间件，然后统计分析的数据存入分布式文件系统以提供查询和检索，基于统计的数据监控系统可以实现预警，及时通知系统管理员业务故障问题。

举例而言，图3是一种跨数据中心处理架构的示意图，如图3所示，数据中心301中的被管机302、被管机303、被管机304将交易数据传送至本中心的数据接收服务器305中。数据中心306中的被管机307、被管机308、被管机309将交易数据传送至本中心的数据接收服务器310中。数据中心311中的被管机312、被管机313、被管机314将交易数据传送至本中心的数据接收服务器315中。数据接收服务器305、数据接收服务器310和数据接收服务器315将获取到的交易数据统一发送至主中心的消息中间件316，主中心进行统计分析后将统计分析后的交易数据写入消息中间件317，然后统计分析的数据存入分布式文件系统318以提供查询和检索，基于统计的数据监控系统可以实现监控预警。

但是，随着系统交易量增加和新应用系统建设，导致跨广域网的网络流量大幅度增加，导致成本大幅度增加。同时，当主中心监控系统故障时，整个金融业务的交易监控无法使用，对于金融系统日常运维而言是无法容忍，而多数据中心的交易明细复制成本过高，存在监控系统在主中心单点出现故障导致数据无法正常处理的问题。

为解决上述问题，在该实施例中，限定了一种多地多中心数据统计分析的方法，利用多地多中心数据统计，从而解决了跨广域网交易明细数据传输，极大降低网络流量的传输。同时，支持主备建设，当第一主数据中心存在异常时，基于第二主数据中心的当前统计数据，确定业务预警信息，从而避免由于单数据中心监控系统故障导致全行系统的无法监控的问题，以提升监控系统的高可用性，从而达到降低跨广域网数据流量，同时支持灾备主备中心同时运行机制的目的。

在该实施例中，提出多地多中心架构设计，可以选取n(n>＝2)个数据中心作为主中心，每个数据中心部署一套数据接收服务器、消息中间件和属地计算工程，每个属地实时计算本中心各个维度统计数据，计算完成后将属地汇总数据双发至两个主中心的消息中间件，消息中间件将分析后得到的第一统计数据、第二统计数据和第三统计数据传输至主中心的统计分析模块中进行统计处理，得到当前统计数据。基于当前统计数据，两个主中心可以进行汇总分析和预警处理。同时主中心分别将汇总数据入到各自的分布式文件系统中，两个中心双跑支持任何一个中心建立应用故障了，另一个中心可以持续提供服务。

图4是根据本申请实施例的多地多中心架构的示意图，如图4所示，第一主数据中心401包括：被管机402、被管机403、数据接收服务器404、消息中间件405、属地计算模块406、消息中间件407、消息中间件408、统计分析模块409、消息中间件410和监控预警模块411。第二主数据中心412包括：被管机413、被管机414、数据接收服务器415、消息中间件416、属地计算模块417、消息中间件418、消息中间件419、统计分析模块420、消息中间件421和监控预警模块422。第三数据中心423包括：被管机424、被管机425、数据接收服务器426、消息中间件427、属地计算模块428和消息中间件429。

第一主数据中心401中的被管机402和被管机403获取交易数据，被管机402和被管机403将获取到的交易数据传输至数据接收服务器404中，数据接收服务器404将交易数据传输至消息中间件405，通过消息中间件405将交易数据传输至属地计算模块406中。利用属地计算模块406对交易数据进行属地计算，得到细粒度的第一统计数据。属地计算模块406将第一统计数据传输至消息中间件407。消息中间件407将第一统计数据传输至消息中间件408中。消息中间件408获取第二统计数据和第三统计数据，并对第一统计数据、第二统计数据和第三统计数据进行汇总，得到属地汇总数据，可以将属地汇总数据传输至统计分析模块409中。统计分析模块409对获取到的数据进行粗粒度计算，得到当前统计数据，并将当前统计数据传输至消息中间件410中，消息中间件410将当前统计数据传输至监控预警模块411中进行监控预警，得到预警信息。

第二主数据中心412中的被管机413和被管机414获取交易数据，被管机413和被管机414将获取到的交易数据传输至数据接收服务器415中，数据接收服务器415将交易数据传输至消息中间件416，通过消息中间件416将交易数据传输至属地计算模块417中。利用属地计算模块417对交易数据进行属地计算，得到细粒度的第二统计数据。属地计算模块417将第二统计数据传输至消息中间件418。消息中间件418将第二统计数据传输至消息中间件419中。消息中间件419获取第一统计数据和第三统计数据，并将第一统计数据、第二统计数据和第三统计数据进行汇总，得到属地汇总数据，可以将属地汇总数据传输至统计分析模块420中。统计分析模块420对获取到的数据进行粗粒度计算，得到当前统计数据，并将当前统计数据传输至消息中间件421中，消息中间件421将当前统计数据传输至监控预警模块422中进行监控预警，得到预警信息。当前统计数据可以存储在分布式文件系统中。

第三数据中心423中的被管机424和被管机425获取交易数据，被管机424和被管机425将获取到的交易数据传输至数据接收服务器426中，数据接收服务器426将交易数据传输至消息中间件427中，通过消息中间件427将交易数据传输至属地计算模块428进行细粒度计算，得到第三统计数据，将第三统计数据传输至消息中间件429中。消息中间件429可以分别将第三统计数据传输至消息中间件419和消息中间件408中。

可选地，将第一主数据中心确定的当前统计数据存储至第一主数据中心的分布式文件系统430中。且可以将第二主数据中心确定的当前统计数据存储至第二主数据中心的分布式文件系统431中。

需要说明的是，上述第一主数据中心、第二主数据中心和第三数据中心中包含的组件、模块仅为举例说明，此处不对包含的内容，以及组件或模块的数量做具体限制。

举例而言，在利用属地计算模块对交易数据进行属地计算的过程中，细粒度交易统计指标可以包括：交易量，可以用于表示统计1秒钟内的业务交易的数量；业务成功率，可以用于表示在1秒钟内统计时间内，业务交易成功的数量在总交易量的占比；系统成功率，可以用于表示在1秒钟内统计时间内，系统交易成功的数量在总交易量的占比；平均响应时间，可以用于表示在1秒钟内统计时间内，系统响应时间在总交易时间的占比；平均处理时间，可以用于表示在1秒钟内统计时间内，业务处理时间在总交易时间的占比；长交易量，可以用于表示一笔交易的处理时间大于一个阈值；长交易率，可以用于表示在1秒钟内统计时间内，长交易量在总交易量的占比；应用性能指数，每个系统可以预先定义处理一个Apdex阈值，基于Apdex阈值对交易质量等信息进行进一步判断，比如，如果交易数据的处理时间大于Apdex阈值，则交易数据的质量值等于0，如果交易数据的处理时间处于75％-100％的Apdex阈值之间，则交易数据的质量值为50，如果交易数据的处理时间处于25％-75％的Apdex阈值之间，则交易数据的质量值为75，如果交易数据的处理时间处于0％-25％的Apdex阈值之间，则交易数据的质量值为100，可以在1秒钟内统计时间内，统计交易的平均交易质量值。

在该实施例中，可以利用统计分析模块对属地汇总数据进行汇总计算，基于属地汇总计算得到的数据结果，进一步加工粗粒度的统计数据，以得到当前统计数据。其中，当前统计数据可以包括：交易数据的交易量，可以用于表征统计1分钟内的业务交易的数量；业务成功率，可以用于表征在1分钟内统计时间内，业务交易成功的数量在总交易量的占比；系统成功率，可以用于表征在1分钟内统计时间内，系统交易成功的数量在总交易量的占比；平均响应时间，可以用于表示在1分钟内统计时间内，系统响应时间在总交易时间的占比；平均处理时间，可以用于表示在1秒钟内统计时间内，业务处理时间在总交易时间的占比；长交易量，可以用于表示一笔交易的处理时间大于一个阈值的情况下，在1分钟内统计时间内，计算长交易的数量；长交易率，可以用于表示在1分钟内统计时间内，长交易量在总交易量的占比；Apdex、平均交易质量值等，此处不对当前统计数据中的内容做具体限制。

在该实施例中，粗粒度通常可以为10秒、1分钟、5分钟和1小时、1天等，通过不同粒度可以满足不同监控要求，避免粒度过细导致告警数量太多，使得重要告警信息淹没在告警风暴里。需要说明的是，此处粗粒度的大小仅为举例说明，此处不做具体限制。

举例而言，细粒度的第一统计结果通常是基于每个业务系统的交易数据进行多个维度和多个指标进行统计，第一统计结果可以附带时间戳。例如：将1秒级别交易数据加工成1分钟级别数据，将整天划分1440分钟，时间窗口划分按照整分钟进行划分，将同一个系统统同一维度的统一个指标的数据，按照时间戳分布在时间窗口内，然后对窗口内的数据进行汇总计算，得到包含不同时间维度数据的第一统计数据。

在该实施例中，在第一主数据中心初步完成对交易数据的细粒度计算，得到第一统计数据，并获取其他数据中心经过初步处理的第二统计数据和第三统计数据，并对已经处理过的第一统计数据、第二统计数据和第三统计数据进行进一步处理，从而实现了减少数据传输过程中的成本的技术效果，解决了数据传输过程中的成本高的技术问题。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例的方法。

本申请实施例还提供了一种数据的处理系统，适用于上述数据的处理方法，图5是根据本申请实施例的数据的处理系统的示意图，如图5所示，该系统可以包括：

第一主数据中心52，用于获取业务的交易数据，在第一主数据中心的本地，对交易数据进行处理，得到包含多个维度数据的第一统计数据；获取第二主数据中心的第二统计数据，以及第三数据中心的第三统计数据；对第一统计数据、第二统计数据和第三统计数据进行统计处理，得到当前统计数据；基于历史统计数据对当前统计数据进行判断，得到业务的预警信息。

第二主数据中心54，用于获取业务的交易数据，在第二主数据中心的本地，对交易数据进行处理，得到包含多个维度数据的第二统计数据；获取第一主数据中心的第一统计数据，以及第三数据中心的第三统计数据；对第一统计数据、第二统计数据和第三统计数据进行统计处理，得到当前统计数据；基于历史统计数据对当前统计数据进行判断，得到业务的辅助预警信息。

第三数据中心56，用于获取业务的交易数据，在第三数据中心的本地，对交易数据进行运算，得到包含多个维度数据的第三统计数据。

在一个示例性实施例中，该系统还可以用于响应于第一主数据中心异常，将辅助预警信息作为预警信息，并基于预警信息输出提示信号。

通过上述系统，通过第一主数据中心，获取业务的交易数据，在第一主数据中心的本地，对交易数据进行处理，得到包含多个维度数据的第一统计数据；获取第二主数据中心的第二统计数据，以及第三数据中心的第三统计数据；对第一统计数据、第二统计数据和第三统计数据进行统计处理，得到当前统计数据；基于历史统计数据对当前统计数据进行判断，得到业务的预警信息。通过第二主数据中心，获取业务的交易数据，在第二主数据中心的本地，对交易数据进行处理，得到包含多个维度数据的第二统计数据；获取第一主数据中心的第一统计数据，以及第三数据中心的第三统计数据；对第一统计数据、第二统计数据和第三统计数据进行统计处理，得到当前统计数据；基于历史统计数据对当前统计数据进行判断，得到业务的辅助预警信息。通过第三数据中心，获取业务的交易数据，在第三数据中心的本地，对交易数据进行运算，得到包含多个维度数据的第三统计数据，从而实现了减少数据传输过程中的成本的技术效果，解决了数据传输过程中的成本高的技术问题。

本申请的实施例还提供了一种计算机可读存储介质，该存储介质包括存储的程序，其中，上述程序运行时执行上述任一项的方法。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：

S1，获取业务的交易数据；

S2，在第一主数据中心的本地，对交易数据进行处理，得到包含多个维度数据的第一统计数据；

S3，获取第二主数据中心的第二统计数据，以及第三数据中心的第三统计数据，其中，第二统计数据和第三统计数据的获取方式与第一统计数据的获取方式相同；

S4，对第一统计数据、第二统计数据和第三统计数据进行统计处理，得到当前统计数据；

S5，基于历史统计数据对当前统计数据进行检测，得到业务的预警信息，其中，预警信息用于提示业务存在异常。

本申请的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取业务的交易数据；

S2，在第一主数据中心的本地，对交易数据进行处理，得到包含多个维度数据的第一统计数据；

S3，获取第二主数据中心的第二统计数据，以及第三数据中心的第三统计数据，其中，第二统计数据和第三统计数据的获取方式与第一统计数据的获取方式相同；

S4，对第一统计数据、第二统计数据和第三统计数据进行统计处理，得到当前统计数据；

S5，基于历史统计数据对当前统计数据进行检测，得到业务的预警信息，其中，预警信息用于提示业务存在异常。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

以上仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (11)

1.一种数据的处理方法，其特征在于，应用于第一主数据中心，包括：

获取业务的交易数据；

在所述第一主数据中心的本地，对所述交易数据进行处理，得到包含多个维度数据的第一统计数据；

获取第二主数据中心的第二统计数据，以及第三数据中心的第三统计数据，其中，所述第二统计数据和所述第三统计数据的获取方式与所述第一统计数据的获取方式相同；

对所述第一统计数据、所述第二统计数据和所述第三统计数据进行统计处理，得到当前统计数据；

基于历史统计数据对所述当前统计数据进行检测，得到所述业务的预警信息，其中，所述预警信息用于提示所述业务存在异常。

2.根据权利要求1所述的方法，其特征在于，在所述第一主数据中心的本地，对所述交易数据进行处理，得到包含多个维度数据的第一统计数据，包括：

对所述交易数据进行分析，并将分析后的所述交易数据传输至所述第一主数据中心的属地计算模块中；

控制所述属地计算模块对分析后的所述交易数据进行处理，得到所述第一统计数据。

3.根据权利要求2所述的方法，其特征在于，控制所述属地计算模块对分析后的所述交易数据进行处理，得到所述第一统计数据，包括：

控制所述属地计算模块对分析后的所述交易数据进行细粒度的运算，得到所述第一统计数据。

4.根据权利要求1所述的方法，其特征在于，对所述第一统计数据、所述第二统计数据和所述第三统计数据进行统计处理，得到所述当前统计数据，包括：

汇总所述第一统计数据、所述第二统计数据和所述第三统计数据，得到属地汇总数据；

通过消息中间件将所述属地汇总数据传输至所述第一主数据中心的统计分析模块；

通过所述统计分析模块对所述属地汇总数据进行统计处理，得到所述当前统计数据。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

将所述当前统计数据存储至所述第一主数据中心的分布式文件系统中。

6.根据权利要求4所述的方法，其特征在于，通过所述统计分析模块对所述属地汇总数据进行统计处理，得到所述当前统计数据，包括：

获取所述第一主数据中心的监控要求；

确定与所述监控要求匹配的粗粒度；

通过所述统计分析模块对所述属地汇总数据进行所述粗粒度的统计处理，得到所述当前统计数据。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

响应于所述第一主数据中心存在异常，获取所述第二主数据中心的所述当前统计数据；

基于历史统计数据对所述第二主数据中心的所述当前统计数据进行判断，得到所述业务预警信息。

8.一种数据的处理系统，其特征在于，包括：

第一主数据中心，用于获取业务的交易数据，在所述第一主数据中心的本地，对所述交易数据进行处理，得到包含多个维度数据的第一统计数据；获取

第二主数据中心的第二统计数据，以及第三数据中心的第三统计数据；对所述第一统计数据、所述第二统计数据和所述第三统计数据进行统计处理，得到当前统计数据；基于历史统计数据对所述当前统计数据进行判断，得到所述业务的预警信息；

第二主数据中心，用于获取业务的交易数据，在所述第二主数据中心的本地，对所述交易数据进行处理，得到包含多个维度数据的第二统计数据；获取第一主数据中心的第一统计数据，以及第三数据中心的第三统计数据；对所述第一统计数据、所述第二统计数据和所述第三统计数据进行统计处理，得到当前统计数据；基于历史统计数据对所述当前统计数据进行判断，得到所述业务的辅助预警信息；

第三数据中心，用于获取业务的交易数据，在所述第三数据中心的本地，对所述交易数据进行运算，得到包含多个维度数据的第三统计数据。

9.根据权利要求8所述的系统，其特征在于，所述系统还用于响应于所述第一主数据中心异常，将所述辅助预警信息作为所述预警信息，并基于所述预警信息输出提示信号。

10.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至7任一项中所述的方法。

11.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。