CN113986710A - 大数据平台监控方法及装置 - Google Patents

Abstract

本申请实施例提供大数据平台监控方法及装置，涉及大数据技术领域，能够实现大数据平台中业务数据的自动化监控。该方法包括：获取目标业务数据；将目标业务数据与规则库中的业务数据异常规则进行匹配；若匹配成功，发出告警；其中，目标业务数据与银行业务有关，包括：行数，通过枚举类型定义的变量的取值，主键，空值比例，或者汇率中的至少之一；业务数据异常规则包括行数异常规则，枚举类型异常规则，主键重复异常规则，空值比例异常规则，或者银行的牌价发布及头寸管理系统下发的汇率与全球统一支付平台中的汇率不一致中的至少之一。

Description

大数据平台监控方法及装置

技术领域

本申请涉及大数据技术领域，尤其涉及大数据平台监控方法及装置。

背景技术

随着大数据技术的发展，大数据广泛应用于产业界的诸多领域，包括银行在内的各个机构都致力于建设自身的大数据平台。

目前，大数据平台的监控主要是针对系统的监控，包括日志、流量、安全风险和/或性能。然而，由于银行对业务数据的准确性要求较高，因此，如果使用现有监控大数据平台的方法，只能通过人工的方式监控银行业务数据，例如，银行工作人员登录大数据平台展示面板，人工发现数据缺失或者数据不符合预期之后，排查造成问题的原因。也就是说，仅针对系统监控的现有技术无法满足银行大数据平台的运维需求。

发明内容

本申请实施例提供大数据平台监控方法及装置，用于解决现有大数据平台的监控技术无法满足银行大数据平台的运维需求的问题。

为达到上述目的，本申请采用如下技术方案：

第一方面，提供了一种大数据平台监控方法，该方法可以由大数据平台监控装置执行，该方法包括：获取目标业务数据；将目标业务数据与规则库中的业务数据异常规则进行匹配；若匹配成功，发出告警；其中，目标业务数据与银行业务有关，包括：行数，通过枚举类型定义的变量的取值，主键，空值比例，或者汇率中的至少之一；业务数据异常规则包括行数异常规则，枚举类型异常规则，主键重复异常规则，空值比例异常规则，或者银行的牌价发布及头寸管理系统下发的汇率与全球统一支付平台中的汇率不一致中的至少之一。在本申请实施例提供的大数据平台监控方法中，通过目标业务数据与规则库中的业务数据异常规则的匹配，能够实现大数据平台中业务数据的自动化监控。相较于人工发现业务数据异常的方法，本申请实施例提供的大数据平台监控方法能够提前检测到数据异常并告警，从而增强大数据平台的用户体验。此外，本申请实施例提供的大数据平台监控方法是基于规则的，还具有易解释的优势。

结合第一方面，在第一方面的某些实施方式中，获取目标业务数据，包括：从大数据平台获取待处理的业务数据；对待处理的业务数据进行提取、筛选、清洗和/或格式转换，以获得目标业务数据。在该方案中，通过提取、筛选、清洗和/或格式转换，能够使经过处理的待处理的业务数据，即目标业务数据，适合于匹配规则库中的规则。

结合第一方面，在第一方面的某些实施方式中，本申请实施例提供的大数据平台监控方法还包括：若目标业务数据与规则库中的业务数据异常规则未匹配成功，输出第一日志信息，第一日志信息用于表征目标业务数据正确。该方案可以应用于大数据平台监控装置的测试阶段，用于通过大数据平台监控装置能够正常输出第一日志信息或发出告警，来验证大数据平台监控装置可以正常工作。

结合第一方面，在第一方面的某些实施方式中，本申请实施例提供的大数据平台监控方法还包括：获取目标系统数据；将目标系统数据与规则库中的系统数据异常规则进行匹配；若匹配成功，发出告警；其中，目标系统数据包括日志数据、服务器硬盘数据、流量数据、安全风险数据或性能数据中的至少之一；系统数据异常规则包括日志异常规则、服务器硬盘异常规则、流量异常规则、安全异常规则或性能异常规则中的至少之一。在该方案中，规则库中除业务数据异常规则之外还包括系统数据异常规则，能够确保与现有技术的兼容性。此外，规则库中设置有不同种类的系统数据异常规则，以检测相应的目标系统数据是否异常。

结合第一方面，在第一方面的某些实施方式中，获取目标系统数据，包括：从大数据平台获取待处理的系统数据；对待处理的系统数据进行提取、筛选、清洗和/或格式转换，以获得目标系统数据。

结合第一方面，在第一方面的某些实施方式中，本申请实施例提供的大数据平台监控方法还包括：若目标系统数据与规则库中的系统数据异常规则未匹配成功，输出第二日志信息，第二日志信息用于表征目标系统数据正确。

结合第一方面，在第一方面的某些实施方式中，本申请实施例提供的大数据平台监控方法还包括：若目标系统数据与规则库中的系统数据异常规则未匹配成功，并且目标业务数据与规则库中的业务数据异常规则未匹配成功，输出第三日志信息，第三日志信息用于表征目标业务数据和目标系统数据正确。

第二方面，提供了一种大数据平台监控装置用于实现上述大数据平台监控方法。该大数据平台监控装置包括实现上述方法相应的模块、单元、或手段(means)，该模块、单元、或means可以通过硬件实现，软件实现，或者通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块或单元。

结合第二方面，在第二方面的某些实施方式中，大数据平台监控装置包括：获取模块、匹配模块和告警模块；获取模块，用于获取目标业务数据；匹配模块，用于将目标业务数据与规则库中的业务数据异常规则进行匹配；告警模块，用于若匹配成功，发出告警；其中，业务数据与银行业务有关，包括：行数，通过枚举类型定义的变量的取值，主键，空值比例，或者汇率中的至少之一；业务数据异常规则包括行数异常规则，枚举类型异常规则，主键重复异常规则，空值比例异常规则，或者银行的牌价发布及头寸管理系统下发的汇率与全球统一支付平台中的汇率不一致中的至少之一。

结合第二方面，在第二方面的某些实施方式中，获取模块，用于获取目标业务数据，包括：用于从大数据平台获取待处理的业务数据；对待处理的业务数据进行提取、筛选、清洗和/或格式转换，以获得目标业务数据。

结合第二方面，在第二方面的某些实施方式中，大数据平台监控装置还包括日志输出模块；日志输出模块，用于若目标业务数据与规则库中的业务数据异常规则未匹配成功，输出第一日志信息，第一日志信息用于表征目标业务数据正确。

结合第二方面，在第二方面的某些实施方式中，获取模块，还用于获取目标系统数据；匹配模块，还用于将目标系统数据与规则库中的系统数据异常规则进行匹配；告警模块，还用于若匹配成功，发出告警；其中，目标系统数据包括日志数据、服务器硬盘数据、流量数据、安全风险数据或性能数据中的至少之一；系统数据异常规则包括日志异常规则、服务器硬盘异常规则、流量异常规则、安全异常规则或性能异常规则中的至少之一。

结合第二方面，在第二方面的某些实施方式中，获取模块，还用于获取目标系统数据，包括：用于从大数据平台获取待处理的系统数据；对待处理的系统数据进行提取、筛选、清洗和/或格式转换，以获得目标系统数据。

结合第二方面，在第二方面的某些实施方式中，大数据平台监控装置还包括日志输出模块；日志输出模块，用于若目标系统数据与规则库中的系统数据异常规则未匹配成功，输出第二日志信息，第二日志信息用于表征目标系统数据正确；

结合第二方面，在第二方面的某些实施方式中，大数据平台监控装置还包括日志输出模块；日志输出模块，用于若目标系统数据与规则库中的系统数据异常规则未匹配成功，并且目标业务数据与规则库中的业务数据异常规则未匹配成功，输出第三日志信息，第三日志信息用于表征目标业务数据和目标系统数据正确。

第三方面，提供了一种大数据平台监控装置，该大数据平台监控装置包括存储器和处理器；存储器用于存储计算机程序，处理器用于执行计算机程序，以执行如第一方面及其任一种可能的实施方式所述的大数据平台监控方法。

第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，当计算机程序被计算机执行时使得计算机执行如第一方面及其任一种可能的实施方式所述的大数据平台监控方法。

第五方面，提供了一种计算机程序产品，该计算机程序产品在计算机上运行时，使得计算机执行如第一方面及其任一种可能的实施方式所述的大数据平台监控方法。

其中，第三方面至第五方面中任一种实施方式所带来的技术效果可参见第一方面中不同实施方式所带来的技术效果，此处不再赘述。

附图说明

图1为本申请实施例提供的一种通信系统的结构示意图；

图2为本申请实施例提供的一种大数据平台监控装置的结构示意图；

图3为本申请实施例提供的一种大数据平台监控方法的流程图；

图4为本申请实施例提供的另一种大数据平台监控装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。其中，在本申请的描述中，除非另有说明，“/”表示前后关联的对象是一种“或”的关系，例如，A/B可以表示A或B；本申请中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A,B可以是单数或者复数。并且，在本申请的描述中，除非另有说明，“多个”是指两个或多于两个。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。另外，为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。同时，在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念，便于理解。

图1为本申请提供的一种通信系统10。该通信系统10包括大数据平台101和大数据平台监控装置102。其中，大数据平台监控装置102用于对大数据平台101进行监控或异常检测。监控方法的具体实现及技术效果将在后续方法实施例中详细描述，在此不予赘述。

可选的，本申请实施例中的大数据平台监控装置或者大数据平台的相关功能可以由一个设备实现，也可以由多个设备共同实现，还可以是由一个设备内的一个或多个功能模块实现，本申请实施例对此不作具体限定。可以理解的是，上述功能既可以是硬件设备中的网络元件，也可以是在专用硬件上运行的软件功能，或者是硬件与软件的结合，或者是平台(例如，云平台)上实例化的虚拟化功能。

示例性的，图2示出了一种大数据平台监控装置的结构示意图。该大数据平台监控装置20包括一个或多个处理器21，通信线路22，以及至少一个通信接口(图2中仅是示例性的以包括通信接口24，以及一个处理器21为例进行说明)，可选的还可以包括存储器23。

处理器21可以是一个CPU，微处理器，特定应用集成电路(application-specificintegrated circuit，ASIC)，或一个或多个用于控制本申请方案程序执行的集成电路。

通信线路22可包括通路，用于连接不同组件之间。

通信接口24，可以是收发模块用于与其他设备或通信网络通信，如以太网，RAN，无线局域网(wireless local area networks，WLAN)等。例如，所述收发模块可以是收发器、收发机一类的装置。可选的，所述通信接口24也可以是位于处理器21内的收发电路，用以实现处理器的信号输入和信号输出。

存储器23可以是具有存储功能的装置。例如可以是只读存储器(read-onlymemory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过通信线路22与处理器相连接。存储器也可以和处理器集成在一起。

其中，存储器23用于存储执行本申请方案的计算机执行指令，并由处理器21来控制执行。处理器21用于执行存储器23中存储的计算机执行指令，从而实现本申请实施例中提供的大数据平台监控方法。

或者，本申请实施例中，也可以是处理器21执行本申请上述实施例提供的大数据平台监控方法中的处理相关的功能，通信接口24负责与其他设备或通信网络通信，本申请实施例对此不作具体限定。

本申请实施例中的计算机执行指令也可以称之为应用程序代码，本申请实施例对此不作具体限定。

在具体实现中，作为一种实施例，处理器21可以包括一个或多个CPU，例如图2中的CPU0和CPU1。

在具体实现中，作为一种实施例，大数据平台监控装置20可以包括多个处理器，例如图2中的处理器21和处理器27。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

在具体实现中，作为一种实施例，大数据平台监控装置20还可以包括输出设备25和输入设备26。输出设备25和处理器21通信，可以以多种方式来显示信息。

上述的大数据平台监控装置20可以是一个通用装置或者是一个专用装置。例如大数据平台监控装置20可以是台式机、便携式电脑、网络服务器、掌上电脑(personaldigital assistant，PDA)、移动手机、平板电脑、无线终端装置、车载终端装置、嵌入式设备或具有图2中类似结构的设备。本申请实施例不限定大数据平台监控装置20的类型。

下面将结合图1和图2对本申请实施例提供的大数据平台监控方法进行具体阐述。

如图3所示，为本申请实施例提供的一种大数据平台监控方法，该方法包括如下步骤：

S301、大数据平台监控装置获取目标业务数据。

可选的，目标业务数据为与银行业务有关的数据，比如目标业务数据可以包括行数，通过枚举类型定义的变量的取值，主键，空值比例，或者汇率中的至少之一。其中，行数为数据表中数据的行数，例如，客户张三的开户信息表有几行。枚举类型通常是一种数据类型，通过枚举类型定义的变量的取值只限于罗列出来的几个值，例如，“卡种”可以是“信用卡”或“借记卡”，不存在“卡种”是其他取值的情况。主键用于唯一表示一条数据的值，是不能重复的，主键例如是银行卡的卡号，如果出现主键重复，就意味着存在两张相同卡号的银行卡，这是异常的。空值比例是指取值为空值的数据的占比，空值比例可以是某行或某列的空值比例，也可以是某张表内的空值比例，本申请实施例对此不作任何限定。其中，空值的含义可以是数据缺失(missing)，未知(unknown)或者不适用(inapplicable)。汇率可以是两个不同国家货币的比率或比价。

可选地，业务数据异常规则可以包括行数异常规则，枚举类型异常规则，主键重复异常规则，空值比例异常规则，或者银行的牌价发布及头寸管理系统下发的汇率与全球统一支付平台中的汇率不一致中的至少之一。

可选地，大数据平台监控装置可以直接从大数据平台获取目标业务数据，或者，大数据平台监控装置可以先从大数据平台获取待处理的业务数据，然后对待处理的业务数据进行提取、筛选、清洗和/或格式转换，以获得目标业务数据，本申请实施例对此不作任何限定。通过数据提取、筛选、清洗和/或格式转换，能够使经过处理的待处理的业务数据，即目标业务数据，适合于匹配规则库中的规则。

示例性地，大数据平台监控装置可以以数据流的形式从大数据平台获取目标业务数据或待处理的业务数据。或者，示例性地，大数据平台监控装置可以采用中间件，例如kafka来从大数据平台获取目标业务数据或待处理的业务数据。其中，目标业务数据和/或待处理的业务数据例如可以为银行业务数据。

示例性地，大数据平台监控装置可以将待处理的业务数据转换为json格式，或者，根据待处理业务数据所属的业务系统的标识(system_id)来归类。

S302、大数据平台监控装置将目标业务数据与规则库中的业务数据异常规则进行匹配。

可选地，业务数据异常规则可以由各业务条线的业务专家或业务需求方提供。业务数据异常规则可以包括跨表间业务数据异常规则和表内业务数据异常规则。其中，跨表间业务数据异常规则可以例如，银行的牌价发布及头寸管理系统下发的汇率与全球统一支付平台中对应汇率不一致。

示例性地，大数据平台监控装置可以利用模式匹配算法将目标业务数据与业务数据异常规则进行匹配。

S303、若匹配成功，大数据平台监控装置发出告警。

如果目标业务数据符合业务数据异常规则，那么，目标业务数据与规则库中的业务数据异常规则匹配成功；如果目标业务数据不符合业务数据异常规则，那么，目标业务数据与规则库中的业务数据异常规则无法匹配成功。下面以目标业务数据为客户张三的开户信息表中的空值比例，业务异常规则为该表中的空值比例小于10％或者大于90％为例进行说明。假设该表中的空值比例为8％，大数据平台监控装置可以将8％与业务数据异常规则进行匹配。由于8％小于10％，因此，目标业务数据与规则库中的业务数据异常规则匹配成功。假设该表中的空值比例为20％，大数据平台监控装置可以将20％与业务数据异常规则进行匹配。由于20％既不小于10％也不大于90％，因此，目标业务数据与规则库中的业务数据异常规则未匹配成功。

再以目标业务数据为：银行的牌价发布及头寸管理系统下发的美元对人民币的汇率和全球统一支付平台中美元对人民币的汇率，业务数据异常规则为：银行的牌价发布及头寸管理系统下发的汇率与全球统一支付平台中对应汇率不一致为例进行说明。假设银行的牌价发布及头寸管理系统下发的美元对人民币的汇率为7，而全球统一支付平台中美元对人民币的汇率为6.4，大数据平台监控装置可以将7和6.4与业务数据异常规则进行匹配。由于7不等于6.4，因此，目标业务数据与规则库中的业务数据异常规则匹配成功。假设银行的牌价发布及头寸管理系统下发的美元对人民币的汇率和全球统一支付平台中美元对人民币的汇率都为6.4，大数据平台监控装置可以将6.4和6.4与业务数据异常规则进行匹配。由于6.4等于6.4，因此，目标业务数据与规则库中的业务数据异常规则未匹配成功。

示例性地，大数据平台监控装置可以通过短信或邮件通知相关责任人的方式发出告警。或者，大数据平台监控装置预先设置告警的优先级规则，对于高优先级的告警，大数据平台监控装置可以通过短信或邮件通知相关责任人，以便检测到的异常能够被及时处理。

可选地，大数据平台监控装置可以存储告警数据。可选地，大数据平台监控装置还可以定期，例如每周或每月，对告警数据进行统计，并可视化地展示统计结果。

可选地，除了存储告警数据之外，大数据平台监控装置还可以存储自身的配置数据、功能数据和/或任务调度数据，本申请实施例对此不作任何限定。大数据平台监控装置可以采用非结构化的数据存储方式，例如使用mongodb数据库进行存储。

可选地，若目标业务数据与规则库中的业务数据异常规则未匹配成功，大数据平台监控装置输出第一日志信息，第一日志信息用于表征目标业务数据正确。该方案可以应用于大数据平台监控装置的测试阶段，用于通过大数据平台监控装置能够正常输出第一日志信息或发出告警，来验证大数据平台监控装置可以正常工作。

在本申请实施例提供的大数据平台监控方法中，通过目标业务数据与规则库中的业务数据异常规则的匹配，能够实现大数据平台中业务数据的自动化监控。相较于人工发现业务数据异常的方法，本申请实施例提供的大数据平台监控方法能够提前检测到数据异常并告警，从而增强大数据平台的用户体验。此外，本申请实施例提供的大数据平台监控方法是基于规则的，还具有易解释的优势。

可选地，本申请实施例提供的大数据平台监控方法还包括：大数据平台监控装置获取目标系统数据；大数据平台监控装置将目标系统数据与规则库中的系统数据异常规则进行匹配；若匹配成功，大数据平台监控装置发出告警。在该方案中，规则库中除业务数据异常规则之外还包括系统数据异常规则，能够确保与现有技术的兼容性。

可选地，目标系统数据包括日志数据、服务器硬盘数据、流量数据、安全风险数据或性能数据中的至少之一；系统数据异常规则包括日志异常规则、服务器硬盘异常规则、流量异常规则、安全异常规则或性能异常规则中的至少之一。在该方案中，规则库中设置有不同种类的系统数据异常规则，以检测相应的目标系统数据是否异常。

可选地，大数据平台监控装置获取目标系统数据，包括：大数据平台监控装置从大数据平台获取待处理的系统数据；大数据平台监控装置对待处理的系统数据进行提取、筛选、清洗和/或格式转换，以获得目标系统数据。

本申请实施例中，大数据平台监控装置获取目标系统数据的方式与上述步骤S301中获取目标业务数据的方式相同，在此不再赘述。

可选地，若目标系统数据与规则库中的系统数据异常规则未匹配成功，大数据平台监控装置输出第二日志信息，第二日志信息用于表征目标系统数据正确。或者，若目标系统数据与规则库中的系统数据异常规则未匹配成功，并且目标业务数据与规则库中的业务数据异常规则未匹配成功，大数据平台监控装置输出第三日志信息，第三日志信息用于表征目标业务数据和目标系统数据正确。

其中，上述步骤S301至S303中大数据平台监控装置的动作可以由图2所示的大数据平台监控装置20中的处理器21调用存储器23中存储的应用程序代码以指令大数据平台监控装置执行。本实施例对此不作任何限制。

上述主要从方法的角度对本申请实施例提供的方案进行了介绍。相应的，本申请实施例还提供了一种装置，该装置用于实现上述各种方法。该装置可以为上述方法实施例中的大数据平台监控装置，或者包含上述大数据平台监控装置的装置，或者为可用于大数据平台监控装置的部件。可以理解的是，该装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法实施例中对装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

图4示出了一种大数据平台监控装置40的结构示意图。大数据平台监控装置40包括获取模块401、匹配模块402和告警模块403。

获取模块401，用于获取目标业务数据；匹配模块402，用于将目标业务数据与规则库中的业务数据异常规则进行匹配；告警模块403，用于若匹配成功，发出告警；其中，目标业务数据与银行业务有关，包括：行数，通过枚举类型定义的变量的取值，主键，空值比例，或者汇率中的至少之一；业务数据异常规则包括行数异常规则，枚举类型异常规则，主键重复异常规则，空值比例异常规则，或者银行的牌价发布及头寸管理系统下发的汇率与全球统一支付平台中的汇率不一致中的至少之一。

一种可能的实现方式中，获取模块401，用于获取目标业务数据，包括：用于从大数据平台获取待处理的业务数据；对待处理的业务数据进行提取、筛选、清洗和/或格式转换，以获得目标业务数据。

一种可能的实现方式中，大数据平台监控装置40还包括日志输出模块404；日志输出模块404，用于若目标业务数据与规则库中的业务数据异常规则未匹配成功，输出第一日志信息，第一日志信息用于表征目标业务数据正确。

一种可能的实现方式中，获取模块401，还用于获取目标系统数据；匹配模块402，还用于将目标系统数据与规则库中的系统数据异常规则进行匹配；告警模块403，还用于若匹配成功，发出告警；其中，目标系统数据包括日志数据、服务器硬盘数据、流量数据、安全风险数据或性能数据中的至少之一；系统数据异常规则包括日志异常规则、服务器硬盘异常规则、流量异常规则、安全异常规则或性能异常规则中的至少之一。

其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。当然，本申请实施例提供的大数据平台监控装置40包括但不限于上述模块。

在本实施例中，该大数据平台监控装置40以采用集成的方式划分各个功能模块的形式来呈现。这里的“模块”可以指特定ASIC，电路，执行一个或多个软件或固件程序的处理器和存储器，集成逻辑电路，和/或其他可以提供上述功能的器件。

在一个简单的实施例中，本领域的技术人员可以想到该大数据平台监控装置40可以采用图2所示的大数据平台监控装置20的形式。

比如，图2所示的大数据平台监控装置20中的处理器21可以通过调用存储器23中存储的计算机执行指令，使得大数据平台监控装置20执行上述方法实施例中的大数据平台监控方法。具体的，图4中的获取模块401、匹配模块402和告警模块403的功能/实现过程可以通过图2所示的大数据平台监控装置20中的处理器21调用存储器23中存储的计算机执行指令来实现。

由于本实施例提供的大数据平台监控装置40可执行上述大数据平台监控方法，因此其所能获得的技术效果可参考上述方法实施例，在此不再赘述。

本申请另一实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行上述方法实施例所示的方法流程中大数据平台监控装置执行的各个步骤。

本申请另一实施例还提供一种芯片系统，该芯片系统应用于电子设备。所述芯片系统包括一个或多个接口电路，以及一个或多个处理器。接口电路和处理器通过线路互联。接口电路用于从电子设备的存储器接收信号，并向处理器发送所述信号，所述信号包括所述存储器中存储的计算机指令。当处理器执行计算机指令时，电子设备执行上述方法实施例所示的方法流程中大数据平台监控装置执行的各个步骤。

在本申请另一实施例中，还提供一种计算机程序产品，该计算机程序产品包括指令，当指令在电子设备上运行时，使得电子设备执行上述方法实施例所示的方法流程中大数据平台监控装置执行的各个步骤。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机执行指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digitalsubscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

以上所述，仅为本申请的具体实施方式。熟悉本技术领域的技术人员根据本申请提供的具体实施方式，可想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种大数据平台监控方法，其特征在于，包括：

获取目标业务数据；

将所述目标业务数据与规则库中的业务数据异常规则进行匹配；

若匹配成功，发出告警；

其中，所述目标业务数据与银行业务有关，包括：行数，通过枚举类型定义的变量的取值，主键，空值比例，或者汇率中的至少之一；所述业务数据异常规则包括行数异常规则，枚举类型异常规则，主键重复异常规则，空值比例异常规则，或者银行的牌价发布及头寸管理系统下发的汇率与全球统一支付平台中的汇率不一致中的至少之一。

2.根据权利要求1所述的大数据平台监控方法，其特征在于，所述获取目标业务数据，包括：

从所述大数据平台获取待处理的业务数据；

对所述待处理的业务数据进行提取、筛选、清洗和/或格式转换，以获得所述目标业务数据。

3.根据权利要求1或2所述的大数据平台监控方法，其特征在于，所述方法还包括：

若所述目标业务数据与所述规则库中的所述业务数据异常规则未匹配成功，输出第一日志信息，所述第一日志信息用于表征所述目标业务数据正确。

4.根据权利要求1-3任一项所述的大数据平台监控方法，其特征在于，所述方法还包括：

获取目标系统数据；

将所述目标系统数据与所述规则库中的系统数据异常规则进行匹配；

若匹配成功，发出告警；

其中，所述目标系统数据包括日志数据、服务器硬盘数据、流量数据、安全风险数据或性能数据中的至少之一；所述系统数据异常规则包括日志异常规则、服务器硬盘异常规则、流量异常规则、安全异常规则或性能异常规则中的至少之一。

5.一种大数据平台监控装置，其特征在于，所述大数据平台监控装置包括：获取模块、匹配模块和告警模块；

所述获取模块，用于获取目标业务数据；

所述匹配模块，用于将所述目标业务数据与规则库中的业务数据异常规则进行匹配；

所述告警模块，用于若匹配成功，发出告警；

其中，所述业务数据与银行业务有关，包括：行数，通过枚举类型定义的变量的取值，主键，空值比例，或者汇率中的至少之一；所述业务数据异常规则包括行数异常规则，枚举类型异常规则，主键重复异常规则，空值比例异常规则，或者银行的牌价发布及头寸管理系统下发的汇率与全球统一支付平台中的汇率不一致中的至少之一。

6.根据权利要求5所述的大数据平台监控装置，其特征在于，所述获取模块，用于获取目标业务数据，包括：

用于从所述大数据平台获取待处理的业务数据；对所述待处理的业务数据进行提取、筛选、清洗和/或格式转换，以获得所述目标业务数据。

7.根据权利要求5或6所述的大数据平台监控装置，其特征在于，所述大数据平台监控装置还包括日志输出模块；

所述日志输出模块，用于若所述目标业务数据与所述规则库中的所述业务数据异常规则未匹配成功，输出第一日志信息，所述第一日志信息用于表征所述目标业务数据正确。

8.根据权利要求5-7任一项所述的大数据平台监控装置，其特征在于，

所述获取模块，还用于获取目标系统数据；

所述匹配模块，还用于将所述目标系统数据与所述规则库中的系统数据异常规则进行匹配；

所述告警模块，还用于若匹配成功，发出告警；

其中，所述目标系统数据包括日志数据、服务器硬盘数据、流量数据、安全风险数据或性能数据中的至少之一；所述系统数据异常规则包括日志异常规则、服务器硬盘异常规则、流量异常规则、安全异常规则或性能异常规则中的至少之一。

9.一种大数据平台监控装置，其特征在于，所述大数据平台监控装置包括存储器和处理器；所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序，以执行权利要求1-4中任一项所述的大数据平台监控方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被计算机执行时使得所述计算机执行权利要求1-4中任一项所述的大数据平台监控方法。

Images