CN109766370A - 数据处理方法、数据服务系统及设备 - Google Patents
数据处理方法、数据服务系统及设备 Download PDFInfo
- Publication number
- CN109766370A CN109766370A CN201811610087.9A CN201811610087A CN109766370A CN 109766370 A CN109766370 A CN 109766370A CN 201811610087 A CN201811610087 A CN 201811610087A CN 109766370 A CN109766370 A CN 109766370A
- Authority
- CN
- China
- Prior art keywords
- data
- data service
- module
- setting
- service module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本说明书提供一种数据处理方法、数据服务系统及设备,数据服务系统包括有一个或多个数据服务模块,数据服务模块对应有接口,各数据使用方可以调用所需的数据服务模块,使得数据服务系统可以提供统一的数据服务能力;同时,服务监控模块可以通过读取数据服务模块的计算结果,从数据服务模块的输出情况进行监控,以保证数据服务模块的服务稳定性;数据质量监控模块获取设定监控指标,从设定监控指标是否异常进行监控,以保证数据服务模块对数据指标的计算质量,防止计算错误。
Description
技术领域
本说明书涉及互联网技术领域,尤其涉及数据处理方法、数据服务系统及设备。
背景技术
对企业来说,随着业务迅速发展,业务数据在驱动内外部业务中发挥着重要作用,开发人员、运营人员、外部用户或数据分析人员等各方人员可能关注相同或不同的数据指标、都有查询业务数据获取数据指标的需要。基于此,如何保证数据服务的稳定性、提供准确的数据指标具有重要意义。
发明内容
为克服相关技术中存在的问题,本说明书提供了数据处理方法、数据服务系统及设备。
根据本说明书实施例的第一方面,提供一种数据服务系统,所述数据服务系统向数据使用方提供有对应数据服务模块的接口,所述数据服务系统包括:
一个或多个数据服务模块,所述数据服务模块用于:在对应接口被所述数据使用方调用后,从一个或多个业务数据库中获取业务数据,并基于一个或多个数据指标的设定运算方式,利用获取的业务数据计算所述一个或多个数据指标,将计算结果输出给所述数据使用方;
服务监控模块,用于:读取所述计算结果,获取所述数据服务模块的输出相关信息,进而判断数据服务模块是否异常运行;
数据质量监控模块,用于:从所述计算结果中查找设定监控指标,将所述设定监控指标与设定异常条件匹配,进而判断数据服务模块是否异常运行;
告警模块,用于:根据所述服务监控模块的判断结果和/或所述数据质量校验模块的判断结果确定是否告警。
可选的,所述设定运算方式有多种类型,每种所述设定运算方式对应有运算模板程序;所述调用请求至少包括:一个或多个数据指标,以及与每个所述数据指标对应的数据源参数;
所述数据服务模块具体用于:针对调用请求中的每个数据指标,执行如下处理:根据对应的数据源参数从一个或多个业务数据库中获取业务数据,确定该数据指标的设定运算方式对应的运算模板程序,将所述获取的业务数据作为所述运算模板程序的输入参数,由所述运算模板程序利用所述业务数据计算出该数据指标。
可选的,所述输出相关信息包括:指示计算成功或计算失败的信息,和/或数据服务模块从对应接口被调用至输出计算结果的耗时信息。
可选的,所述异常条件基于历史正常业务数据确定的数据指标正常范围而确定。
可选的,所述异常条件包括:
设定监控指标不在设定正常范围内、设定监控指标的环比波动值不在设定正常范围内、设定监控指标的同比波动值不在设定正常范围内。
可选的,所述告警模块,还用于:
若确定所述数据服务模块异常运行,按照设定告警方式,向发生异常的数据服务模块对应的告警接收方执行告警。
可选的,还包括:信息接收模块,用于:
提供用户配置界面,通过所述用户配置界面接收如下一种或多种信息:
所述设定监控指标、所述异常条件、所述告警接收方或告警方式信息。
可选的,还包括统计分析模块,用于:
获取所述数据服务模块从对应接口被调用至输出结果之间的明细信息,将所述明细信息记录于日志中;
根据设定周期,利用所述日志中的明细信息获取统计数据。
可选的,所述统计数据包含:
指示数据服务模块的被调用次数的统计数据、指示数据服务模块从对应接口被调用至输出计算结果的耗时的统计数据、指示数据服务模块的计算成功率的统计数据。
根据本说明书实施例的第二方面,提供一种数据服务方法,应用于数据服务系统,所述数据服务系统向数据使用方提供有对应数据服务模块的接口,所述方法包括:
在获取到针对数据服务模块的接口的调用请求后,调用所述数据服务模块,通过所述数据服务模块从一个或多个业务数据库中获取业务数据,并基于一个或多个数据指标的设定运算方式,利用获取的业务数据计算所述一个或多个数据指标,将计算结果输出给所述数据使用方;
读取所述计算结果,获取所述数据服务模块的输出相关信息,进而判断数据服务模块是否异常运行;
从所述计算结果中查找设定监控指标,将所述设定监控指标与设定异常条件匹配,进而判断数据服务模块是否异常运行;
根据所述服务监控模块的判断结果和/或所述数据质量校验模块的判断结果确定是否告警。
可选的,所述设定运算方式有多种类型,每种所述设定运算方式对应有运算模板程序;所述调用请求至少包括:一个或多个数据指标,以及与每个所述数据指标对应的数据源参数;
所述数据服务模块针对调用请求中的每个数据指标,执行如下处理:根据对应的数据源参数从一个或多个业务数据库中获取业务数据,确定该数据指标的设定运算方式对应的运算模板程序,将所述获取的业务数据作为所述运算模板程序的输入参数,由所述运算模板程序利用所述业务数据计算出该数据指标。
可选的,所述输出相关信息包括:指示计算成功或计算失败的信息,和/或数据服务模块从对应接口被调用至输出计算结果的耗时信息。
可选的,所述异常条件基于历史正常业务数据确定的数据指标正常范围而确定。
可选的,所述异常条件包括:
设定监控指标不在设定正常范围内、设定监控指标的环比波动值不在设定正常范围内、设定监控指标的同比波动值不在设定正常范围内。
可选的,所述方法还包括:
若确定所述数据服务模块异常运行,按照设定告警方式,向发生异常的数据服务模块对应的告警接收方执行告警。
可选的,所述方法还包括:
提供用户配置界面,通过所述用户配置界面接收如下一种或多种信息:
所述设定监控指标、所述异常条件、所述告警接收方或告警方式信息。
可选的,所述方法还包括:
获取所述数据服务模块从对应接口被调用至输出结果之间的明细信息,将所述明细信息记录于日志中;
根据设定周期,利用所述日志中的明细信息获取统计数据。
可选的,所述统计数据包含:
指示数据服务模块的被调用次数的统计数据、指示数据服务模块从对应接口被调用至输出计算结果的耗时的统计数据、指示数据服务模块的计算成功率的统计数据。
根据本说明书实施例的第三方面,提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述程序时实现如前所述的数据服务方法。
本说明书的实施例提供的技术方案可以包括以下有益效果:
本说明书实施例中,数据服务系统包括有一个或多个数据服务模块,数据服务模块对应有接口,各数据使用方可以调用所需的数据服务模块,使得数据服务系统可以提供统一的数据服务能力;同时,服务监控模块可以通过读取数据服务模块的计算结果,从数据服务模块的输出情况进行监控,以保证数据服务模块的服务稳定性;数据质量监控模块获取设定监控指标,从设定监控指标是否异常进行监控,以保证数据服务模块对数据指标的计算质量,防止计算错误。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本说明书。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本说明书的实施例,并与说明书一起用于解释本说明书的原理。
图1A是本说明书根据一示例性实施例示出的一种数据服务场景示意图。
图1B是本说明书根据一示例性示出的一种数据服务系统的结构框图。
图2是本说明书根据一示例性实施例示出的一种数据服务方法的流程图。
图3是本说明书根据一示例性实施例示出的一种数据服务系统所在计算机设备的一种硬件结构图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
在本说明书使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
随着信息技术的发展,各行各业在运营的过程中每天都会产生大量的数据。针对这些数据,在大数据的趋势下,开发人员、运营人员、外部用户或数据分析人员等各数据使用方对数据服务的需求越来越大,例如,各数据使用方常常会有很多关注的数据指标。数据指标用于衡量事物的发展程度,例如:销售量、利润率、日增用户数、活跃用户数、用户价值指数、人口数、GDP、收入、用户数、留存率或覆盖率等。数据指标可以经过加和、平均等多种计算方式计算得到,并且可以在一定的前提条件进行汇总计算,如时间、地点、范围,也就是统计口径与范围。因此,如何为数据使用方提供稳定、高质量的数据服务成为亟待解决的技术问题。
如图1A所示,是本说明书根据一示例性示出的数据服务场景示意图,图1A中示出了多个存储业务数据的数据库,包括有离线数据库和在线数据库等;另外还示出了多个数据使用方,这些数据使用方可以是企业内部的开发人员、运营人员或数据分析人员等,还可以是企业用户等外部人员。由于各数据使用方都有查询数据获取数据指标的需求,基于此,本说明书实施例提供了一种数据服务系统,该数据服务系统可以向各数据使用方提供数据服务。
结合图1B进行说明,图1B是本说明书根据一示例性示出的一种数据服务系统的结构框图,由于数据使用方众多,为了向各数据使用方提供统一的数据服务,数据服务系统包括有一个或多个数据服务模块,每个数据服务模块用于从一个或多个业务数据库中获取业务数据,并基于至少一种数据指标的设定运算方式,利用获取的业务数据计算至少一个数据指标。具体的,数据服务模块所计算的数据指标的个数、计算何种数据指标、以及计算数据指标的运算方式等,都可根据需要灵活配置,可选的,可以由数据使用方配置,也可以由技术人员配置,本实施例对此不做限定。
本实施例数据服务系统提供有对应数据服务模块的接口,通过该接口获取数据使用方对数据服务模块的调用请求。实际应用中,不同数据使用方可能关注同一数据指标,数据服务模块可以供一个或多个数据使用方调用,从而使得数据服务系统具备面向应用上层提供统一的数据服务能力的数据资产服务系统。
实际应用中,虽然有很多个数据使用方,各个数据使用方需要很多个不同的数据指标,但不同数据指标的运算方式却有可能是一致的。例如,数据使用方A需要某个地区某类用户在某个时间段内的消费总额,数据使用方B需要某个店铺在某个时间内的销售量总额,可以理解,这两个数据指标不同,但运算方式却是一致的。消费总额的计算方式,可以是筛选出该地区该类用户在该时间段内的所有消费订单数据后,将所有消费订单数据加和得到;销售量总额的计算方式,可以是筛选出该店铺在该时间段内的所有销售订单数据后,将所有销售订单数据加和得到。
基于此,本实施例方案中可以根据各类设定运算方式,预先写好每类设定运算方式的运算模板程序,该运算模板程序可以根据输入参数计算数据指标。通过上述方式,本实施例提供了可复用的运算模板程序,可显著地减少开发资源,提高开发效率。
可选的,数据服务模块可以预先由数据使用方或技术人员配置,在配置阶段会可能会确定该数据服务模块给哪些数据使用方使用、确定该数据使用方对业务数据库的使用权限、确定该数据服务模块所能提供计算的所有数据指标,因此可以根据该数据服务模块所能提供计算的所有数据指标,确定每个数据指标的运算方式后获取运算模板程序,将获取的各个运算模板程序与数据服务模块关联,则数据服务模块在被调用后,可根据当前调用者的需求(可以从调用请求中传入的参数确定需求)确定调用者需要计算哪些数据指标,进而运行相应的运算模板程序进行计算。
可选的,所述调用请求至少包括:一个或多个数据指标,以及与每个所述数据指标对应的数据源参数;所述数据服务模块具体用于:针对调用请求中的每个数据指标,执行如下处理:根据对应的数据源参数从一个或多个业务数据库中获取业务数据,确定该数据指标的设定运算方式对应的运算模板程序,将所述获取的业务数据作为所述运算模板程序的输入参数,由所述运算模板程序利用所述业务数据计算出该数据指标。其中,调用请求中可能包括一个数据指标,也可能包括多个数据指标;在包括多个数据指标的情况下,数据服务模块可以针对每个数据指标运行对应的运算模板程序,从而计算出每个数据指标。
随着业务数据量的日益庞大,数据服务模块的稳定性保障、数据质量要求也显得愈发重要。本实施例还提供了服务监控模块和数据质量监控模块,以对数据服务模块的稳定性和数据服务质量进行保障。具体的,不管数据使用方或数据服务提供方,都期望数据服务模块能够成功地、快速地输出计算结果,因此,本实施例的服务监控模块可用于:读取所述计算结果,获取所述数据服务模块的输出相关信息,进而判断数据服务模块是否异常运行。
其中,数据服务模块在执行一次计算时,计算结果通常是存储于内存中,基于本实施例的方案,服务监控模块可以实时从内存中读取到该计算结果,从而实现对数据服务模块的实时监控。
本实施例中,服务监控模块用于监控数据服务模块的输出是否异常,可选的,该输出相关信息用于指示数据服务模块的输出情况,可以是指示计算成功或计算失败的信息,或者是数据服务模块从对应接口被调用至输出计算结果的耗时信息等等,实际应用中可以根据需要灵活配置。
另外,本实施例还从数据质量的角度来保障数据服务模块的正常运行。具体的,由于数据服务模块的目标是输出正常的数据指标集,由于数据指标的计算过程中涉及数据查询及数据计算等一系列处理过程,数据服务模块有可能因为异常运行而导致数据指标计算出错,基于此,为了保障数据服务模块的服务质量,本实施例中,数据服务模块可用于:读取所述计算结果,获取设定监控指标,将查找的设定监控指标与设定异常条件匹配,判断数据服务模块是否异常运行。本实施例可以监控数据服务模块的计算结果中是否出现异常的数据指标,可选的,该设定监控指标/设定异常条件可以由数据使用方指定,也可以是由技术人员配置;设定监控指标可以是数据服务模块所需要计算的所有数据指标,也可以是部分数据指标。
作为例子,可选的,若数据服务模块正常运行,则计算出的数据指标应该处于正常范围,例如,以数据指标为某业务系统的当日登录用户数为例,假设该业务系统通常情况下每日都会有大于100个用户登录,若数据服务模块输出的当日登录用户数较小(小于100),则数据服务模块出现计算错误的可能性较大。
实际应用中可以根据需要灵活配置异常条件,作为例子,采用如下方式确定:获取历史正常业务数据,通过所述历史正常业务数据确定数据指标的正常范围。本实施例中,可以预先通过历史正常业务数据分析数据指标的正常范围,基于该正常范围进行异常条件的配置,例如,确定正常范围后,将不属于正常范围的数据指标确定为异常条件等。
在一些例子中,所述异常条件包括:设定监控指标不在设定正常范围内。在另一些例子中,还可以从数据指标的波动情况来确定异常条件,可选的,数据的波动可以采用数据指标的变化率来表征,例如同比或环比等;同比表示将当前统计周期和历史同周期比较,环比表示将当前统计周期和上一个统计周期比较。因此,异常条件还可以包括:在设定监控指标的环比波动值不在设定正常范围内、设定监控指标的同比波动值不在设定正常范围内。
本实施例中,数据服务系统还包括有信息接收模块,用于:
提供用户配置界面,通过所述用户配置界面接收如下一种或多种信息:
所述设定监控指标、所述异常条件、所述告警接收方或告警方式。
通过信息接收模块,可以供技术人员或数据使用方配置数据质量监控模块所需的监控指标和异常条件;也可以供技术人员或数据使用方配置告警接收方或告警方式信息,可选的,告警方式信息可以包括告警时间、告警发送方式(例如通过短信、电话、邮件或即时通讯等)或告警频率等信息。
在一些例子中,数据服务系统对接有多个应用软件,可以通过应用软件提供该用户配置界面,由数据使用方配置;在另一些例子中,数据服务系统可直接提供用户界面给技术人员或数据使用。
可选的,本实施例的数据服务系统还提供有统计分析模块,用于:获取所述数据服务模块从对应接口被调用至输出结果之间的明细信息,将所述明细信息记录于日志中;根据设定周期,利用所述日志中的明细信息获取统计数据。本实施例中,统计分析模块可以实时监控数据服务模块,并打印数据服务模块的运行时的明细信息,该明细信息包括但不限于:调用时间、本次调用的数据使用方、计算出的数据指标、指示计算成功或失败的信息、计算结束时间等等。
可选的,本实施例的统计分析可以对数据服务模块的每一次计算都打印日志,还可以进一步对日志进行解析、格式化并落库,最后根据需要进行统计分析,输出统计分析数据提供给用户。可选的,所述统计数据包含:
指示数据服务模块的被调用次数的统计数据、指示数据服务模块从对应接口被调用至输出计算结果的耗时的统计数据、指示数据服务模块的计算成功率的统计数据。例如,可以包括每天实时的各个数据服务模块的调用量,可包含日环比、周同比等统计数据;可以包括每天实时的各个数据服务模块的调用UV(Unique Visitor,独立访客,可包含日环比、周同比等统计数据;可以包括每天实时的各个数据服务模块的调用平均耗时,可包含日环比、周同比等统计数据;可以包括每天实时的各个数据服务模块的调用成功率可包含日环比、周同比等统计数据;还可以包括调用耗时分时趋势图以及历史N天按天汇总的服务调用情况等。
如图2所示,图2是本说明书根据一示例性实施例示出的一种数据服务方法的流程图,该方法可应用于数据服务系统,所述数据服务系统向数据使用方提供有对应数据服务模块的接口,所述方法包括:
在步骤202、在获取到针对数据服务模块的接口的调用请求后,调用所述数据服务模块,通过所述数据服务模块从一个或多个业务数据库中获取业务数据,并基于一个或多个数据指标的设定运算方式,利用获取的业务数据计算所述一个或多个数据指标,将计算结果输出给所述数据使用方;
在步骤204、读取所述计算结果,获取所述数据服务模块的输出相关信息,进而判断数据服务模块是否异常运行;
在步骤206、从所述计算结果中查找设定监控指标,将所述设定监控指标与设定异常条件匹配,进而判断数据服务模块是否异常运行;
在步骤208、根据所述服务监控模块的判断结果和/或所述数据质量校验模块的判断结果确定是否告警。
可选的,所述设定运算方式有多种类型,每种所述设定运算方式对应有运算模板程序;所述调用请求至少包括:一个或多个数据指标,以及与每个所述数据指标对应的数据源参数;
可选的,所述数据服务模块针对调用请求中的每个数据指标,执行如下处理:根据对应的数据源参数从一个或多个业务数据库中获取业务数据,确定该数据指标的设定运算方式对应的运算模板程序,将所述获取的业务数据作为所述运算模板程序的输入参数,由所述运算模板程序利用所述业务数据计算出该数据指标。
可选的,所述输出相关信息包括:指示计算成功或计算失败的信息,和/或数据服务模块从对应接口被调用至输出计算结果的耗时信息。
可选的,所述异常条件基于历史正常业务数据确定的数据指标正常范围而确定。
可选的,所述异常条件包括:
设定监控指标不在设定正常范围内、设定监控指标的环比波动值不在设定正常范围内、设定监控指标的同比波动值不在设定正常范围内。
可选的,所述方法还包括:
若确定所述数据服务模块异常运行,按照设定告警方式,向发生异常的数据服务模块对应的告警接收方执行告警。
可选的,所述方法还包括:
提供用户配置界面,通过所述用户配置界面接收如下一种或多种信息:
所述设定监控指标、所述异常条件、所述告警接收方或告警方式信息。
可选的,所述方法还包括:
获取所述数据服务模块从对应接口被调用至输出结果之间的明细信息,将所述明细信息记录于日志中;
根据设定周期,利用所述日志中的明细信息获取统计数据。
可选的,所述统计数据包含:
指示数据服务模块的被调用次数的统计数据、指示数据服务模块从对应接口被调用至输出计算结果的耗时的统计数据、指示数据服务模块的计算成功率的统计数据。
本说明书数据服务系统的实施例可以应用在计算机设备上,例如服务器。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在数据服务的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图3所示,为本说明书实施例示出的一种数据服务系统所在计算机设备的一种硬件结构图,除了图3所示的处理器310、内存330、网络接口320、以及非易失性存储器340之外,实施例中系统331所在的服务器,通常根据该计算机设备的实际功能,还可以包括其他硬件,对此不再赘述。
上述方法中对应步骤的实现过程具体详见上述装置中各个模块的功能和作用的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本领域技术人员在考虑说明书及实践这里申请的发明后,将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本说明书的真正范围和精神由下面的权利要求指出。
应当理解的是,本说明书并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。
以上所述仅为本说明书的较佳实施例而已,并不用以限制本说明书,凡在本说明书的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本说明书保护的范围之内。
Claims (10)
1.一种数据服务系统,所述数据服务系统向数据使用方提供有对应数据服务模块的接口,所述数据服务系统包括:
一个或多个数据服务模块,所述数据服务模块用于:在对应接口被所述数据使用方调用后,从一个或多个业务数据库中获取业务数据,并基于一个或多个数据指标的设定运算方式,利用获取的业务数据计算所述一个或多个数据指标,将计算结果输出给所述数据使用方;
服务监控模块,用于:读取所述计算结果,获取所述数据服务模块的输出相关信息,进而判断数据服务模块是否异常运行;
数据质量监控模块,用于:从所述计算结果中查找设定监控指标,将所述设定监控指标与设定异常条件匹配,进而判断数据服务模块是否异常运行;
告警模块,用于:根据所述服务监控模块的判断结果和/或所述数据质量校验模块的判断结果确定是否告警。
2.根据权利要求1所述的数据服务系统,所述设定运算方式有多种类型,每种所述设定运算方式对应有运算模板程序;所述调用请求至少包括:一个或多个数据指标,以及与每个所述数据指标对应的数据源参数;
所述数据服务模块具体用于:针对调用请求中的每个数据指标,执行如下处理:根据对应的数据源参数从一个或多个业务数据库中获取业务数据,确定该数据指标的设定运算方式对应的运算模板程序,将所述获取的业务数据作为所述运算模板程序的输入参数,由所述运算模板程序利用所述业务数据计算出该数据指标。
3.根据权利要求1所述的数据服务系统,所述输出相关信息包括:指示计算成功或计算失败的信息,和/或数据服务模块从对应接口被调用至输出计算结果的耗时信息。
4.根据权利要求1所述的数据服务系统,所述异常条件基于历史正常业务数据确定的数据指标正常范围而确定。
5.根据权利要求1或4所述的数据服务系统,所述异常条件包括:
设定监控指标不在设定正常范围内、设定监控指标的环比波动值不在设定正常范围内、设定监控指标的同比波动值不在设定正常范围内。
6.根据权利要求1所述的数据服务系统,所述告警模块,还用于:
若确定所述数据服务模块异常运行,按照设定告警方式,向发生异常的数据服务模块对应的告警接收方执行告警。
7.根据权利要求1所述的数据服务系统,还包括:信息接收模块,用于:
提供用户配置界面,通过所述用户配置界面接收如下一种或多种信息:
所述设定监控指标、所述异常条件、所述告警接收方或告警方式信息。
8.根据权利要求1所述的数据服务系统,还包括统计分析模块,用于:
获取所述数据服务模块从对应接口被调用至输出结果之间的明细信息,将所述明细信息记录于日志中;
根据设定周期,利用所述日志中的明细信息获取统计数据。
9.一种数据服务方法,应用于数据服务系统,所述数据服务系统向数据使用方提供有对应数据服务模块的接口,所述方法包括:
在获取到针对数据服务模块的接口的调用请求后,调用所述数据服务模块,通过所述数据服务模块从一个或多个业务数据库中获取业务数据,并基于一个或多个数据指标的设定运算方式,利用获取的业务数据计算所述一个或多个数据指标,将计算结果输出给所述数据使用方;
读取所述计算结果,获取所述数据服务模块的输出相关信息,进而判断数据服务模块是否异常运行;
从所述计算结果中查找设定监控指标,将所述设定监控指标与设定异常条件匹配,进而判断数据服务模块是否异常运行;
根据所述服务监控模块的判断结果和/或所述数据质量校验模块的判断结果确定是否告警。
10.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述程序时实现如权利要求9所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811610087.9A CN109766370A (zh) | 2018-12-27 | 2018-12-27 | 数据处理方法、数据服务系统及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811610087.9A CN109766370A (zh) | 2018-12-27 | 2018-12-27 | 数据处理方法、数据服务系统及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109766370A true CN109766370A (zh) | 2019-05-17 |
Family
ID=66452066
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811610087.9A Pending CN109766370A (zh) | 2018-12-27 | 2018-12-27 | 数据处理方法、数据服务系统及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109766370A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110309125A (zh) * | 2019-06-24 | 2019-10-08 | 招商局金融科技有限公司 | 数据校验方法、电子装置及存储介质 |
CN110471910A (zh) * | 2019-07-15 | 2019-11-19 | 联动优势科技有限公司 | 一种数据质量报警方法、装置及设备 |
CN111209100A (zh) * | 2020-01-03 | 2020-05-29 | 光大兴陇信托有限责任公司 | 一种业务处理和数据源确定方法 |
WO2021248754A1 (zh) * | 2020-06-09 | 2021-12-16 | 北京旷视科技有限公司 | 一种系统测试方法、装置、存储介质及电子设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101609610A (zh) * | 2009-07-17 | 2009-12-23 | 中国民航大学 | 一种航班信息数据采集器及其处理方法 |
CN104240070A (zh) * | 2014-09-15 | 2014-12-24 | 国家电网公司 | 一种数据发布服务系统和方法 |
CN104991939A (zh) * | 2015-07-08 | 2015-10-21 | 携程计算机技术(上海)有限公司 | 业务数据监控方法和系统 |
WO2016053231A1 (en) * | 2014-09-29 | 2016-04-07 | Hewlett Packard Enterprise Development Lp | Retain data above threshold |
CN105573892A (zh) * | 2015-12-21 | 2016-05-11 | 农信银资金清算中心有限责任公司 | 业务数据跑批方法和系统 |
CN105808348A (zh) * | 2016-03-01 | 2016-07-27 | 浪潮软件股份有限公司 | 一种数据服务调度装置、系统和方法 |
CN107092544A (zh) * | 2016-05-24 | 2017-08-25 | 口碑控股有限公司 | 监控方法及装置 |
-
2018
- 2018-12-27 CN CN201811610087.9A patent/CN109766370A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101609610A (zh) * | 2009-07-17 | 2009-12-23 | 中国民航大学 | 一种航班信息数据采集器及其处理方法 |
CN104240070A (zh) * | 2014-09-15 | 2014-12-24 | 国家电网公司 | 一种数据发布服务系统和方法 |
WO2016053231A1 (en) * | 2014-09-29 | 2016-04-07 | Hewlett Packard Enterprise Development Lp | Retain data above threshold |
CN104991939A (zh) * | 2015-07-08 | 2015-10-21 | 携程计算机技术(上海)有限公司 | 业务数据监控方法和系统 |
CN105573892A (zh) * | 2015-12-21 | 2016-05-11 | 农信银资金清算中心有限责任公司 | 业务数据跑批方法和系统 |
CN105808348A (zh) * | 2016-03-01 | 2016-07-27 | 浪潮软件股份有限公司 | 一种数据服务调度装置、系统和方法 |
CN107092544A (zh) * | 2016-05-24 | 2017-08-25 | 口碑控股有限公司 | 监控方法及装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110309125A (zh) * | 2019-06-24 | 2019-10-08 | 招商局金融科技有限公司 | 数据校验方法、电子装置及存储介质 |
CN110309125B (zh) * | 2019-06-24 | 2021-09-21 | 招商局金融科技有限公司 | 数据校验方法、电子装置及存储介质 |
CN110471910A (zh) * | 2019-07-15 | 2019-11-19 | 联动优势科技有限公司 | 一种数据质量报警方法、装置及设备 |
CN111209100A (zh) * | 2020-01-03 | 2020-05-29 | 光大兴陇信托有限责任公司 | 一种业务处理和数据源确定方法 |
WO2021248754A1 (zh) * | 2020-06-09 | 2021-12-16 | 北京旷视科技有限公司 | 一种系统测试方法、装置、存储介质及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11886464B1 (en) | Triage model in service monitoring system | |
CN109766370A (zh) | 数据处理方法、数据服务系统及设备 | |
CN109844781A (zh) | 用于从日志文件识别处理流并使流可视化的系统和方法 | |
US11915248B2 (en) | Customer management system | |
US8938462B2 (en) | Adaptively assessing object relevance based on dynamic user properties | |
CN107248052A (zh) | 一种商品库存信息确定方法、装置及系统 | |
US20200012990A1 (en) | Systems and methods of network-based intelligent cyber-security | |
US20190318026A1 (en) | Resource condition correction using intelligently configured dashboard widgets | |
US20220174103A1 (en) | System and method for thought object sequencing in a communication environment | |
WO2019061664A1 (zh) | 电子装置、基于用户上网数据的产品推荐方法及存储介质 | |
US11789935B2 (en) | Data aggregation with microservices | |
CN111078980A (zh) | 基于征信大数据的管理方法、装置、设备及存储介质 | |
US11693579B2 (en) | Value-based replication of streaming data | |
US20150120367A1 (en) | Geospatially relevant supply chain optimization through a networked mobile device that leverages a distributed computing environment | |
CN110223167A (zh) | 生产交易协同监控方法以及生产交易关联监控方法 | |
CN108959493A (zh) | 指标异常波动的检测方法、装置及设备 | |
CN107480703B (zh) | 交易故障检测方法及装置 | |
CN112328575A (zh) | 数据资产血缘生成方法、装置、电子设备 | |
CN111159355A (zh) | 客户投诉单处理方法及装置 | |
CN108429632B (zh) | 一种业务监控方法和装置 | |
EP3278283A1 (en) | Tracking data flow in distributed computing systems | |
US11593406B2 (en) | Dynamic search parameter modification | |
US11386170B2 (en) | Search data curation and enrichment for deployed technology | |
CN114240201A (zh) | 一种基于供应链背景下的智慧数据中台 | |
CN112732415B (zh) | 基于资源交换代理系统的事务处理方法、装置和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190517 |