CN115794866A - 面向数据看板的数据服务方法、装置和电子设备 - Google Patents

面向数据看板的数据服务方法、装置和电子设备 Download PDF

Info

Publication number
CN115794866A
CN115794866A CN202211608076.3A CN202211608076A CN115794866A CN 115794866 A CN115794866 A CN 115794866A CN 202211608076 A CN202211608076 A CN 202211608076A CN 115794866 A CN115794866 A CN 115794866A
Authority
CN
China
Prior art keywords
data
query
index data
service
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211608076.3A
Other languages
English (en)
Inventor
陈宇
覃鹏
黎洪达
冯壮壮
钟昊文
杨莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
CCB Finetech Co Ltd
Original Assignee
China Construction Bank Corp
CCB Finetech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp, CCB Finetech Co Ltd filed Critical China Construction Bank Corp
Priority to CN202211608076.3A priority Critical patent/CN115794866A/zh
Publication of CN115794866A publication Critical patent/CN115794866A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开关于一种面向数据看板的数据服务方法、装置和电子设备,属于数据处理技术领域。其中,该方法包括:接收数据看板的客户端发送的服务请求信息,其中,服务请求信息中包括待调用的一个或多个目标数据服务的服务标识和目标数据服务对应的查询入参;根据服务标识,获取目标数据服务的配置信息;根据配置信息和查询入参,生成目标数据服务的查询语句;基于查询语句,查询得到目标数据服务对应的指标数据;向客户端反馈目标数据服务对应的指标数据。由此,可以将指标数据查询抽象为数据服务,支持软编码、可配置的数据服务方法,同时可以拓展查询不同数据源的指标数据以及聚合组装多个指标数据,提高了开发效率,节省了开发成本。

Description

面向数据看板的数据服务方法、装置和电子设备
技术领域
本公开涉及数据处理技术领域,尤其涉及一种面向数据看板的数据服务方法、装置和电子设备。
背景技术
目前看板图表设计复杂,且指标涉及不同数据源,针对不同的看板图表和数据源的指标,服务端需开发不同的接口服务查询不同的数据源指标,然后基于这些指标进行聚合组装,最后将组装后的数据返回给客户端,然而这种开发模式服务端需定制化开发交易,不同的图表聚合组装逻辑都不一样,开发效率低,不易拓展。
发明内容
本公开提供一种面向数据看板的数据服务方法、装置、电子设备、计算机可读存储介质和计算机程序产品,以至少解决相关技术中看板图表开发效率低,不易拓展的问题。
本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种面向数据看板的数据服务方法,包括:接收数据看板的客户端发送的服务请求信息,其中,所述服务请求信息中包括待调用的一个或多个目标数据服务的服务标识和所述目标数据服务对应的查询入参;根据所述服务标识,获取所述目标数据服务的配置信息;根据所述配置信息和所述查询入参,生成所述目标数据服务的查询语句;基于所述查询语句,查询得到所述目标数据服务对应的指标数据;向所述客户端反馈所述目标数据服务对应的指标数据。
在本公开的一个实施例中,所述向所述客户端反馈所述目标数据服务对应的指标数据,包括:在所述目标数据服务为多个时,对所有的目标数据服务对应的指标数据进行聚合,得到聚合后的多指标汇总数据;向所述客户端反馈所述多指标汇总数据。
在本公开的一个实施例中,所述对所有的目标数据服务的目标指标数据进行聚合,得到聚合后的多指标汇总数据,包括:对所述目标数据服务的指标数据进行对齐操作,得到所述目标数据服务的对齐指标数据;对所述对齐指标数据进行组合,得到所述多指标汇总数据。
在本公开的一个实施例中,所述对所述目标数据服务的指标数据进行对齐操作,得到所述目标数据服务的对齐指标数据,包括:确定每个指标数据对应的时间范围;根据所述时间范围对所述目标数据服务的指标数据进行取交集操作,得到所述对齐指标数据;或者,根据所述时间范围对所述目标数据服务的指标数据进行取并集操作,得到所述对齐指标数据;或者,从每个指标数据对应的时间范围中确定重合时间范围,并从所述重合时间范围中选取最新日期对应的指标数据,作为对齐指标数据。
在本公开的一个实施例中,所述向所述客户端反馈所述目标数据服务对应的指标数据,包括:确定多个指标数据中的关键指标数据,并对所述关键指标数据进行异常检测;确定所述关键指标数据未异常,并向所述客户端反馈所述指标数据。
在本公开的一个实施例中,所述方法还包括:若存在异常的关键指标数据,对所述异常的关键指标数据进行异常提醒。
在本公开的一个实施例中,所述对所述关键指标数据进行异常检测,包括:获取所述关键指标数据对应的历史关键指标数据;根据所述关键指标数据和所述历史关键指标数据进行对比,以判断所述关键指标数据是否满足数据异常条件;在满足所述数据异常条件时确定所述关键指标数据存在异常。
在本公开的一个实施例中,所述根据所述关键指标数据和所述历史关键指标数据进行对比,以判断所述关键指标数据是否满足数据异常条件,包括:构建所述历史指标数据的正态分布,并获取所述正态分布的标准差和平均值;获取所述关键指标数据与平均值的偏差,并根据所述偏差和所述标准差,判断所述关键指标数据是否满足数据异常条件。
在本公开的一个实施例中,所述根据所述关键指标数据和所述历史关键指标数据进行对比,以判断所述关键指标数据是否满足数据异常条件,包括:对所述关键指标数据和所述历史关键指标数据按照时间进行排序,并按序获取相邻指标数据之间的同比增长;根据所述同比增长,判断所述关键指标数据是否满足数据异常条件。
在本公开的一个实施例中,所述根据所述配置信息和所述查询入参,生成所述目标数据服务的查询语句,包括:根据所述配置信息,获取所述目标数据服务的查询数据源;根据所述配置信息,获取所述目标数据服务的查询语句模板;向所述查询语句模板中填入所述查询数据源和所述查询入参,生成所述查询语句。
在本公开的一个实施例中,所述接收数据看板的客户端发送的服务请求信息之后,还包括:从所述服务请求信息中提取所述查询入参,并对所述查询入参进行校验,得到符合查询要求的查询入参。
在本公开的一个实施例中,所述对所述查询入参进行校验,得到符合查询要求的查询入参,包括:对所述查询入参中的关键字进行查询,以筛除未符合SQL查询的异常关键字;从所述查询入参中获取符合查询需求的第一查询入参,并根据所述查询需求转换所述第一查询入参的格式,生成符合所述查询需求的第二查询入参。
根据本公开实施例的第二方面,提供一种面向数据看板的数据服务装置,包括:接收模块,被配置为接收数据看板的客户端发送的服务请求信息,其中,所述服务请求信息中包括待调用的一个或多个目标数据服务的服务标识和所述目标数据服务对应的查询入参;获取模块,被配置为根据所述服务标识,获取所述目标数据服务的配置信息;生成模块,被配置为根据所述配置信息和所述查询入参,生成所述目标数据服务的查询语句;查询模块,被配置为基于所述查询语句,查询得到所述目标数据服务对应的指标数据;反馈模块,被配置为向所述客户端反馈所述目标数据服务对应的指标数据。
在本公开的一个实施例中,所述反馈模块,还被配置为:在所述目标数据服务为多个时,对所有的目标数据服务对应的指标数据进行聚合,得到聚合后的多指标汇总数据;向所述客户端反馈所述多指标汇总数据。
在本公开的一个实施例中,所述反馈模块,还被配置为:对所述目标数据服务的指标数据进行对齐操作,得到所述目标数据服务的对齐指标数据;
对所述对齐指标数据进行组合,得到所述多指标汇总数据。
在本公开的一个实施例中,所述反馈模块,还被配置为:确定每个指标数据对应的时间范围;根据所述时间范围对所述目标数据服务的指标数据进行取交集操作,得到所述对齐指标数据;或者,根据所述时间范围对所述目标数据服务的指标数据进行取并集操作,得到所述对齐指标数据;或者,从每个指标数据对应的时间范围中确定重合时间范围,并从所述重合时间范围中选取最新日期对应的指标数据,作为对齐指标数据。
在本公开的一个实施例中,所述反馈模块,还被配置为:确定多个指标数据中的关键指标数据,并对所述关键指标数据进行异常检测;确定所述关键指标数据未异常,并向所述客户端反馈所述指标数据。
在本公开的一个实施例中,所述装置,还被配置为:若存在异常的关键指标数据,对所述异常的关键指标数据进行异常提醒。
在本公开的一个实施例中,所述装置,还被配置为:获取所述关键指标数据对应的历史关键指标数据;根据所述关键指标数据和所述历史关键指标数据进行对比,以判断所述关键指标数据是否满足数据异常条件;在满足所述数据异常条件时确定所述关键指标数据存在异常。
在本公开的一个实施例中,所述装置,还被配置为:构建所述历史指标数据的正态分布,并获取所述正态分布的标准差和平均值;获取所述关键指标数据与平均值的偏差,并根据所述偏差和所述标准差,判断所述关键指标数据是否满足数据异常条件。
在本公开的一个实施例中,所述装置,还被配置为:对所述关键指标数据和所述历史关键指标数据按照时间进行排序,并按序获取相邻指标数据之间的同比增长;根据所述同比增长,判断所述关键指标数据是否满足数据异常条件。
在本公开的一个实施例中,所述装置,还被配置为:对所述关键指标数据和所述历史关键指标数据按照时间进行排序,并按序获取相邻指标数据之间的同比增长;根据所述同比增长,判断所述关键指标数据是否满足数据异常条件。
在本公开的一个实施例中,所述接收数据看板的客户端发送的服务请求信息之后,所述装置,还被配置为:从所述服务请求信息中提取所述查询入参,并对所述查询入参进行校验,得到符合查询要求的查询入参。
在本公开的一个实施例中,所述装置,还被配置为:对所述查询入参中的关键字进行查询,以筛除未符合SQL查询的异常关键字;从所述查询入参中获取符合查询需求的第一查询入参,并根据所述查询需求转换所述第一查询入参的格式,生成符合所述查询需求的第二查询入参。
根据本公开实施例的第三方面,提供一种电子设备,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现第一方面所述的面向数据看板的数据服务方法。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行第一方面所述的面向数据看板的数据服务方法。
根据本公开实施例的第五方面,提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现第一方面所述的面向数据看板的数据服务方法。
本公开的实施例提供的技术方案至少带来以下有益效果:接收数据看板的客户端发送的服务请求信息,其中,服务请求信息中包括待调用的一个或多个目标数据服务的服务标识和目标数据服务对应的查询入参;根据服务标识,获取目标数据服务的配置信息;根据配置信息和查询入参,生成目标数据服务的查询语句;基于查询语句,查询得到目标数据服务对应的指标数据;向客户端反馈目标数据服务对应的指标数据。由此,本公开提供的面向数据看板的数据服务方法,可以将指标数据查询抽象为数据服务,持软编码、可配置的数据服务方法,同时可以拓展查询不同数据源的指标数据以及聚合组装多个指标数据,提高了开发效率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据本公开第一实施例的面向数据看板的数据服务方法的流程示意图。
图2是根据本公开第二实施例的面向数据看板的数据服务方法的流程示意图。
图3是根据本公开第三实施例的面向数据看板的数据服务方法的流程示意图。
图4是根据本公开第四实施例的面向数据看板的数据服务方法的流程示意图。
图5是根据本公开第五实施例的面向数据看板的数据服务方法的流程示意图。
图6是根据本公开第六实施例的面向数据看板的数据服务方法的流程示意图。
图7是根据本公开提供的一种面向数据看板的数据服务方法的流程示意图。
图8是根据本公开第一实施例的面向数据看板的数据服务装置的框图。
图9是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是,本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
图1是根据本公开第一实施例的面向数据看板的数据服务方法的流程示意图。
如图1所示,本公开第一实施例的面向数据看板的数据服务方法,,包括以下步骤:
在步骤S101中,接收数据看板的客户端发送的服务请求信息,其中,服务请求信息中包括待调用的一个或多个目标数据服务的服务标识和目标数据服务对应的查询入参。
需要说明的是,本公开对于客户端的设置不作限定,可以根据实际情况进行选取。
可选地,客户端可以为手机、电脑等。
需要说明是,目标数据服务对应的查询入参可以预先进行配置。例如:查询条件、查询范围等。
举例而言,针对金融领域,目标数据服务可以为访问次数_手机银行、访问人数_手机银行、月活用户数_手机银行,目标数据服务对应的查询入参可以为日期等。
在步骤S102中,根据服务标识,获取目标数据服务的配置信息。
在本公开实施例中,在获取到服务标识后,可以根据服务标识,获取目标数据服务的配置信息。
举例而言,目标数据服务的配置信息可以为目标数据服务的标识(Identitydocument,简称ID)、目标数据服务的名称(name)、目标数据服务的数据源、结构化查询语言(Structured Query Language,简称SQL)语句。
可选地,目标数据服务的数据源可以为elaticsearch、Oracle等,也可以拓展其他数据源,本公开不作限定。
可选地,SQL查询语句可以支持json类型。
在步骤S103中,根据配置信息和查询入参,生成目标数据服务的查询语句。
需要说明的是,本公开对于根据配置信息和查询入参,生成目标数据服务的查询语句的具体方式不作限定,可以根据实际情况进行选取。
可选地,可以根据配置信息,获取目标数据服务的查询数据源根据配置信息,获取目标数据服务的查询语句模板,向查询语句模板中填入查询数据源和查询入参,生成查询语句。
可选地,查询语句模板可以包括表名、查询方式、查询入参等。
在步骤S104中,基于查询语句,查询得到目标数据服务对应的指标数据。
举例而言,在获取到查询语句后,对查询语句和查询入参进行解析,进而执行查询语句,以查询得到目标数据服务对应的指标数据。
在步骤S105中,向客户端反馈目标数据服务对应的指标数据。
需要说明的是,当目标数据服务存在多个时,可以对所有的目标数据服务对应的指标数据进行聚合,得到聚合后的多指标汇总数据,向客户端反馈多指标汇总数据。
举例而言,当存在目标数据服务A,目标数据服务A对应的指标数据为a,当存在目标数据服务B,目标数据服务B对应的指标数据为b时,可以将a和b进行聚合,获取多指标汇总数据,并向客户端反馈多指标汇总数据。
根据本公开实施例提供的面向数据看板的数据服务方法,接收数据看板的客户端发送的服务请求信息,其中,服务请求信息中包括待调用的一个或多个目标数据服务的服务标识和目标数据服务对应的查询入参,根据服务标识,获取目标数据服务的配置信息,根据配置信息和查询入参,生成目标数据服务的查询语句,基于查询语句,查询得到目标数据服务对应的指标数据,向客户端反馈目标数据服务对应的指标数据。由此,可以将指标数据查询抽象为数据服务,支持软编码、可配置的数据服务方法,同时可以拓展查询不同数据源的指标数据以及聚合组装多个指标数据,提高了开发效率。
图2是根据本公开第二实施例的面向数据看板的数据服务方法的流程示意图。
如图2所示,本公开第二实施例的面向数据看板的数据服务方法,包括以下步骤:
在步骤S201中,接收数据看板的客户端发送的服务请求信息,其中,服务请求信息中包括待调用的一个或多个目标数据服务的服务标识和目标数据服务对应的查询入参。
步骤S201的相关内容可参见上述实施例,这里不再赘述。
在步骤S202中,从服务请求信息中提取查询入参,并对查询入参进行校验,得到符合查询要求的查询入参。
可选地,对查询入参中的关键字进行查询,以筛除未符合SQL查询的异常关键字,从查询入参中获取符合查询需求的第一查询入参,并根据查询需求转换第一查询入参的格式,生成符合查询需求的第二查询入参。
举例而言,查询入参的异常关键字可以为delete、update、insert、alter、drop、truncate等异常关键字。
可选地,可以对查询入参的特殊字符进行检查,并筛除未符合SQL查询的特殊字符。例如:空格、单引号、大于、小于等字符。
可选地,可以对查询入参的函数进行检查,并筛除未符合SQL查询的函数。例如:sleep、user、database、version等函数。
需要说明的是,本公开可以预先设置转换规则,进而根据转换规则和查询需求转换第一查询入参的格式,生成符合查询需求的第二查询入参。
可选地,当第一入参为当天,可以根据转换规则1D_YYYYMMDD,生成符合查询需求的第二查询入参,例如:当天为2000.01.01,根据转换规则可以转换为开始时间2000.01.01,结束时间2000.01.01;可选地,当第一入参为近七天,可以根据转换规则7D_YYYYMMDD,生成符合查询需求的第二查询入参,例如:当天为2000.01.01,根据转换规则可以转换为开始时间2000.01.01,结束时间2000.01.08;可选地,当第一入参为近六月,可以根据转换规则6M_YYYYMM,生成符合查询需求的第二查询入参,例如:当月为2000.01,根据转换规则可以转换为开始时间2000.01,结束时间为2000.07;可选地,当第一入参为近三年,可以根据转换规则3Y_YYYY,生成符合查询需求的第二查询入参,例如:当年为2000,根据转换规则可以转换为开始时间2000,结束时间为2003。
在步骤S203中,根据服务标识,获取目标数据服务的配置信息。
在步骤S204中,根据配置信息和查询入参,生成目标数据服务的查询语句。
在步骤S205中,基于查询语句,查询得到目标数据服务对应的指标数据。
步骤S203-S205的相关内容可参见上述实施例,这里不再赘述。
在步骤S206中,在目标数据服务为多个时,对所有的目标数据服务对应的指标数据进行聚合,得到聚合后的多指标汇总数据。
作为一种可能实现的方式,如图3所示,在上述实施里的基础上,上述在步骤S206中在目标数据服务为多个时,对所有的目标数据服务对应的指标数据进行聚合,得到聚合后的多指标汇总数据的具体过程包括以下步骤:
在步骤S301中,对目标数据服务的指标数据进行对齐操作,得到目标数据服务的对齐指标数据。
可选地,可以确定每个指标数据对应的时间范围,根据时间范围对目标数据服务的指标数据进行取交集操作,得到对齐指标数据;可选地,可以根据时间范围对目标数据服务的指标数据进行取并集操作,得到对齐指标数据;可选地,可以从每个指标数据对应的时间范围中确定重合时间范围,并从重合时间范围中选取最新日期对应的指标数据,作为对齐指标数据。
在步骤S302中,对对齐指标数据进行组合,得到多指标汇总数据。
在本申请实施例中,在获取到对齐指标数据受,可以对对齐指标数据进行组合,得到多指标汇总数据。
在步骤S207中,向客户端反馈多指标汇总数据。
可选地,在向客户端反馈多指标汇总数据后,可以根据面向数据看板的展示类型,例如:图表、柱状图、折线图等类型,对多指标汇总数据进行渲染。
需要说明的是,为了提高向客户端反馈目标数据服务对应的指标数据的准确性,可以判断多个指标数据中是否有关键指标数据,在确定有关键指标数据时,可以对关键指标数据进行异常检测,确定关键指标数据未异常,则向客户端反馈指标数据。
作为一种可能实现的方式,如图4所示,在上述实施里的基础上,向客户端反馈目标数据服务对应的指标数据的具体过程包括以下步骤:
在步骤S401中,确定多个指标数据中的关键指标数据,并对关键指标数据进行异常检测。
需要说明的是,在确定多个指标数据中的关键指标数据时,可以根据用户的关注度高低,进行确定多个指标数据中的关键指标数据。
可选地,还可以根据用户的关注度高低,进行确定多个指标数据中的非关键指标数据、中度关键指标数据。
作为一种可能实现的方式,如图5所示,在上述实施里的基础上,上述在步骤S401中对关键指标数据进行异常检测的具体过程包括以下步骤:
在步骤S501中,获取关键指标数据对应的历史关键指标数据。
在步骤S502中,根据关键指标数据和历史关键指标数据进行对比,以判断关键指标数据是否满足数据异常条件。
作为一种可能实现的方式,如图6所示,在上述实施里的基础上,上述在步骤S502中根据关键指标数据和历史关键指标数据进行对比,以判断关键指标数据是否满足数据异常条件的具体过程包括以下步骤:
在步骤S601中,构建历史指标数据的正态分布,并获取正态分布的标准差和平均值。
可选地,可以根据正态分布公式,进行获取正态分布的标准差和平均值。
需要说明的是,在构建历史指标数据的正态分布时,可以从普通日期中选取近1年的历史关键指标数据,例如特殊日期为法定节假日、周末,休息日等。
需要说明的是,在构建历史指标数据的正态分布时,可以从特殊日期中选取100个休息日的历史关键指标数据,例如特殊日期为法定节假日、周末,休息日等。
在步骤S602中,获取关键指标数据与平均值的偏差,并根据偏差和标准差,判断关键指标数据是否满足数据异常条件。
可选地,可以设置数据异常条件为偏差和标准差之间是否超过5倍。
可选地,在根据关键指标数据和历史关键指标数据进行对比,以判断关键指标数据是否满足数据异常条件,可以对关键指标数据和历史关键指标数据按照时间进行排序,并按序获取相邻指标数据之间的同比增长,根据同比增长,判断关键指标数据是否满足数据异常条件。
可选地,可以设置数据异常条件为同比增长异常。
举例而言,可以自定义6.18、11.11等特殊日期,可以取近5年特殊日期的历史关键指标数据,并按序计算相邻指标数据之间的同比增长。
需要说明的是,在判断关键指标数据是否满足数据异常条件时,可以支持自定义日期和数据异常的检查规则,可以根据预设日期的数据和检查规则,进行检查数据的准确率。其中,预设日期可以为工资发放日、活动日等。
在步骤S603中,在满足数据异常条件时确定关键指标数据存在异常。
举例而言,在满足偏差和标准差之间超过5倍或同比增长异常时等任一条件时,可以确定关键指标数据存在异常。
在步骤S402中,确定关键指标数据未异常,并向客户端反馈指标数据。
可选地,若存在异常的关键指标数据,对异常的关键指标数据进行异常提醒。
根据本公开实施例提供的面向数据看板的数据服务方法,通过简单的配置,可以通过软编码的方式,完成面向数据看板的复杂多样的查询和组装需求,对比常规得定制化开发的方式,本公开可以从面向数据看板的多指标数据查询和组装逻辑中抽离出来,提高了开发效率、降低了开发成本,同时可以横向拓展,不局限于数据查询,可以确定多个指标数据中的关键指标数据,并判断关键指标数据是否满足数据异常条件,即可以在数据查询完成后,进入数据检查通知机制,检查数据的准确率,可以支持异步检查数据通知机制,提高了向客户端反馈目标数据服务对应的指标数据的准确性。
下面对本公开提供的面向数据看板的数据服务的方法进行解释说明。
举例而言,如图7所示,针对客户端为手机时,接收客户端发送的服务请求信息,其中,服务请求信息中包括调用的一个或多个目标数据服务的服务标识和目标数据服务对应的查询入参,数据服务开始后,对查询入参(入参)进行校验,即对查询入参校验配置,即可以对SQL查询语句注入检查,例如:对SQL查询语句中的关键字、特殊字符和函数进行检查,对查询入参根据预设转换规则进行参数转换,即将查询参数中的1D、7D、6M、3Y等按照预设转换规则转换为从开始时间到结束时间,在对查询入参进行校验完成后,可以获取数据服务,即对数据服务进行配置,例如:配置数据服务ID、数据服务名称name、数据源datasource,数据查询语句sql_content等,进一步,可以通过查询数据层进行查询数据,即解析数据查询语句sql_content和经过入参校验的查询参数,进行执行数据查询语句得到数据服务对应的指标数据,可选地,当存在多个数据服务时,可以并行执行查询语句,以获取多个目标数据服务对应的指标数据,进一步,可以对指标数据进行处理,可以对聚合组装数据进行配置,即可以进行纬度对齐和出参转换,例如可以将指标纬度数据转换为具体纬度数据,可以根据时间范围对目标数据服务的指标数据进行取并集或交集操作,并从每个指标数据对应的时间范围中确定重合时间范围,并从重合时间范围中选取最新日期对应的指标数据,以对聚合组装指标数据进行配置,进一步,可以判断多个指标数据中是否有关键指标数据(重要指标数据),若存在关键指标数据则确定需要创建数据检查任务,则将指标数据检查任务提交给线程池异步执行,并结合历史指标数据和预设的数据异常条件,以提高目标数据服务对应的指标数据的准确率。
综上所述,本公开实施例提供的面向数据看板的数据服务方法,通过简单的配置,可以通过软编码的方式,完成面向数据看板的复杂多样的查询和组装需求,对比常规得定制化开发的方式,本公开可以从面向数据看板的多指标数据查询和组装逻辑中抽离出来,提高了开发效率、降低了开发成本,同时可以横向拓展,不局限于数据查询,可以确定多个指标数据中的关键指标数据,并判断关键指标数据是否满足数据异常条件,即可以在数据查询完成后,进入数据检查通知机制,检查数据的准确率,可以支持异步检查数据通知机制,提高了向客户端反馈目标数据服务对应的指标数据的准确性。
图8为根据本公开第一实施例的面向数据看板的数据服务装置的框图。
如图8所示,本公开实施例的面向数据看板的数据服务装置800,包括:接收模块801、获取模块802、查询模块803和反馈模块804。
接收模块801,被配置为接收数据看板的客户端发送的服务请求信息,其中,所述服务请求信息中包括待调用的一个或多个目标数据服务的服务标识和所述目标数据服务对应的查询入参;
获取模块802,被配置为根据所述服务标识,获取所述目标数据服务的配置信息;生成模块,被配置为根据所述配置信息和所述查询入参,生成所述目标数据服务的查询语句;
查询模块803,被配置为基于所述查询语句,查询得到所述目标数据服务对应的指标数据;
反馈模块804,被配置为向所述客户端反馈所述目标数据服务对应的指标数据。
在本公开的一个实施例中,所述反馈模块804,还被配置为:在所述目标数据服务为多个时,对所有的目标数据服务对应的指标数据进行聚合,得到聚合后的多指标汇总数据;向所述客户端反馈所述多指标汇总数据。
在本公开的一个实施例中,所述反馈模块804,还被配置为:对所述目标数据服务的指标数据进行对齐操作,得到所述目标数据服务的对齐指标数据;对所述对齐指标数据进行组合,得到所述多指标汇总数据。
在本公开的一个实施例中,所述反馈模块804,还被配置为:确定每个指标数据对应的时间范围;根据所述时间范围对所述目标数据服务的指标数据进行取交集操作,得到所述对齐指标数据;或者,根据所述时间范围对所述目标数据服务的指标数据进行取并集操作,得到所述对齐指标数据;或者,从每个指标数据对应的时间范围中确定重合时间范围,并从所述重合时间范围中选取最新日期对应的指标数据,作为对齐指标数据。
在本公开的一个实施例中,所述反馈模块804,还被配置为:确定多个指标数据中的关键指标数据,并对所述关键指标数据进行异常检测;确定所述关键指标数据未异常,并向所述客户端反馈所述指标数据。
在本公开的一个实施例中,所述装置800,还被配置为:若存在异常的关键指标数据,对所述异常的关键指标数据进行异常提醒。
在本公开的一个实施例中,所述装置800,还被配置为:获取所述关键指标数据对应的历史关键指标数据;根据所述关键指标数据和所述历史关键指标数据进行对比,以判断所述关键指标数据是否满足数据异常条件;在满足所述数据异常条件时确定所述关键指标数据存在异常。
在本公开的一个实施例中,所述装置800,还被配置为:构建所述历史指标数据的正态分布,并获取所述正态分布的标准差和平均值;获取所述关键指标数据与平均值的偏差,并根据所述偏差和所述标准差,判断所述关键指标数据是否满足数据异常条件。
在本公开的一个实施例中,所述装置800,还被配置为:对所述关键指标数据和所述历史关键指标数据按照时间进行排序,并按序获取相邻指标数据之间的同比增长;根据所述同比增长,判断所述关键指标数据是否满足数据异常条件。
在本公开的一个实施例中,所述装置800,还被配置为:对所述关键指标数据和所述历史关键指标数据按照时间进行排序,并按序获取相邻指标数据之间的同比增长;根据所述同比增长,判断所述关键指标数据是否满足数据异常条件。
在本公开的一个实施例中,所述接收数据看板的客户端发送的服务请求信息之后,所述装置800,还被配置为:从所述服务请求信息中提取所述查询入参,并对所述查询入参进行校验,得到符合查询要求的查询入参。
在本公开的一个实施例中,所述装置800,还被配置为:对所述查询入参中的关键字进行查询,以筛除未符合SQL查询的异常关键字;从所述查询入参中获取符合查询需求的第一查询入参,并根据所述查询需求转换所述第一查询入参的格式,生成符合所述查询需求的第二查询入参。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
综上,本公开实施例提供的面向数据看板的数据服务装置,通过接收数据看板的客户端发送的服务请求信息,其中,服务请求信息中包括待调用的一个或多个目标数据服务的服务标识和目标数据服务对应的查询入参,根据服务标识,获取目标数据服务的配置信息,根据配置信息和查询入参,生成目标数据服务的查询语句,基于查询语句,查询得到目标数据服务对应的指标数据,向客户端反馈目标数据服务对应的指标数据。由此,可以将指标数据查询抽象为数据服务,持软编码、可配置的数据服务方法,同时可以拓展查询不同数据源的指标数据以及聚合组装多个指标数据,提高了开发效率。
图9是根据一示例性实施例示出的一种电子设备的框图。
如图9所示,上述电子设备900包括:
存储器910及处理器920,连接不同组件(包括存储器910和处理器920)的总线930,存储器910存储有计算机程序,当处理器920执行所述程序时实现本公开第一方面所述的面向数据看板的数据服务方法。
总线930表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备900典型地包括多种电子设备可读介质。这些介质可以是任何能够被电子设备900访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储器910还可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)940和/或高速缓存存储器950。电子设备900可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统960可以用于读写不可移动的、非易失性磁介质(图9未显示,通常称为“硬盘驱动器”)。尽管图9中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线930相连。存储器910可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本公开各实施例的功能。
具有一组(至少一个)程序模块970的程序/实用工具980,可以存储在例如存储器910中,这样的程序模块970包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块970通常执行本公开所描述的实施例中的功能和/或方法。
电子设备900也可以与一个或多个外部设备990(例如键盘、指向设备、显示器991等)通信,还可与一个或者多个使得用户能与该电子设备900交互的设备通信,和/或与使得该电子设备900能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口992进行。并且,电子设备900还可以通过网络适配器993与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图9所示,网络适配器993通过总线930与电子设备900的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备900使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器920通过运行存储在存储器910中的程序,从而执行各种功能应用以及数据处理。
需要说明的是,本实施例的电子设备的实施过程和技术原理参见前述对本公开实施例的面向数据看板的数据服务方法的解释说明,此处不再赘述。
综上,本公开实施例提供的电子设备,可以执行如前所述的面向数据看板的数据服务方法,通过接收数据看板的客户端发送的服务请求信息,其中,服务请求信息中包括待调用的一个或多个目标数据服务的服务标识和目标数据服务对应的查询入参,根据服务标识,获取目标数据服务的配置信息,根据配置信息和查询入参,生成目标数据服务的查询语句,基于查询语句,查询得到目标数据服务对应的指标数据,向客户端反馈目标数据服务对应的指标数据。由此,可以将指标数据查询抽象为数据服务,持软编码、可配置的数据服务方法,同时可以拓展查询不同数据源的指标数据以及聚合组装多个指标数据,提高了开发效率。
为了实现上述实施例,本公开还提出一种计算机可读存储介质。
其中,该计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如前所述的面向数据看板的数据服务方法。可选的,计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
为了实现上述实施例,本公开还提供一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现第一方面所述的面向数据看板的数据服务方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (27)

1.一种面向数据看板的数据服务方法,其特征在于,包括:
接收数据看板的客户端发送的服务请求信息,其中,所述服务请求信息中包括待调用的一个或多个目标数据服务的服务标识和所述目标数据服务对应的查询入参;
根据所述服务标识,获取所述目标数据服务的配置信息;
根据所述配置信息和所述查询入参,生成所述目标数据服务的查询语句;
基于所述查询语句,查询得到所述目标数据服务对应的指标数据;
向所述客户端反馈所述目标数据服务对应的指标数据。
2.根据权利要求1所述的方法,其特征在于,所述向所述客户端反馈所述目标数据服务对应的指标数据,包括:
在所述目标数据服务为多个时,对所有的目标数据服务对应的指标数据进行聚合,得到聚合后的多指标汇总数据;
向所述客户端反馈所述多指标汇总数据。
3.根据权利要求2所述的方法,其特征在于,所述对所有的目标数据服务的目标指标数据进行聚合,得到聚合后的多指标汇总数据,包括:
对所述目标数据服务的指标数据进行对齐操作,得到所述目标数据服务的对齐指标数据;
对所述对齐指标数据进行组合,得到所述多指标汇总数据。
4.根据权利要求3所述的方法,其特征在于,所述对所述目标数据服务的指标数据进行对齐操作,得到所述目标数据服务的对齐指标数据,包括:
确定每个指标数据对应的时间范围;
根据所述时间范围对所述目标数据服务的指标数据进行取交集操作,得到所述对齐指标数据;或者,
根据所述时间范围对所述目标数据服务的指标数据进行取并集操作,得到所述对齐指标数据;或者,
从每个指标数据对应的时间范围中确定重合时间范围,并从所述重合时间范围中选取最新日期对应的指标数据,作为对齐指标数据。
5.根据权利要求1-4中任一项所述的方法,其特征在于,所述向所述客户端反馈所述目标数据服务对应的指标数据,包括:
确定多个指标数据中的关键指标数据,并对所述关键指标数据进行异常检测;
确定所述关键指标数据未异常,并向所述客户端反馈所述指标数据。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
若存在异常的关键指标数据,对所述异常的关键指标数据进行异常提醒。
7.根据权利要求5所述的方法,其特征在于,所述对所述关键指标数据进行异常检测,包括:
获取所述关键指标数据对应的历史关键指标数据;
根据所述关键指标数据和所述历史关键指标数据进行对比,以判断所述关键指标数据是否满足数据异常条件;
在满足所述数据异常条件时确定所述关键指标数据存在异常。
8.根据权利要求7所述的方法,其特征在于,所述根据所述关键指标数据和所述历史关键指标数据进行对比,以判断所述关键指标数据是否满足数据异常条件,包括:
构建所述历史指标数据的正态分布,并获取所述正态分布的标准差和平均值;
获取所述关键指标数据与平均值的偏差,并根据所述偏差和所述标准差,判断所述关键指标数据是否满足数据异常条件。
9.根据权利要求7所述的方法,其特征在于,所述根据所述关键指标数据和所述历史关键指标数据进行对比,以判断所述关键指标数据是否满足数据异常条件,包括:
对所述关键指标数据和所述历史关键指标数据按照时间进行排序,并按序获取相邻指标数据之间的同比增长;
根据所述同比增长,判断所述关键指标数据是否满足数据异常条件。
10.根据权利要求1-4中任一项所述的方法,其特征在于,所述根据所述配置信息和所述查询入参,生成所述目标数据服务的查询语句,包括:其特征在于,所述根据所述配置信息和所述查询入参,生成所述目标数据服务的查询语句,包括:
根据所述配置信息,获取所述目标数据服务的查询数据源;
根据所述配置信息,获取所述目标数据服务的查询语句模板;
向所述查询语句模板中填入所述查询数据源和所述查询入参,生成所述查询语句。
11.根据权利要求1-4中任一项所述的方法,其特征在于,所述接收数据看板的客户端发送的服务请求信息之后,还包括:
从所述服务请求信息中提取所述查询入参,并对所述查询入参进行校验,得到符合查询要求的查询入参。
12.根据权利要求11所述的方法,其特征在于,所述对所述查询入参进行校验,得到符合查询要求的查询入参,包括:
对所述查询入参中的关键字进行查询,以筛除未符合SQL查询的异常关键字;
从所述查询入参中获取符合查询需求的第一查询入参,并根据所述查询需求转换所述第一查询入参的格式,生成符合所述查询需求的第二查询入参。
13.一种面向数据看板的数据服务装置,其特征在于,包括:
接收模块,被配置为接收数据看板的客户端发送的服务请求信息,其中,所述服务请求信息中包括待调用的一个或多个目标数据服务的服务标识和所述目标数据服务对应的查询入参;
获取模块,被配置为根据所述服务标识,获取所述目标数据服务的配置信息;
生成模块,被配置为根据所述配置信息和所述查询入参,生成所述目标数据服务的查询语句;
查询模块,被配置为基于所述查询语句,查询得到所述目标数据服务对应的指标数据;
反馈模块,被配置为向所述客户端反馈所述目标数据服务对应的指标数据。
14.根据权利要求8所述的装置,其特征在于,所述反馈模块,还被配置为:
在所述目标数据服务为多个时,对所有的目标数据服务对应的指标数据进行聚合,得到聚合后的多指标汇总数据;
向所述客户端反馈所述多指标汇总数据。
15.根据权利要求14所述的装置,其特征在于,所述反馈模块,还被配置为:
对所述目标数据服务的指标数据进行对齐操作,得到所述目标数据服务的对齐指标数据;
对所述对齐指标数据进行组合,得到所述多指标汇总数据。
16.根据权利要求15所述的装置,其特征在于,所述反馈模块,还被配置为:
确定每个指标数据对应的时间范围;
根据所述时间范围对所述目标数据服务的指标数据进行取交集操作,得到所述对齐指标数据;或者,
根据所述时间范围对所述目标数据服务的指标数据进行取并集操作,得到所述对齐指标数据;或者,
从每个指标数据对应的时间范围中确定重合时间范围,并从所述重合时间范围中选取最新日期对应的指标数据,作为对齐指标数据。
17.根据权利要求13-16所述的装置,其特征在于,所述反馈模块,还被配置为:
确定多个指标数据中的关键指标数据,并对所述关键指标数据进行异常检测;
确定所述关键指标数据未异常,并向所述客户端反馈所述指标数据。
18.根据权利要求17所述的装置,其特征在于,所述装置,还被配置为:
若存在异常的关键指标数据,对所述异常的关键指标数据进行异常提醒。
19.根据权利要求17所述的装置,其特征在于,所述装置,还被配置为:
获取所述关键指标数据对应的历史关键指标数据;
根据所述关键指标数据和所述历史关键指标数据进行对比,以判断所述关键指标数据是否满足数据异常条件;
在满足所述数据异常条件时确定所述关键指标数据存在异常。
20.根据权利要求19所述的装置,其特征在于,所述装置,还被配置为:
构建所述历史指标数据的正态分布,并获取所述正态分布的标准差和平均值;
获取所述关键指标数据与平均值的偏差,并根据所述偏差和所述标准差,判断所述关键指标数据是否满足数据异常条件。
21.根据权利要求19所述的装置,其特征在于,所述装置,还被配置为:
对所述关键指标数据和所述历史关键指标数据按照时间进行排序,并按序获取相邻指标数据之间的同比增长;
根据所述同比增长,判断所述关键指标数据是否满足数据异常条件。
22.根据权利要求13-16任一项所述的装置,其特征在于,所述生成模块,还被配置为:
根据所述配置信息,获取所述目标数据服务的查询数据源;
根据所述配置信息,获取所述目标数据服务的查询语句模板;
向所述查询语句模板中填入所述查询数据源和所述查询入参,生成所述查询语句。
23.根据权利要求13-16任一项所述的装置,其特征在于,所述接收数据看板的客户端发送的服务请求信息之后,所述装置,还被配置为:
从所述服务请求信息中提取所述查询入参,并对所述查询入参进行校验,得到符合查询要求的查询入参。
24.根据权利要求23所述的装置,其特征在于,所述装置,还被配置为:
对所述查询入参中的关键字进行查询,以筛除未符合SQL查询的异常关键字;
从所述查询入参中获取符合查询需求的第一查询入参,并根据所述查询需求转换所述第一查询入参的格式,生成符合所述查询需求的第二查询入参。
25.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1-12中任一项所述的面向数据看板的数据服务方法。
26.一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如权利要求1-12中任一项所述的面向数据看板的数据服务方法。
27.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-12中任一项所述的面向数据看板的数据服务方法。
CN202211608076.3A 2022-12-14 2022-12-14 面向数据看板的数据服务方法、装置和电子设备 Pending CN115794866A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211608076.3A CN115794866A (zh) 2022-12-14 2022-12-14 面向数据看板的数据服务方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211608076.3A CN115794866A (zh) 2022-12-14 2022-12-14 面向数据看板的数据服务方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN115794866A true CN115794866A (zh) 2023-03-14

Family

ID=85419319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211608076.3A Pending CN115794866A (zh) 2022-12-14 2022-12-14 面向数据看板的数据服务方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN115794866A (zh)

Similar Documents

Publication Publication Date Title
CN108647357B (zh) 数据查询的方法及装置
CN111061833A (zh) 数据处理方法、装置、电子设备和计算机可读存储介质
US20100235296A1 (en) Flow comparison processing method and apparatus
CN111914135A (zh) 数据查询方法、装置、电子设备及存储介质
CN111177134B (zh) 适用于海量数据的数据质量分析方法、装置、终端及介质
CN113254457B (zh) 一种对账方法、系统及计算机可读存储介质
US20150339286A1 (en) Automatically generating certification documents
CN112783867A (zh) 为满足实时大数据业务需求的数据库优化方法及云服务器
CN113407548B (zh) 基于ClickHouse字典表的大数据查询方法、系统和介质
CN110502529B (zh) 数据处理方法、装置、服务器及存储介质
CN113010208A (zh) 一种版本信息的生成方法、装置、设备及存储介质
CN116303641B (zh) 一种支持多数据源可视化配置的实验室报告管理方法
CN116991871A (zh) 数据对比方法、装置、存储介质及计算机设备
CN115794866A (zh) 面向数据看板的数据服务方法、装置和电子设备
CN117036062A (zh) 一种结算资源计算方法及装置
CN107273293B (zh) 大数据系统性能测试方法、装置及电子设备
CN115495501A (zh) 一种现场审计数据处理系统及方法
CN112632115A (zh) 一种基于bi的数据查询方法及系统
CN110689326A (zh) 一种供应商信息审核推荐方法
CN114331654A (zh) 一种基于hive的页面配置对账系统和方法
CN118069701B (zh) 反向查询链路的构建方法、装置、计算机设备及存储介质
CN116226168A (zh) 一种用于宽表数据验证的方法及系统
CN117668011A (zh) Es日志比对方法、装置、设备及存储介质
CN117520269A (zh) 一种数据查询方法及装置
CN117688010A (zh) 一种数据表的质量监测方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination