CN111400356A - 数据查询方法、装置及设备 - Google Patents

数据查询方法、装置及设备 Download PDF

Info

Publication number
CN111400356A
CN111400356A CN202010497923.8A CN202010497923A CN111400356A CN 111400356 A CN111400356 A CN 111400356A CN 202010497923 A CN202010497923 A CN 202010497923A CN 111400356 A CN111400356 A CN 111400356A
Authority
CN
China
Prior art keywords
index
data
detail
target
caliber
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010497923.8A
Other languages
English (en)
Other versions
CN111400356B (zh
Inventor
贾骐玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Koubei Network Technology Co Ltd
Original Assignee
Zhejiang Koubei Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Koubei Network Technology Co Ltd filed Critical Zhejiang Koubei Network Technology Co Ltd
Priority to CN202010497923.8A priority Critical patent/CN111400356B/zh
Publication of CN111400356A publication Critical patent/CN111400356A/zh
Application granted granted Critical
Publication of CN111400356B publication Critical patent/CN111400356B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/248Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据查询方法、装置及设备,涉及数据处理技术领域。其中方法包括:首先配置目标指标所对应的指标口径,所述指标口径为至少一业务系统之间的统一口径;然后按照预置调度周期定时的根据所述指标口径,对数据库明细表中的对应明细数据进行加工,并根据得到的指标值更新数据资产表中对应的所述目标指标;在接收所述至少一业务系统中的业务系统发送的所述目标指标查询请求时,根据所述数据资产表中更新后的所述目标指标,确定指标查询结果。本申请不会造成不同业务系统查询同一指标数据时存在不同的问题,使得多方查询同一指标时保证数据一致,进而提高了多方指标数据查询的数据一致性。本申请适用于指标数据的查询处理。

Description

数据查询方法、装置及设备
技术领域
本申请涉及数据处理技术领域,尤其是涉及到一种数据查询方法、装置及设备。
背景技术
随着互联网技术的发展,网络用户增多,有时面临高峰值的数据和运营人员的高访问量,实时数据查询会面临资源压力和稳定性压力。
目前,传统的实时数据指标体系采用的是联机分析处理(Online AnalyticalProcessing ,OLAP)数据库明细表的方式提供给其他业务系统进行使用。然而,不同的业务系统在查询使用同一个数据指标的时候,是分别独立开发的,这样可能存在同一个指标口径不一致的情况,从而造成不同业务系统查询同一指标时存在不同的问题。并且这种分别独立开发的方式,也使得数据开发的成本比较高,难以复用。
发明内容
有鉴于此,本申请提供了一种数据查询方法、装置及设备,主要目的在于改善目前现有技术中会容易造成不同业务系统查询同一指标时存在不同,并且还会使得数据开发的成本比较高的技术问题。
依据本申请的一个方面,提供了一种数据查询方法,该方法包括:
配置目标指标所对应的指标口径,所述指标口径为至少一业务系统之间的统一口径;
按照预置调度周期定时的根据所述指标口径,对数据库明细表中的对应明细数据进行加工,并根据得到的指标值更新数据资产表中对应的所述目标指标;
接收所述至少一业务系统中的业务系统发送的所述目标指标查询请求;
根据所述数据资产表中更新后的所述目标指标,确定指标查询结果。
可选的,所述指标口径包括需要获取的数据范围,和计算逻辑信息;
所述按照预置调度周期定时的根据所述指标口径,对数据库明细表中的对应明细数据进行加工,并根据得到的指标值更新数据资产表中对应的所述目标指标,具体包括:
按照预置调度周期定时的根据所述需要获取的数据范围,从所述明细表中提取对应的明细数据;
根据所述计算逻辑信息,将提取的明细数据加工得到指标值并更新到所述数据资产表中。
可选的,所述预置调度周期包括第一预设时长调度周期和第二预设时长调度周期,所述第二预设时长调度周期是根据所述明细表中指标数据的统计时间间隔配置的,所述第二预设时长调度周期大于所述第一预设时长调度周期;
所述根据所述计算逻辑信息,将提取的明细数据加工得到指标值并更新到所述数据资产表中,具体包括:
获取按照所述第一预设时长调度周期提取的与所述目标指标对应的第一明细数据;及,
获取按照所述第二预设时长调度周期提取的与所述目标指标对应的第二明细数据;
根据所述第一明细数据和所述第二明细数据,确定所述目标指标在所述统计时间间隔内的指标值并更新到所述数据资产表中。
可选的,所述第一预设时长调度周期为分钟级调度周期,所述第二预设时长调度周期为天级调度周期;
所述根据所述第一明细数据和所述第二明细数据,确定所述目标指标在所述统计时间间隔内的指标值并更新到所述数据资产表中,具体包括:
根据所述第一明细数据,确定所述目标指标在目标天内的统计指标值;
若根据所述第二明细数据确定所述目标指标在与所述目标天对应下一天内存在跨天指标值,则参照所述跨天指标值对所述统计指标值进行修正,得到所述目标指标在所述目标天内的实际指标值并更新到所述数据资产表中。
可选的,所述根据所述数据资产表中更新后的所述目标指标,确定指标查询结果,具体包括:
从更新后的所述数据资产表中,获取与所述目标指标对应的数据表字段;
将获取到的数据表字段组装成预设格式作为指标查询结果。
可选的,在所述按照预置调度周期定时的根据所述指标口径,对数据库明细表中的对应明细数据进行加工之前,所述方法还包括:
实时接收业务库消息;
根据预定加工逻辑信息,将所述业务库消息处理后,实时插入到所述明细表中,以更新所述明细表中的明细数据。
可选的,所述方法还包括:
获取更新后的指标口径;
按照预置调度周期定时的根据所述更新后的指标口径,对数据库明细表中的对应明细数据进行加工,并根据得到的指标值更新数据资产表中对应的所述目标指标。
依据本申请的另一方面,提供了一种数据查询装置,该装置包括:
配置模块,用于配置目标指标所对应的指标口径,所述指标口径为至少一业务系统之间的统一口径;
更新模块,用于按照预置调度周期定时的根据所述指标口径,对数据库明细表中的对应明细数据进行加工,并根据得到的指标值更新数据资产表中对应的所述目标指标;
接收模块,用于接收所述至少一业务系统中的业务系统发送的所述目标指标查询请求;
发送模块,用于根据所述数据资产表中更新后的所述目标指标,确定指标查询结果。
可选的,所述指标口径包括需要获取的数据范围,和计算逻辑信息;
所述更新模块,具体用于按照预置调度周期定时的根据所述需要获取的数据范围,从所述明细表中提取对应的明细数据;根据所述计算逻辑信息,将提取的明细数据加工得到指标值并更新到所述数据资产表中。
可选的,所述预置调度周期包括第一预设时长调度周期和第二预设时长调度周期,所述第二预设时长调度周期是根据所述明细表中指标数据的统计时间间隔配置的,所述第二预设时长调度周期大于所述第一预设时长调度周期;
所述更新模块,具体还用于获取按照所述第一预设时长调度周期提取的与所述目标指标对应的第一明细数据;及,获取按照所述第二预设时长调度周期提取的与所述目标指标对应的第二明细数据;根据所述第一明细数据和所述第二明细数据,确定所述目标指标在所述统计时间间隔内的指标值并更新到所述数据资产表中。
可选的,所述第一预设时长调度周期为分钟级调度周期,所述第二预设时长调度周期为天级调度周期;
所述更新模块,具体还用于根据所述第一明细数据,确定所述目标指标在目标天内的统计指标值;若根据所述第二明细数据确定所述目标指标在与所述目标天对应下一天内存在跨天指标值,则参照所述跨天指标值对所述统计指标值进行修正,得到所述目标指标在所述目标天内的实际指标值并更新到所述数据资产表中。
可选的,所述发送模块,具体用于从更新后的所述数据资产表中,获取与所述目标指标对应的数据表字段;将获取到的数据表字段组装成预设格式作为指标查询结果。
可选的,所述接收模块,还用于实时接收业务库消息;
所述更新模块,还用于根据预定加工逻辑信息,将所述业务库消息处理后,实时插入到所述明细表中,以更新所述明细表中的明细数据。
可选的,所述接收模块,还用于获取更新后的指标口径;
所述更新模块,还用于按照预置调度周期定时的根据所述更新后的指标口径,对数据库明细表中的对应明细数据进行加工,并根据得到的指标值更新数据资产表中对应的所述目标指标。
依据本申请又一个方面,提供了一种存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述数据查询方法。
依据本申请再一个方面,提供了一种数据查询设备,包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述数据查询方法。
借由上述技术方案,本申请提供的一种数据查询方法、装置及设备,可根据业务需求预先配置同一指标的指标口径,该指标口径为至少一业务系统之间的统一口径,然后按照特定的调度周期定时的根据该指标口径,对数据库明细表中的对应明细数据进行加工更新,后续在接收到这些业务系统中任一系统发送的关于该指标的查询请求时,可直接根据明细表中加工更新后得到的该指标数据,确定查询结果。与目前现有技术相比,本申请由于前期已经使得同一指标的指标口径统一,后续不会造成不同业务系统查询同一指标时存在不同的问题,使得多方查询同一指标时保证数据一致,进而提高了多方指标数据查询的数据一致性。并且不需要分别独立开发每个业务系统对接使用数据指标,节省了数据开发的成本。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1示出了本申请实施例提供的一种数据查询方法的流程示意图;
图2示出了本申请实施例提供的另一种数据查询方法的流程示意图;
图3示出了本申请实施例提供的一种应用场景的实例结构示意图;
图4示出了本申请实施例提供的一种数据查询装置的结构示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本申请。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
针对目前现有技术中会容易造成不同业务系统查询同一指标时存在不同,并且还会使得数据开发的成本比较高的技术问题。本实施例提供了一种数据查询方法,如图1所示,该方法包括:
101、配置目标指标所对应的指标口径。
其中,配置的指标口径可为至少一业务系统之间的统一口径。指标是指根据确定的口径,对数据进行开发加工产出的结果。目标指标可为目标指标的相关数据,具体可根据实际业务内容需求进行确定。例如,目标指标可为目标业务的累计增加数量、累计减少数量、出现异常的次数、成功处理的数量等。指标口径可包含针对业务明细数据所需的数据范围和计算逻辑等。在本实施例中,首先确定这些业务系统在使用目标指标数据时所需的业务指标口径,然后进行相应的指标口径配置。
对于本实施例的执行主体可为指标数据查询处理的装置或设备,可对接至少一个业务系统,用于满足这些业务系统查询业务指标的需求,使得多方查询同一指标时保证数据一致。
102、按照预置调度周期定时的根据配置的指标口径,对数据库明细表中的对应明细数据进行加工,并根据得到的指标值更新数据资产表中对应的目标指标。
其中,数据库可为支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果的数据库。数据库明细表中保存有业务消息的明细数据,这些明细数据是根据特定的加工逻辑得到的,需要根据当前配置的指标口径进行再加工,才能得到符合业务方口径需求的指标数据。并且该数据库明细表中的数据会定时或不定时更新,因此为了更新后的数据及时根据配置的指标口径再进行加工更新,本实施例可采用按照预置调度周期定时触发执行加工更新的原则,该预置调度周期可根据实际需求进行设定。例如,调度周期越短越可加工更新得到实时性的指标数据,如秒级调度周期(即按照秒级频率更新)、或分钟级调度周期(即按照分钟级频率更新)等。
数据资产表中保存有加工更新后的指标数据,可被业务系统调用获取。这里资产可认为是个人或组织控制的有价值资产,企业资产有助于实现企业的目标。数据以及数据产生的信息目前已经被公认为是企业的资产。
103、接收至少一业务系统中的业务系统发送的目标指标查询请求。
该查询请求用于请求该目标指标数据。
104、根据数据资产表中更新后的目标指标,确定指标查询结果。
例如,在明细表中查询到该目标指标数据对应的指标值,该指标值为根据配置的指标口径进行加工更新得到的,因此可直接作为指标数据查询结果返回给请求的业务系统。
本实施例提供的数据查询方法,可根据业务需求预先配置同一指标的指标口径,该指标口径为至少一业务系统之间的统一口径,然后按照特定的调度周期定时的根据该指标口径,对数据库明细表中的对应明细数据进行加工更新,后续在接收到这些业务系统中任一系统发送的关于该指标的查询请求时,可直接根据明细表中加工更新后得到的该指标数据,确定查询结果。与目前现有技术相比,本实施例由于前期已经使得同一指标的指标口径统一,后续不会造成不同业务系统查询同一指标时存在不同的问题,使得多方查询同一指标时保证数据一致,进而提高了多方指标数据查询的数据一致性。并且不需要分别独立开发每个业务系统对接使用数据指标,节省了数据开发的成本。
进一步的,作为上述实施例具体实施方式的细化和扩展,为了完整说明本实施例的实施方式,本实施例还提供了另一种数据查询方法,如图2所示,该方法包括:
201、实时接收业务库消息。
其中,业务库消息可为业务相关的消息数据,在本实施例中,这些消息数据可作为计算业务指标数据的基础数据,具体可执行步骤202所示的步骤。
202、根据预定加工逻辑信息,将接收到的业务库消息处理后,实时插入到数据库明细表中,以更新明细表中的明细数据。
具体可利用实时流计算的方式,根据加工逻辑将业务库消息处理后,实时插入到数据库的明细表中。其中,实时流计算指的是监控不断变化的数据集合,根据计算口径,每产生一条数据即进行一次计算加工。
203、配置目标指标数据所对应的指标口径,该指标口径可包括需要获取的数据范围,和计算逻辑信息。
其中,配置的指标口径可为至少一业务系统之间的统一口径。
204、按照预置调度周期定时的根据需要获取的数据范围,从明细表中提取对应的明细数据。
考虑到一些业务流水状态会随着时间的推移进行变化,因此可选的,同一个指标的计算需要配置两种调度周期,相应的,预置调度周期可包括第一预设时长调度周期和第二预设时长调度周期,其中,第二预设时长调度周期是根据明细表中指标数据的统计时间间隔配置的,第二预设时长调度周期大于第一预设时长调度周期。第一预设时长调度周期用于实现实时数据资产的及时性,使得外部系统(业务系统)访问指标数据的时延控制在该周期级别水平。而第二预设时长调度周期用于实现实时数据资产的准确性,解决跨统计时间间隔指标值的问题。
例如,统计时间间隔为按照天统计,那么第二预设时长调度周期可为天级调度周期,而第一预设时长调度周期可为分钟级、或秒级、或小时级调度周期等,具体根据实际业务的更新速度确定。再例如,统计时间间隔为按照小时统计,那么第二预设时长调度周期可为小时级调度周期,而第一预设时长调度周期可为分钟级、或秒级调度周期等。
205、根据计算逻辑信息,将提取的明细数据加工得到指标值并更新到数据资产表中。
基于步骤204中的两种调度周期的可选方式,步骤205具体可包括:获取按照第一预设时长调度周期提取的与目标指标对应的第一明细数据;及,获取按照第二预设时长调度周期提取的与目标指标对应的第二明细数据;根据第一明细数据和第二明细数据,确定目标指标在统计时间间隔内的指标值并更新到数据资产表中。通过这种方式可尽可能的保证实时数据资产的准确性。
为了方便理解,示例性的,以第一预设时长调度周期为分钟级调度周期,第二预设时长调度周期为天级调度周期作为实例,说明上述根据第一明细数据和第二明细数据,确定目标指标在统计时间间隔内的指标值并更新到数据资产表中的具体实现过程,该步骤具体可包括:根据第一明细数据,确定目标指标在目标天内的统计指标值;若根据第二明细数据确定目标指标在与目标天对应下一天内存在跨天指标值,则参照该跨天指标值对该统计指标值进行修正,得到目标指标在目标天内的实际指标值并更新到数据资产表中。
例如,有些订单数据的状态需要在几十分钟后才会变更,在跨天的时候会造成下单日期已经过去了,分钟计算进入第二日的时间分区。这时每日一次的计算调度就可以更新掉这种变更带来的影响。具体的,对于支付成功的订单笔数这一指标数据,分钟级调度会每分钟计算出当前日期的支付成功订单笔数,时间以下单时间为准。2019-11-10 13:20:20下的订单会被统计到20191110这个日期分区内。但是有些订单下单后未必会在本日内支付完成,如2019-11-10 23:59:20分下单,但是其在2019-11-11 00:10:20才完成支付,此时分钟级调度计算已经进入到计算20191111分区的数据。因此当天调度再次对昨日内的数据进行计算时,会对昨日的支付成功订单笔数进行一轮修正,从而解决这种跨天问题。
需要说明的是,这种纠正方式的调度频率可以根据业务的诉求进行调整,以此类推解决小时级统计时的跨小时问题、解决周级统计时的跨周问题、解决月级统计时的跨月问题等。
进一步的,为了满足对指标口径的更新需求,本实施例方法还可包括:获取更新后的指标口径;按照预置调度周期定时的根据更新后的指标口径,对数据库明细表中的对应明细数据进行加工,并根据得到的指标值更新数据资产表中对应的目标指标,即按照更新后的指标口径执行步骤204至205所示的过程。通过这种更新方式,在数据源头处进行准确更新,整个下游全部无感知的进行了更迭,不会造成不同业务系统间数据口径版本不一致的问题。
206、接收至少一业务系统中的业务系统发送的目标指标查询请求。
207、从更新后的数据资产表中,获取与目标指标对应的数据表字段。
208、将获取到的数据表字段组装成预设格式作为指标查询结果。
通过应用本实施例方法,由于指标数据已经事先加工更新得到,因此业务系统可直接获取得到,进而及时准确的得到目标指标查询结果。与目前现有技术相比,本实施例由于前期已经使得同一指标的指标口径统一,后续不会造成不同业务系统查询同一指标时存在不同的问题,使得多方查询同一指标时保证数据一致,进而提高了多方指标数据查询的数据一致性。并且不需要分别独立开发每个业务系统对接使用数据指标,节省了数据开发的成本。
为了说明上述各实施例的具体实施过程,以OLAP数据库为例,并结合现有技术中的问题,给出如下应用场景,但不限于此:
目前对于OLAP数据库明细表的方式提供给其他业务系统进行使用,具体为库中留存明细数据,每次业务系统的接口来访问时,在接口层自行配置计算逻辑。这种现有方式的缺点是计算压力大,当并发请求的数量较多时,数据库要进行扩容保障。当有多个业务系统时往往产生了重复开发,且多个业务系统之间难以保障口径一致。当口径需要变换时,需要在多个地方进行更改,变更口径压力大。除了这种方式以外,还可以利用实时流直接计算出指标的方式,如在BLINK/KEPLER等实时流计算平台直接加工出需要计算的指标,存入数据库。这种现有方式的缺点是开发量大,指标需要在实时计算流中进行计算,而且由于流计算的特性,许多复杂型的计算(如多关联)不好处理。也没办法回刷历史(如上游消息默认存3天)口径必须是数据开发人员来更改,流计算对于产品和商业智能(Business Intelligence,BI)的使用门槛高。排查问题困难,上游是消息,不是库中的数据,手动查询使用困难。
为了克服上述问题,基于本实施例方法,提供了一种低查询延迟、高稳定性保障的实时数据资产沉淀系统,面对高峰值的数据和运营人员的高访问量,可将实时的数据变动展现给运营人员,进而提供快速业务决策调整的依据,不会造成查询崩溃或间隔性查询失败的情况发生。提高了数据的准确性和系统资源使用效率,并减少了需求的开发周期和成本。
如图3所示,具体可执行以下过程:
(1)实时明细数据产生过程。
(1.1)实时流计算系统接收业务库消息;(1.2)然后实时流计算系统根据加工逻辑,将业务库消息处理后,实时插入OLAP数据库的dwd明细表。
(2)指标加工过程。
(2.1)配置指标计算逻辑口径,包含数据范围和计算逻辑等,以SQL的形式沉淀下来。(2.2)将配置的计算口径发布到调度系统,并配置调度周期。考虑到一些业务流水状态会随着时间的推移进行变化,因此同一个指标的计算需要配置两种调度周期。其中分钟级调度用于实现实时数据资产的及时性,使得外部系统访问接口获取到的指标的时延控制在分钟级水平。天级调度用于实现实时数据资产的准确性。(2.3)调度系统会将配置的指标口径封装为执行脚本,根据调度周期,定时的执行这些脚本来计算逻辑口径到OLAP数据库。一般的执行策略为从dwd明细实时表中,根据口径需要获取的数据范围抽取数据,根据计算逻辑得到指标值后更新到dws表对应的指标,从而完成dws表实时数据资产指标的更新。如抽象代码可为replace into dws表 select 计算逻辑 from dwd表 where 口径范围。经过这种周期性的更新后,dws表会保持着一定延迟(以调度周期为延迟时间)的实时性。做到了一次性计算完成沉淀,避免了传统OLAP方式的多次相同计算。(2.4)接口层维护业务指标跟dws数据资产表字段间的映射关系。这样业务方在使用数据时仅仅需要了解自身所需的业务口径,然后根据业务口径对应的找到需要查询的接口表(dws表)即可。免去了大量的繁琐开发,得到质量及稳定性保障。而且在源头统一的情况下,如果随着业务的发展,计算口径需要更改,只需更改(2.1)所配置的技术逻辑口径即可,整个下游全部无感知的进行了更迭。
(3)外部系统查询指标过程。
(3.1)外部系统访问接口,查询所需的业务指标。(3.2)接口层根据所维护的业务指标跟dws数据资产表字段间的映射关系,去访问dws数据资产表获取数据。(3.3)接口层将获取到的数据组装成一定格式返回给外部系统。
通过应用上述应用场景过程,当有指标口径需要更改时,仅仅在(2.1)处更新业务指标计算口径,重新推送至调度系统即可。从而完成对dws表中数据资产的更新,外部系统再访问的时候即可访问到更新后的内容。并且外部系统每次访问的是dws表数据资产,是(2.3)环节提取加工好的资产数据,因此节省了计算量,达到了一次计算,多次使用的效果。外部系统不再需要相关的数据开发过程,直接询问业务指标即可得到数据。由于数据资产的沉淀,所有的外部系统查询的结果都是一致的,不会产生数据不同的问题。
基于本实施例方法提供的方案,构建出了实时数据资产。借鉴离线ETL(Extract-Transform-Load)清洗的思想,将静态数据的T+1调度,映射为动态数据的分钟级更新。在这种方法论的映射上,离线的建模思想可以映射的转变到实时dws资产建设中。使得整个数据建设可以成本较低的进行离线、实时两侧移植和同步开发。也便于实时和离线之间的数据口径统一。并且利用可接受范围的时延来换取整体性能。利用dws表来提供给业务方使用,避免了业务方重复性的复杂计算。此时对于业务方而言,仅仅是单查询指标,每次查询没有计算逻辑。可以提高每秒查询率(Query Per Second,QPS)上限,减少库的压力。越是QPS需要高的业务场景,该方法的优势越大,因为节省出的重复计算次数越多。同时对实时口径进行了统一的管理。既保证了业务方使用实时数据时的口径一致性和正确性,又保障了在口径需要改变时可以做到全部下游同时更改。
进一步的,作为图1和图2所示方法的具体实现,本实施例还提供了一种数据查询装置,如图4所示,该装置包括:配置模块31、更新模块32、接收模块33、发送模块34。
配置模块31,可用于配置目标指标所对应的指标口径,所述指标口径为至少一业务系统之间的统一口径;
更新模块32,可用于按照预置调度周期定时的根据所述指标口径,对数据库明细表中的对应明细数据进行加工,并根据得到的指标值更新数据资产表中对应的所述目标指标;
接收模块33,可用于接收所述至少一业务系统中的业务系统发送的所述目标指标查询请求;
发送模块34,可用于根据所述数据资产表中更新后的所述目标指标,确定指标查询结果。
在具体的应用场景中,可选的,所述指标口径包括需要获取的数据范围,和计算逻辑信息;
所述更新模块32,具体可用于按照预置调度周期定时的根据所述需要获取的数据范围,从所述明细表中提取对应的明细数据;根据所述计算逻辑信息,将提取的明细数据加工得到指标值并更新到所述数据资产表中。
在具体的应用场景中,可选的,所述预置调度周期可包括第一预设时长调度周期和第二预设时长调度周期,所述第二预设时长调度周期是根据所述明细表中指标数据的统计时间间隔配置的,所述第二预设时长调度周期大于所述第一预设时长调度周期;
所述更新模块32,具体还可用于获取按照所述第一预设时长调度周期提取的与所述目标指标对应的第一明细数据;及,获取按照所述第二预设时长调度周期提取的与所述目标指标对应的第二明细数据;根据所述第一明细数据和所述第二明细数据,确定所述目标指标在所述统计时间间隔内的指标值并更新到所述数据资产表中。
在具体的应用场景中,可选的,所述第一预设时长调度周期为分钟级调度周期,所述第二预设时长调度周期为天级调度周期;
所述更新模块32,具体还可用于根据所述第一明细数据,确定所述目标指标在目标天内的统计指标值;若根据所述第二明细数据确定所述目标指标在与所述目标天对应下一天内存在跨天指标值,则参照所述跨天指标值对所述统计指标值进行修正,得到所述目标指标在所述目标天内的实际指标值并更新到所述数据资产表中。
在具体的应用场景中,所述发送模块34,具体可用于从更新后的所述数据资产表中,获取与所述目标指标对应的数据表字段;将获取到的数据表字段组装成预设格式作为指标查询结果。
在具体的应用场景中,所述接收模块33,还可用于实时接收业务库消息;
所述更新模块32,还可用于根据预定加工逻辑信息,将所述业务库消息处理后,实时插入到所述明细表中,以更新所述明细表中的明细数据。
在具体的应用场景中,所述接收模块33,还可用于获取更新后的指标口径;所述更新模块32,还可用于按照预置调度周期定时的根据所述更新后的指标口径,对数据库明细表中的对应明细数据进行加工,并根据得到的指标值更新数据资产表中对应的所述目标指标。
需要说明的是,本实施例提供的一种数据查询装置所涉及各功能单元的其它相应描述,可以参考图1和图2中的对应描述,在此不再赘述。
基于上述如图1和图2所示方法,相应的,本实施例还提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述如图1和图2所示的数据查询方法。具体可利用开放数据处理服务(Open Data Processing Service,ODPS)、MySQL、Flink等工具来实现。
基于这样的理解,本实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施场景的方法。
基于上述如图1和图2所示的方法,以及图4所示的虚拟装置实施例,为了实现上述目的,本实施例还提供了一种数据查询设备,具体可以为个人计算机、服务器、平板电脑、智能手机、智能手表、智能手环、或其他网络设备等,该设备包括存储介质和处理器;存储介质,用于存储计算机程序;处理器,用于执行计算机程序以实现上述如图1和图2所示的数据查询方法。
可选的,上述实体设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency,RF)电路,传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等,可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)等。
本领域技术人员可以理解,本实施例提供的上述实体设备结构并不构成对该实体设备的限定,可以包括更多或更少的部件,或者组合某些部件,或者不同的部件布置。
存储介质中还可以包括操作系统、网络通信模块。操作系统是管理上述实体设备硬件和软件资源的程序,支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信,以及与信息处理实体设备中其它硬件和软件之间通信。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现,也可以通过硬件实现。通过应用本实施例的技术方案,与目前现有技术相比,本实施例由于前期已经使得同一指标的指标口径统一,后续不会造成不同业务系统查询同一指标时存在不同的问题,使得多方查询同一指标时保证数据一致,进而提高了多方指标数据查询的数据一致性。并且不需要分别独立开发每个业务系统对接使用数据指标,节省了数据开发的成本。
本领域技术人员可以理解附图只是一个优选实施场景的示意图,附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中,也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述,不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景,但是,本申请并非局限于此,任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (10)

1.一种数据查询方法,其特征在于,包括:
配置目标指标所对应的指标口径,所述指标口径为至少一业务系统之间的统一口径;
按照预置调度周期定时的根据所述指标口径,对数据库明细表中的对应明细数据进行加工,并根据得到的指标值更新数据资产表中对应的所述目标指标;
接收所述至少一业务系统中的业务系统发送的所述目标指标查询请求;
根据所述数据资产表中更新后的所述目标指标,确定指标查询结果。
2.根据权利要求1所述的方法,其特征在于,所述指标口径包括需要获取的数据范围,和计算逻辑信息;
所述按照预置调度周期定时的根据所述指标口径,对数据库明细表中的对应明细数据进行加工,并根据得到的指标值更新数据资产表中对应的所述目标指标,具体包括:
按照预置调度周期定时的根据所述需要获取的数据范围,从所述明细表中提取对应的明细数据;
根据所述计算逻辑信息,将提取的明细数据加工得到指标值并更新到所述数据资产表中。
3.根据权利要求2所述的方法,其特征在于,所述预置调度周期包括第一预设时长调度周期和第二预设时长调度周期,所述第二预设时长调度周期是根据所述明细表中指标数据的统计时间间隔配置的,所述第二预设时长调度周期大于所述第一预设时长调度周期;
所述根据所述计算逻辑信息,将提取的明细数据加工得到指标值并更新到所述数据资产表中,具体包括:
获取按照所述第一预设时长调度周期提取的与所述目标指标对应的第一明细数据;及,
获取按照所述第二预设时长调度周期提取的与所述目标指标对应的第二明细数据;
根据所述第一明细数据和所述第二明细数据,确定所述目标指标在所述统计时间间隔内的指标值并更新到所述数据资产表中。
4.根据权利要求3所述的方法,其特征在于,所述第一预设时长调度周期为分钟级调度周期,所述第二预设时长调度周期为天级调度周期;
所述根据所述第一明细数据和所述第二明细数据,确定所述目标指标在所述统计时间间隔内的指标值并更新到所述数据资产表中,具体包括:
根据所述第一明细数据,确定所述目标指标在目标天内的统计指标值;
若根据所述第二明细数据确定所述目标指标在与所述目标天对应下一天内存在跨天指标值,则参照所述跨天指标值对所述统计指标值进行修正,得到所述目标指标在所述目标天内的实际指标值并更新到所述数据资产表中。
5.根据权利要求1所述的方法,其特征在于,所述根据所述数据资产表中更新后的所述目标指标,确定指标查询结果,具体包括:
从更新后的所述数据资产表中,获取与所述目标指标对应的数据表字段;
将获取到的数据表字段组装成预设格式作为指标查询结果。
6.根据权利要求1所述的方法,其特征在于,在所述按照预置调度周期定时的根据所述指标口径,对数据库明细表中的对应明细数据进行加工之前,所述方法还包括:
实时接收业务库消息;
根据预定加工逻辑信息,将所述业务库消息处理后,实时插入到所述明细表中,以更新所述明细表中的明细数据。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取更新后的指标口径;
按照预置调度周期定时的根据所述更新后的指标口径,对数据库明细表中的对应明细数据进行加工,并根据得到的指标值更新数据资产表中对应的所述目标指标。
8.一种数据查询装置,其特征在于,包括:
配置模块,用于配置目标指标所对应的指标口径,所述指标口径为至少一业务系统之间的统一口径;
更新模块,用于按照预置调度周期定时的根据所述指标口径,对数据库明细表中的对应明细数据进行加工,并根据得到的指标值更新数据资产表中对应的所述目标指标;
接收模块,用于接收所述至少一业务系统中的业务系统发送的所述目标指标查询请求;
发送模块,用于根据所述数据资产表中更新后的所述目标指标,确定指标查询结果。
9.一种存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现权利要求1至7中任一项所述的方法。
10.一种数据查询设备,包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至7中任一项所述的方法。
CN202010497923.8A 2020-06-04 2020-06-04 数据查询方法、装置及设备 Active CN111400356B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010497923.8A CN111400356B (zh) 2020-06-04 2020-06-04 数据查询方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010497923.8A CN111400356B (zh) 2020-06-04 2020-06-04 数据查询方法、装置及设备

Publications (2)

Publication Number Publication Date
CN111400356A true CN111400356A (zh) 2020-07-10
CN111400356B CN111400356B (zh) 2020-11-10

Family

ID=71437627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010497923.8A Active CN111400356B (zh) 2020-06-04 2020-06-04 数据查询方法、装置及设备

Country Status (1)

Country Link
CN (1) CN111400356B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112084210A (zh) * 2020-09-28 2020-12-15 中国建设银行股份有限公司 数据处理方法、装置、电子设备及存储介质
CN112765234A (zh) * 2021-01-20 2021-05-07 京东数字科技控股股份有限公司 敞口数据的获取方法和装置、存储介质、电子装置
CN113064794A (zh) * 2021-04-01 2021-07-02 银清科技有限公司 一种数据监测方法、装置及设备
CN116909936A (zh) * 2023-09-13 2023-10-20 深圳市智慧城市科技发展集团有限公司 大数据自动化测试方法、设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100138917A1 (en) * 2008-12-01 2010-06-03 Xia Zhanhong Refresh mechanism for rate-based statistics
CN105335401A (zh) * 2014-07-22 2016-02-17 阿里巴巴集团控股有限公司 数据仓库指标管理方法和装置及系统
CN106776834A (zh) * 2016-11-28 2017-05-31 中通服公众信息产业股份有限公司 一种基于指标的数据分析自取数方法及系统
CN106934530A (zh) * 2017-02-27 2017-07-07 广州海颐软件有限公司 一种智慧能源的综合能源营销自动化系统平台
CN109558402A (zh) * 2017-09-27 2019-04-02 北京国双科技有限公司 数据的存储方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100138917A1 (en) * 2008-12-01 2010-06-03 Xia Zhanhong Refresh mechanism for rate-based statistics
CN105335401A (zh) * 2014-07-22 2016-02-17 阿里巴巴集团控股有限公司 数据仓库指标管理方法和装置及系统
CN106776834A (zh) * 2016-11-28 2017-05-31 中通服公众信息产业股份有限公司 一种基于指标的数据分析自取数方法及系统
CN106934530A (zh) * 2017-02-27 2017-07-07 广州海颐软件有限公司 一种智慧能源的综合能源营销自动化系统平台
CN109558402A (zh) * 2017-09-27 2019-04-02 北京国双科技有限公司 数据的存储方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谢宜泽: "国际比较指标的统计口径与适用范围——以PPP、WGI、CPI为例", 《当代经济科学》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112084210A (zh) * 2020-09-28 2020-12-15 中国建设银行股份有限公司 数据处理方法、装置、电子设备及存储介质
CN112765234A (zh) * 2021-01-20 2021-05-07 京东数字科技控股股份有限公司 敞口数据的获取方法和装置、存储介质、电子装置
CN112765234B (zh) * 2021-01-20 2024-06-14 京东科技控股股份有限公司 敞口数据的获取方法和装置、存储介质、电子装置
CN113064794A (zh) * 2021-04-01 2021-07-02 银清科技有限公司 一种数据监测方法、装置及设备
CN113064794B (zh) * 2021-04-01 2024-05-03 银清科技有限公司 一种数据监测方法、装置及设备
CN116909936A (zh) * 2023-09-13 2023-10-20 深圳市智慧城市科技发展集团有限公司 大数据自动化测试方法、设备及可读存储介质
CN116909936B (zh) * 2023-09-13 2024-05-14 深圳市智慧城市科技发展集团有限公司 大数据自动化测试方法、设备及可读存储介质

Also Published As

Publication number Publication date
CN111400356B (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
CN111400356B (zh) 数据查询方法、装置及设备
US20170364697A1 (en) Data interworking method and data interworking device
WO2020001108A1 (zh) 基于区块链的数据处理方法和装置
CN105446991B (zh) 数据存储方法、查询方法及设备
CN111177222B (zh) 模型测试方法、装置及计算设备、存储介质
CN110134516A (zh) 金融数据处理方法、装置、设备及计算机可读存储介质
CN111367989B (zh) 一种实时数据指标计算系统和方法
CN109241165B (zh) 一种数据库同步延时的确定方法、装置和设备
CN111339171B (zh) 数据查询的方法、装置及设备
CN105405070A (zh) 一种分布式内存电网系统构建方法
WO2020258666A1 (zh) 一种分布式系统及数据处理方法
CN110162386B (zh) 一种任务下发方法及装置
CN112559525B (zh) 数据检查系统、方法、装置和服务器
CN111932135A (zh) 基于分布式数据库的客户风险识别方法及装置
CN109981715A (zh) 一种会话管理的方法及装置
CN108280134B (zh) 基于账户额度控制的数据流通系统及方法、存储介质、终端
CN102880542A (zh) 云计算服务评测系统及评测方法
CN109271869A (zh) 人脸特征值提取方法、装置、计算机设备及存储介质
CN110704442A (zh) 一种大数据的实时获取方法及装置
CN110069565B (zh) 一种分布式数据库数据批量处理的方法及装置
CN107193749B (zh) 测试方法、装置及设备
CN113515541A (zh) 数据库的数据查询方法、装置和系统
CN112016009A (zh) 数据处理方法、余额获取方法、装置、设备和存储介质
CN109189810B (zh) 查询方法、装置、电子设备及计算机可读存储介质
CN110909072B (zh) 一种数据表建立方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant