CN105243169B - 一种数据查询方法及系统 - Google Patents

一种数据查询方法及系统 Download PDF

Info

Publication number
CN105243169B
CN105243169B CN201510771690.5A CN201510771690A CN105243169B CN 105243169 B CN105243169 B CN 105243169B CN 201510771690 A CN201510771690 A CN 201510771690A CN 105243169 B CN105243169 B CN 105243169B
Authority
CN
China
Prior art keywords
data
query
transaction
module
transaction inquiries
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510771690.5A
Other languages
English (en)
Other versions
CN105243169A (zh
Inventor
郑志远
卢珅
李光宇
陈慧君
佘振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
Original Assignee
China Construction Bank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp filed Critical China Construction Bank Corp
Priority to CN201510771690.5A priority Critical patent/CN105243169B/zh
Publication of CN105243169A publication Critical patent/CN105243169A/zh
Application granted granted Critical
Publication of CN105243169B publication Critical patent/CN105243169B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471Distributed queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Fuzzy Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据查询方法,包括:查询路由模块获取联机交易查询请求;查询路由模块解析获取到的交易查询请求,提取出数据时间范围要素;查询路由模块依据数据时间范围要素以及系统数据的分布特点,将交易查询请求转发至相应的查询模块;查询模块依据接收到的交易查询请求进行相应的数据查询。本发明能够屏蔽数据时效性和数据分布对联机交易查询的影响,为用户提供灵活、快速、易用的数据查询体验。本发明还公开了一种数据查询系统。

Description

一种数据查询方法及系统
技术领域
本发明涉及数据处理技术领域,尤其涉及一种数据查询方法及系统。
背景技术
依据数据时效性和数据分布,联机查询交易可以分为在线数据联机查询以及历史数据联机查询,在线数据联机交易,支持实时产生的数据查询,其目标数据往往分布在数据产生端。历史数据联机交易,提供历史存量数据查询,其目标数据往往分布在数据仓库等数据存储端。
在线数据与历史数据分离对应信息系统查询库与分析决策库的分离,其目的是两者互不影响,提高查询与分析的效率。但是,在线数据与历史数据的分离对准实时联机查询造成诸多不便。准实时联机交易查询的典型场景是用户指定数据的日期范围和其他查询条件,获取该日期范围内符合查询条件的数据信息。符合查询条件的数据既可能是在线数据,也可能是历史数据甚至两者的组合。若分别提供在线和历史数据的联机交易查询服务并分别限制查询的日期范围,由于用户很难获取或者理解数据时效性的划分标准,因此在查询的过程中往往令用户产生疑惑或者带来不佳的用户体验。
发明内容
本发明提供了一种数据查询方法,能够屏蔽数据时效性和数据分布对联机交易查询的影响,为用户提供灵活、快速、易用的数据查询体验。
本发明提供了一种数据查询方法,包括:
查询路由模块获取联机交易查询请求;
所述查询路由模块解析获取到的所述交易查询请求,提取出数据时间范围要素;
所述查询路由模块依据所述数据时间范围要素以及系统数据的分布特点,将所述交易查询请求转发至相应的查询模块;
所述查询模块依据接收到的所述交易查询请求进行相应的数据查询。
优选地,所述查询模块依据接收到的所述交易查询请求进行相应的数据查询具体为:
在线查询模块依据接收到的所述交易查询请求进行相应的数据查询。
优选地,所述在线查询模块依据接收到的所述交易查询请求进行相应的数据查询包括:
查询本地数据库,获取准实时数据缓存中的最大数据时间戳或顺序号;
查询大于所述最大数据时间戳或顺序号的实时数据;
将所述实时数据按事务提交至所述本地数据库;
更新所述本地数据库的最大数据时间戳或顺序号;
依据所述交易查询请求中的查询条件返回实时数据。
优选地,所述在线查询模块依据接收到的所述交易查询请求进行相应的数据查询还包括:
判断缓存的准实时数据的时效性是否超过设定时,若是,则:
清空缓存的所述准实时数据。
优选地,所述查询模块依据接收到的所述交易查询请求进行相应的数据查询具体为:
历史查询模块依据接收到的所述交易查询请求,基于持久层框架进行相应的数据查询。
优选地,查询模块依据接收到的所述交易查询请求进行相应的数据查询具体为:
聚合查询模块依据接收到的所述交易查询请求,基于数据库进行相应的数据查询。
一种数据查询系统,包括:查询路由模块和查询模块;其中:
所述查询路由模块用于获取联机交易查询请求,解析获取到的所述交易查询请求,提取出数据时间范围要素;依据所述数据时间范围要素以及系统数据的分布特点,将所述交易查询请求转发至相应的查询模块;
查询模块用于依据接收到的所述交易查询请求进行相应的数据查询。
优选地,所述查询模块为在线查询模块;
所述在线查询模块依据接收到的所述交易查询请求进行相应的数据查询。
优选地,所述在线查询模块包括:
获取单元,用于查询本地数据库,获取准实时数据缓存中的最大数据时间戳或顺序号;
查询单元,用于查询大于所述最大数据时间戳或顺序号的实时数据;
提交单元,用于将所述实时数据按事务提交至所述本地数据库;
更新单元,用于更新所述本地数据库的最大数据时间戳或顺序号;
返回单元,用于依据所述交易查询请求中的查询条件返回实时数据。
优选地,所述在线查询模块还包括:
判断单元,用于判断缓存的准实时数据的时效性是否超过设定时;
清空单元,用于当判断缓存的准实时数据的时效性超过设定时时,清空缓存的所述准实时数据。
优选地,所述查询模块为历史查询模块;
所述历史查询模块依据接收到的所述交易查询请求,基于持久层框架进行相应的数据查询。
优选地,所述查询模块为聚合查询模块;
所述聚合查询模块依据接收到的所述交易查询请求,基于数据库进行相应的数据查询。
由上述方案可知,本发明提供的一种数据查询方法,通过查询路由模块获取联机交易查询请求,提取出获取到的交易查询请求中的数据时间范围要素,依据提取出的时间范围要素以及系统数据的分布特点,将交易查询请求转发至相应的查询模块,查询模块依据接收到的交易查询请求进行相应的数据查询,通过查询路由模块对交易查询请求的解析以及转发,能够屏蔽数据时效性和数据分布对联机交易查询的影响,为用户提供灵活、快速、易用的数据查询体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一公开的一种数据查询方法的流程图;
图2为本发明实施例二公开的一种数据查询方法的流程图;
图3为本发明公开的一种在线查询模块依据接收到的交易查询请求进行相应的数据查询的方法流程图;
图4为本发明公开的另一种在线查询模块依据接收到的交易查询请求进行相应的数据查询的方法流程图;
图5为本发明实施例三公开的一种数据查询系统的结构示意图;
图6为本发明实施例四公开的一种数据查询系统的结构示意图;
图7为本发明公开的一种在线查询模块的结构示意图;
图8为本发明公开的另一种在线查询模块的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,为本发明实施例一公开的一种数据查询方法,包括以下步骤:
S101、查询路由模块获取联机交易查询请求;
当用户需要进行数据查询时,查询路由模块获取用户根据查询需求生成的联机交易查询请求。所述的交易查询请求为查询要素的集合,即用户指定数据的日期范围和其他查询条件。
S102、查询路由模块解析获取到的交易查询请求,提取出数据时间范围要素;
当查询路由模块获取到交易查询请求后,对交易查询请求对象进行相应的解析,提取出交易查询请求对象中的数据时间范围要素,即用户需要查询的数据的时间范围。所述的交易查询请求对象是对交易查询请求进行封装而形成的一种数据结构,可以理解为各种查询要素的集合。
S103、查询路由模块依据数据时间范围要素以及系统数据的分布特点,将交易查询请求转发至相应的查询模块;
系统数据的分布中,实时的数据往往靠近数据产生端分布。例如,处理账务交易的服务器会将交易信息保存在本地磁盘。历史的数据往往集中在数据仓库存储,且数据量大。例如,服务器上的交易信息会定期通过数据迁移方式汇至企业数据仓库。根据系统数据的分布特点以及数据时间范围要素,将交易查询请求分为仅实时数据查询、仅历史数据查询、实时及历史数据组合查询,然后将经过分类后的交易查询请求转发至相应的查询模块。
S104、查询模块依据接收到的交易查询请求进行相应的数据查询。
综上所述,在上述实施例中,通过查询路由模块获取联机交易查询请求,提取出获取到的交易查询请求中的数据时间范围要素,依据提取出的时间范围要素以及系统数据的分布特点,将交易查询请求转发至相应的查询模块,查询模块依据接收到的交易查询请求进行相应的数据查询,通过查询路由模块对交易查询请求的解析以及转发,能够屏蔽数据时效性和数据分布对联机交易查询的影响,为用户提供灵活、快速、易用的数据查询体验。
如图2所示,为本发明实施例二公开的一种数据查询方法,包括以下步骤:
S201、查询路由模块获取联机交易查询请求;
当用户需要进行数据查询时,查询路由模块获取用户根据查询需求生成的联机交易查询请求。所述的交易查询请求为查询要素的集合,即用户指定数据的日期范围和其他查询条件。
S202、查询路由模块解析获取到的交易查询请求,提取出数据时间范围要素;
当查询路由模块获取到交易查询请求后,对交易查询请求对象进行相应的解析,提取出交易查询请求对象中的数据时间范围要素,即用户需要查询的数据的时间范围。所述的交易查询请求对象是对交易查询请求进行封装而形成的一种数据结构,可以理解为各种查询要素的集合。
S203、查询路由模块依据数据时间范围要素以及系统数据的分布特点,将交易查询请求转发至相应的查询模块;
系统数据的分布中,实时的数据往往靠近数据产生端分布。例如,处理账务交易的服务器会将交易信息保存在本地磁盘。历史的数据往往集中在数据仓库存储,且数据量大。例如,服务器上的交易信息会定期通过数据迁移方式汇至企业数据仓库。根据系统数据的分布特点以及数据时间范围要素,将交易查询请求分为仅实时数据查询、仅历史数据查询、实时及历史数据组合查询,然后将经过分类后的交易查询请求转发至相应的查询模块。
S204、在线查询模块依据接收到的所述交易查询请求进行相应的数据查询;
当依据数据时间范围要素确定交易查询请求为实时数据查询时,查询路由模块将相应的交易查询请求转发至在线查询模块。在线查询模块负责调用交易系统服务获取并缓存实时数据,实时数据采用增量缓存方式,在每次联机交易查询请求时触发,以增量方式获取准实时数据,缓存完成后返回查询结果。
S205、历史查询模块依据接收到的所述交易查询请求,基于持久层框架进行相应的数据查询;
当依据数据时间范围要素确定交易查询请求为历史数据查询时,查询路由模块将相应的交易查询请求转发至历史查询模块。历史查询模块基于MyBatis持久层框架的历史数据查询,支持根据联机查询请求的数据分类、归并、排序、检索、分类等操作,返回查询结果。
S206、聚合查询模块依据接收到的所述交易查询请求,基于数据库进行相应的数据查询。
当依据数据时间范围要素确定交易查询请求为跨实时和历史数据查询时,查询路由模块将相应的交易查询请求转发至聚合查询模块。由于实时数据已经缓存至本地数据库,实时数据和历史数据的聚合查询,不再需要从交易系统获取,也无需在查询服务器的内存中进行组合,完全可以由数据库查询方式进行处理,返回查询结果。
如图3所示,在上述实施例中步骤204在线查询模块依据接收到的交易查询请求进行相应的数据查询的其中一种实现方式为:
S301、查询本地数据库,获取准实时数据缓存中的最大数据时间戳或顺序号;
查询本地数据库,获取准实时数据缓存中的最大数据时间戳或顺序号,其中,所述的准实时数据为相对于实时数据而言的数据,实时数据是指数据产生端(即交易系统)在发生交易时所产生的数据,准实时数据指从交易系统获取的数据,相对实时数据,有一定的滞后,但又比历史数据的时效性高。所述的时间戳是为每条数据赋予的一个时间序号,例如20151001120039指该数据的产生时间是2015年10月1日12:0:39,在实际应用中为了标示一条数据还可以精确到毫秒或纳秒,时间戳是按时间升序增长的。所述的顺序号是为每条数据赋予的一个序号,例如1234567,目的跟时间戳一样,也是升序增长的,作用和时间戳一样。
S302、查询大于所述最大数据时间戳或顺序号的实时数据;
调用交易系统服务,查询大于最大数据时间戳或顺序号的实时数据,满足增量缓存的要求。增量缓存是每次获取并存储部分的数据,例如,当前能够从交易系统能够获取当前时间以前发生的交易数据,假设有10条,顺序号为1-10。经过5分钟需要再次从交易系统获取交易数据,由于序号1-10的数据已经获取并缓存,只需从交易系统获取大于序号为10的数据即可,序号10即为当前最大的顺序号。
S303、将所述实时数据按事务提交至所述本地数据库;
所述的事务是一组数据库的操作集合,为了保证数据的一致性和完整性。数据提供了按事务提交的机制,事务中的操作要么全部执行,要么全部不执行,不会出现部分执行的情况。
S304、更新所述本地数据库的最大数据时间戳或顺序号;
S305、依据所述交易查询请求中的查询条件返回实时数据。
如图4所示,在上述实施例中步骤204在线查询模块依据接收到的交易查询请求进行相应的数据查询的另一种实现方式为:
S401、查询本地数据库,获取准实时数据缓存中的最大数据时间戳或顺序号;
查询本地数据库,获取准实时数据缓存中的最大数据时间戳或顺序号,其中,所述的准实时数据为相对于实时数据而言的数据,实时数据是指数据产生端(即交易系统)在发生交易时所产生的数据,准实时数据指从交易系统获取的数据,相对实时数据,有一定的滞后,但又比历史数据的时效性高。所述的时间戳是为每条数据赋予的一个时间序号,例如20151001120039指该数据的产生时间是2015年10月1日12:0:39,在实际应用中为了标示一条数据还可以精确到毫秒或纳秒,时间戳是按时间升序增长的。所述的顺序号是为每条数据赋予的一个序号,例如1234567,目的跟时间戳一样,也是升序增长的,作用和时间戳一样。
S402、查询大于所述最大数据时间戳或顺序号的实时数据;
调用交易系统服务,查询大于最大数据时间戳或顺序号的实时数据,满足增量缓存的要求。增量缓存是每次获取并存储部分的数据,例如,当前能够从交易系统能够获取当前时间以前发生的交易数据,假设有10条,顺序号为1-10。经过5分钟需要再次从交易系统获取交易数据,由于序号1-10的数据已经获取并缓存,只需从交易系统获取大于序号为10的数据即可,序号10即为当前最大的顺序号。
S403、将所述实时数据按事务提交至所述本地数据库;
所述的事务是一组数据库的操作集合,为了保证数据的一致性和完整性。数据提供了按事务提交的机制,事务中的操作要么全部执行,要么全部不执行,不会出现部分执行的情况。
S404、更新所述本地数据库的最大数据时间戳或顺序号;
S405、依据所述交易查询请求中的查询条件返回实时数据;
S406、判断缓存的准实时数据的时效性是否超过设定时,若是,则进入S407:
S407、清空缓存的所述准实时数据。
如图5所示,为本发明实施例三公开的一种数据查询系统,包括:查询路由模块501和查询模块502;其中:
查询路由模块501用于获取联机交易查询请求,解析获取到的所述交易查询请求,提取出数据时间范围要素;依据所述数据时间范围要素以及系统数据的分布特点,将所述交易查询请求转发至相应的查询模块;
当查询路由模块获取到交易查询请求后,对交易查询请求对象进行相应的解析,提取出交易查询请求对象中的数据时间范围要素,即用户需要查询的数据的时间范围。所述的交易查询请求对象是对交易查询请求进行封装而形成的一种数据结构,可以理解为各种查询要素的集合。
系统数据的分布中,实时的数据往往靠近数据产生端分布。例如,处理账务交易的服务器会将交易信息保存在本地磁盘。历史的数据往往集中在数据仓库存储,且数据量大。例如,服务器上的交易信息会定期通过数据迁移方式汇至企业数据仓库。根据系统数据的分布特点以及数据时间范围要素,将交易查询请求分为仅实时数据查询、仅历史数据查询、实时及历史数据组合查询,然后将经过分类后的交易查询请求转发至相应的查询模块。
查询模块502用于依据接收到的所述交易查询请求进行相应的数据查询。
综上所述,在上述实施例中,通过查询路由模块获取联机交易查询请求,提取出获取到的交易查询请求中的数据时间范围要素,依据提取出的时间范围要素以及系统数据的分布特点,将交易查询请求转发至相应的查询模块,查询模块依据接收到的交易查询请求进行相应的数据查询,通过查询路由模块对交易查询请求的解析以及转发,能够屏蔽数据时效性和数据分布对联机交易查询的影响,为用户提供灵活、快速、易用的数据查询体验。
如图6所示,为本发明实施例四公开的一种数据查询系统,包括:查询路由模块601、在线查询模块602、历史查询模块603和聚合查询模块604;
查询路由模块601用于获取联机交易查询请求,解析获取到的交易查询请求,提取出数据时间范围要素,依据数据时间范围要素以及系统数据的分布特点,将交易查询请求转发至相应的查询模块;
当用户需要进行数据查询时,查询路由模块获取用户根据查询需求生成的联机交易查询请求。所述的交易查询请求为查询要素的集合,即用户指定数据的日期范围和其他查询条件。
当查询路由模块获取到交易查询请求后,对交易查询请求对象进行相应的解析,提取出交易查询请求对象中的数据时间范围要素,即用户需要查询的数据的时间范围。所述的交易查询请求对象是对交易查询请求进行封装而形成的一种数据结构,可以理解为各种查询要素的集合。
系统数据的分布中,实时的数据往往靠近数据产生端分布。例如,处理账务交易的服务器会将交易信息保存在本地磁盘。历史的数据往往集中在数据仓库存储,且数据量大。例如,服务器上的交易信息会定期通过数据迁移方式汇至企业数据仓库。根据系统数据的分布特点以及数据时间范围要素,将交易查询请求分为仅实时数据查询、仅历史数据查询、实时及历史数据组合查询,然后将经过分类后的交易查询请求转发至相应的查询模块。
在线查询模块602用于依据接收到的所述交易查询请求进行相应的数据查询;
当依据数据时间范围要素确定交易查询请求为实时数据查询时,查询路由模块将相应的交易查询请求转发至在线查询模块。在线查询模块负责调用交易系统服务获取并缓存实时数据,实时数据采用增量缓存方式,在每次联机交易查询请求时触发,以增量方式获取准实时数据,缓存完成后返回查询结果。
历史查询模块603用于依据接收到的所述交易查询请求,基于持久层框架进行相应的数据查询;
当依据数据时间范围要素确定交易查询请求为历史数据查询时,查询路由模块将相应的交易查询请求转发至历史查询模块。历史查询模块基于MyBatis持久层框架的历史数据查询,支持根据联机查询请求的数据分类、归并、排序、检索、分类等操作,返回查询结果。
聚合查询模块604用于依据接收到的所述交易查询请求,基于数据库进行相应的数据查询。
当依据数据时间范围要素确定交易查询请求为跨实时和历史数据查询时,查询路由模块将相应的交易查询请求转发至聚合查询模块。由于实时数据已经缓存至本地数据库,实时数据和历史数据的聚合查询,不再需要从交易系统获取,也无需在查询服务器的内存中进行组合,完全可以由数据库查询方式进行处理,返回查询结果。
如图7所示,为上述实施例中在线查询模块的其中一种结构,包括:
获取单元701,用于查询本地数据库,获取准实时数据缓存中的最大数据时间戳或顺序号;
通过获取单元701查询本地数据库,获取准实时数据缓存中的最大数据时间戳或顺序号,其中,所述的准实时数据为相对于实时数据而言的数据,实时数据是指数据产生端(即交易系统)在发生交易时所产生的数据,准实时数据指从交易系统获取的数据,相对实时数据,有一定的滞后,但又比历史数据的时效性高。所述的时间戳是为每条数据赋予的一个时间序号,例如20151001120039指该数据的产生时间是2015年10月1日12:0:39,在实际应用中为了标示一条数据还可以精确到毫秒或纳秒,时间戳是按时间升序增长的。所述的顺序号是为每条数据赋予的一个序号,例如1234567,目的跟时间戳一样,也是升序增长的,作用和时间戳一样。
查询单元702,用于查询大于所述最大数据时间戳或顺序号的实时数据;
查询单元702调用交易系统服务,查询大于最大数据时间戳或顺序号的实时数据,满足增量缓存的要求。增量缓存是每次获取并存储部分的数据,例如,当前能够从交易系统能够获取当前时间以前发生的交易数据,假设有10条,顺序号为1-10。经过5分钟需要再次从交易系统获取交易数据,由于序号1-10的数据已经获取并缓存,只需从交易系统获取大于序号为10的数据即可,序号10即为当前最大的顺序号。
提交单元703,用于将所述实时数据按事务提交至所述本地数据库;
所述的事务是一组数据库的操作集合,为了保证数据的一致性和完整性。数据提供了按事务提交的机制,事务中的操作要么全部执行,要么全部不执行,不会出现部分执行的情况。
更新单元704,用于更新所述本地数据库的最大数据时间戳或顺序号;
返回单元705,用于依据所述交易查询请求中的查询条件返回实时数据。
如图8所示,为上述实施例中在线查询模块的另一种结构,包括:
获取单元801,用于查询本地数据库,获取准实时数据缓存中的最大数据时间戳或顺序号;
通过获取单元801查询本地数据库,获取准实时数据缓存中的最大数据时间戳或顺序号,其中,所述的准实时数据为相对于实时数据而言的数据,实时数据是指数据产生端(即交易系统)在发生交易时所产生的数据,准实时数据指从交易系统获取的数据,相对实时数据,有一定的滞后,但又比历史数据的时效性高。所述的时间戳是为每条数据赋予的一个时间序号,例如20151001120039指该数据的产生时间是2015年10月1日12:0:39,在实际应用中为了标示一条数据还可以精确到毫秒或纳秒,时间戳是按时间升序增长的。所述的顺序号是为每条数据赋予的一个序号,例如1234567,目的跟时间戳一样,也是升序增长的,作用和时间戳一样。
查询单元802,用于查询大于所述最大数据时间戳或顺序号的实时数据;
查询单元802调用交易系统服务,查询大于最大数据时间戳或顺序号的实时数据,满足增量缓存的要求。增量缓存是每次获取并存储部分的数据,例如,当前能够从交易系统能够获取当前时间以前发生的交易数据,假设有10条,顺序号为1-10。经过5分钟需要再次从交易系统获取交易数据,由于序号1-10的数据已经获取并缓存,只需从交易系统获取大于序号为10的数据即可,序号10即为当前最大的顺序号。
提交单元803,用于将所述实时数据按事务提交至所述本地数据库;
所述的事务是一组数据库的操作集合,为了保证数据的一致性和完整性。数据提供了按事务提交的机制,事务中的操作要么全部执行,要么全部不执行,不会出现部分执行的情况。
更新单元804,用于更新所述本地数据库的最大数据时间戳或顺序号;
返回单元805,用于依据所述交易查询请求中的查询条件返回实时数据;
判断单元806,用于判断缓存的准实时数据的时效性是否超过设定时;
清空单元807,用于当判断缓存的准实时数据的时效性超过设定时时,清空缓存的所述准实时数据。
本实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算设备可读取存储介质中。基于这样的理解,本发明实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一台计算设备(可以是个人计算机,服务器,移动计算设备或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.一种数据查询方法,其特征在于,包括:
查询路由模块获取联机交易查询请求;
所述查询路由模块解析获取到的所述交易查询请求,提取出数据时间范围要素;
所述查询路由模块依据所述数据时间范围要素以及系统数据的分布特点,将所述交易查询请求转发至相应的查询模块;
所述查询模块依据接收到的所述交易查询请求进行相应的数据查询;
其中,所述查询模块依据接收到的所述交易查询请求进行相应的数据查询包括:
在线查询模块依据接收到的所述交易查询请求进行相应的数据查询;
历史查询模块依据接收到的所述交易查询请求,基于持久层框架进行相应的数据查询;
聚合查询模块依据接收到的所述交易查询请求,基于数据库进行相应的数据查询;
其中,所述在线查询模块依据接收到的所述交易查询请求进行相应的数据查询包括:
查询本地数据库,获取准实时数据缓存中的最大数据时间戳或顺序号;
查询大于所述最大数据时间戳或顺序号的实时数据;
将所述实时数据按事务提交至所述本地数据库;
更新所述本地数据库的最大数据时间戳或顺序号;
依据所述交易查询请求中的查询条件返回实时数据。
2.根据权利要求1所述的方法,其特征在于,所述在线查询模块依据接收到的所述交易查询请求进行相应的数据查询还包括:
判断缓存的准实时数据的时效性是否超过设定时,若是,则:
清空缓存的所述准实时数据。
3.一种数据查询系统,其特征在于,包括:查询路由模块和查询模块;其中:
所述查询路由模块用于获取联机交易查询请求,解析获取到的所述交易查询请求,提取出数据时间范围要素;依据所述数据时间范围要素以及系统数据的分布特点,将所述交易查询请求转发至相应的查询模块;
查询模块用于依据接收到的所述交易查询请求进行相应的数据查询;
所述查询模块包括在线查询模块、历史查询模块和聚合查询模块;
所述在线查询模块依据接收到的所述交易查询请求进行相应的数据查询;
所述历史查询模块依据接收到的所述交易查询请求,基于持久层框架进行相应的数据查询;
所述聚合查询模块依据接收到的所述交易查询请求,基于数据库进行相应的数据查询;
其中,所述在线查询模块包括:
获取单元,用于查询本地数据库,获取准实时数据缓存中的最大数据时间戳或顺序号;
查询单元,用于查询大于所述最大数据时间戳或顺序号的实时数据;
提交单元,用于将所述实时数据按事务提交至所述本地数据库;
更新单元,用于更新所述本地数据库的最大数据时间戳或顺序号;
返回单元,用于依据所述交易查询请求中的查询条件返回实时数据。
4.根据权利要求3所述的系统,其特征在于,所述在线查询模块还包括:
判断单元,用于判断缓存的准实时数据的时效性是否超过设定时;
清空单元,用于当判断缓存的准实时数据的时效性超过设定时时,清空缓存的所述准实时数据。
CN201510771690.5A 2015-11-12 2015-11-12 一种数据查询方法及系统 Active CN105243169B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510771690.5A CN105243169B (zh) 2015-11-12 2015-11-12 一种数据查询方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510771690.5A CN105243169B (zh) 2015-11-12 2015-11-12 一种数据查询方法及系统

Publications (2)

Publication Number Publication Date
CN105243169A CN105243169A (zh) 2016-01-13
CN105243169B true CN105243169B (zh) 2019-01-29

Family

ID=55040817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510771690.5A Active CN105243169B (zh) 2015-11-12 2015-11-12 一种数据查询方法及系统

Country Status (1)

Country Link
CN (1) CN105243169B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106776632A (zh) * 2015-11-23 2017-05-31 北京国双科技有限公司 数据查询方法及装置
CN106875262B (zh) * 2017-02-28 2021-03-26 阿里巴巴(中国)有限公司 用于订单处理的方法、装置和计算机可读存储介质
CN110019541B (zh) * 2017-07-21 2022-04-05 杭州海康威视数字技术股份有限公司 数据查询方法、装置及计算机可读存储介质
CN107657042B (zh) * 2017-09-30 2020-06-09 上海数据交易中心有限公司 多数据源的数据查询方法及装置、存储介质、终端
CN108334549A (zh) * 2017-12-28 2018-07-27 海尔优家智能科技(北京)有限公司 一种设备数据存储方法、提取方法、存储平台及提取平台
CN109313642B (zh) * 2018-09-07 2022-07-12 威富通科技有限公司 账单信息缓存方法、账单信息查询方法和终端设备
CN109977140B (zh) * 2019-03-25 2022-04-05 中国农业银行股份有限公司 一种交易数据查询方法、装置及系统
CN111858686B (zh) * 2020-07-08 2024-05-28 深圳市富途网络科技有限公司 数据显示方法、装置、终端设备及存储介质
CN112241429A (zh) * 2020-10-21 2021-01-19 无锡美林数联科技有限公司 一种基于大数据的设备物联系统
CN113177049A (zh) * 2021-05-13 2021-07-27 中移智行网络科技有限公司 一种数据处理方法、装置和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521406A (zh) * 2011-12-26 2012-06-27 中国科学院计算技术研究所 海量结构化数据复杂查询任务的分布式查询方法和系统
CN104331457A (zh) * 2014-10-31 2015-02-04 北京思特奇信息技术股份有限公司 一种基于数据库节点的数据访问方法及系统
CN104333512A (zh) * 2014-10-30 2015-02-04 北京思特奇信息技术股份有限公司 一种分布式内存数据库访问系统及方法
CN104408065A (zh) * 2014-10-29 2015-03-11 中国建设银行股份有限公司 一种联机查询交易信息的方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020012691A (ko) * 2000-08-08 2002-02-20 임기표 사이버 증권투자에 있어 수익률을 증가 시키고 정신적스트레스를 줄일 수 있는 동반매매방법
WO2011038264A1 (en) * 2009-09-25 2011-03-31 Goodplay Media Llc Systems and methods for facilitating charitable donations

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521406A (zh) * 2011-12-26 2012-06-27 中国科学院计算技术研究所 海量结构化数据复杂查询任务的分布式查询方法和系统
CN104408065A (zh) * 2014-10-29 2015-03-11 中国建设银行股份有限公司 一种联机查询交易信息的方法及装置
CN104333512A (zh) * 2014-10-30 2015-02-04 北京思特奇信息技术股份有限公司 一种分布式内存数据库访问系统及方法
CN104331457A (zh) * 2014-10-31 2015-02-04 北京思特奇信息技术股份有限公司 一种基于数据库节点的数据访问方法及系统

Also Published As

Publication number Publication date
CN105243169A (zh) 2016-01-13

Similar Documents

Publication Publication Date Title
CN105243169B (zh) 一种数据查询方法及系统
US20170186030A1 (en) Advertisement click-through rate correction method and advertisement push server
CN103729471B (zh) 数据库查询方法和装置
US9043348B2 (en) System and method for performing set operations with defined sketch accuracy distribution
CN103312733B (zh) 信息处理方法和装置
CN103559300B (zh) 数据的查询方法和查询装置
CN104636500A (zh) 一种查询热数据的方法及装置
CN103106585A (zh) 产品信息的实时去重方法和装置
CN110134738B (zh) 分布式存储系统资源预估方法、装置
RU2013140415A (ru) Усовершенствованная система управления запасами и способ для ее осуществления
CN111258978A (zh) 一种数据存储的方法
CN107783985A (zh) 一种分布式数据库查询方法、装置及管理系统
US20180302268A1 (en) Systems and Methods for Real Time Streaming
CN111782692A (zh) 一种频率控制方法及装置
CN109325056A (zh) 一种大数据处理方法及装置、通信设备
CN110110165A (zh) 用于预计算系统中查询引擎的动态路由方法及装置
CN108154024B (zh) 一种数据检索方法、装置及电子设备
CN104834719B (zh) 应用于实时大数据场景下的数据库系统
CN103559307A (zh) 一种查询的缓存方法及装置
CN110427574B (zh) 路线相似度确定方法、装置、设备和介质
CN105227386B (zh) 用于分群体统计在线用户数的方法、装置及系统
CN110647682A (zh) 一种交易数据的关联推荐系统
CN113377817A (zh) 数据处理方法、系统、设备及存储介质
CN102081624A (zh) 一种数据查询的方法及查询服务器
CN102932389A (zh) 一种请求处理方法、装置及服务器系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant