CN110442598A - 一种数据查询方法和装置 - Google Patents
一种数据查询方法和装置 Download PDFInfo
- Publication number
- CN110442598A CN110442598A CN201910663210.1A CN201910663210A CN110442598A CN 110442598 A CN110442598 A CN 110442598A CN 201910663210 A CN201910663210 A CN 201910663210A CN 110442598 A CN110442598 A CN 110442598A
- Authority
- CN
- China
- Prior art keywords
- data
- period
- user
- online
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000012545 processing Methods 0.000 claims abstract description 53
- 238000003860 storage Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 16
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
Abstract
本说明书实施例公开了一种数据查询方法和装置，该方法包括：接收用户的数据查询请求；从离线数据库查找所述用户第一时段的离线数据，其中，所述离线数据是按照预设查询请求获取原始数据并对所述原始数据进行预先加工处理得到；从在线数据库查找所述用户第二时段的在线数据，所述第二时段在所述第一时段之后；对所述离线数据和所述在线数据进行组合处理，并返回组合处理后的数据。
Description
技术领域
本说明书实施例涉及数据处理技术领域，尤其涉及一种数据查询方法和装置。
背景技术
随着互联网技术的发展，越来越多的资产业务平台(如支付宝等)不断涌现，方便用户进行理财、交易等。通过上述资产业务平台，用户可以快速查询到自己的历史资产情况，比如，查询最近400天的累计收益、最近400天的平均收益、最近一年的每日收益等。然而，对于资产业务平台而言，由于用户数量巨大，对资产业务平台高并发量的数据查询能力提出了更高的要求。
发明内容
本说明书实施例提供一种数据查询方法和装置，用于提高业务平台高并发量的数据查询能力。
本说明书实施例采用下述技术方案：
第一方面，提供了一种数据查询方法，包括：
接收用户的数据查询请求；
从离线数据库查找所述用户第一时段的离线数据，其中，所述离线数据是按照预设查询请求获取原始数据并对所述原始数据进行预先加工处理得到；
从在线数据库查找所述用户第二时段的在线数据，所述第二时段在所述第一时段之后；
对所述离线数据和所述在线数据进行组合处理，并返回组合处理后的数据。
第二方面，提供了一种数据查询装置，包括：
查询请求接收模块，接收用户的数据查询请求；
离线数据获取模块，从离线数据库查找所述用户第一时段的离线数据，其中，所述离线数据是按照预设查询请求获取原始数据并对所述原始数据进行预先加工处理得到；
在线数据获取模块，从在线数据库查找所述用户第二时段的在线数据，所述第二时段在所述第一时段之后；
处理模块，对所述离线数据和所述在线数据进行组合处理，并返回组合处理后的数据。
第三方面，提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如下操作：
接收用户的数据查询请求；
从离线数据库查找所述用户第一时段的离线数据，其中，所述离线数据是按照预设查询请求获取原始数据并对所述原始数据进行预先加工处理得到；
从在线数据库查找所述用户第二时段的在线数据，所述第二时段在所述第一时段之后；
对所述离线数据和所述在线数据进行组合处理，并返回组合处理后的数据。
第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如下操作：
接收用户的数据查询请求；
从离线数据库查找所述用户第一时段的离线数据，其中，所述离线数据是按照预设查询请求获取原始数据并对所述原始数据进行预先加工处理得到；
从在线数据库查找所述用户第二时段的在线数据，所述第二时段在所述第一时段之后；
对所述离线数据和所述在线数据进行组合处理，并返回组合处理后的数据。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：由于预先按照预设查询请求获取原始数据，并对原始数据进行预先加工处理得到离线数据，这样，给高并发量的数据查询请求带来压力的数据加工处理等操作均可以离线预先完成；同时，离线无法提供的数据可以由在线数据库提供，便于提升高并发量的数据查询的能力。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本说明书的一个实施例提供的数据查询方法流程示意图；
图2为本说明书的一个实施例提供的数据查询方法的系统架构示意图；
图3为本说明书的另一个实施例提供的数据查询方法流程示意图；
图4为本说明书的一个实施例提供的数据查询装置结构示意图；
图5为实现本说明书各个实施例的电子设备硬件结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
如图1所示，本说明书的一个实施例提供一种数据查询方法100，包括如下步骤：
S102：接收用户的数据查询请求。
本说明书实施例提供的数据查询方法可以由资产业务平台来执行。资产业务平台通常提供有可视化界面以及查询入口，以方便用户查询自身的历史资产情况，比如，历史累计收益、历史日平均收益、本年度的每日收益、本年度的累计收益等。
该步骤中的数据查询请求，具体可以是查询用户本年度(或本月等)的每日收益、本年度的累计收益、历史累计收益、历史日平均收益等。
可选地，接收用户的数据查询请求之后，所述方法还包括：对所述数据查询请求进行解析，以确定待查询数据所对应的时段；其中，所述待查询数据所对应的时段包括后问题到的第一时段和第二时段。
S104：从离线数据库查找用户第一时段的离线数据。
其中，所述离线数据是按照预设查询请求获取原始数据并对所述原始数据进行预先加工处理得到。
该步骤执行之前，可以预先将用户待查询数据所对应的时段分为第一时段和第二时段，具体例如，用户需要查询本年度的累计收益，那么，待查询数据所对应的时段是本年度，第一时段可以是本年度中的前天(不包含前天)之前的时段，第二时段可以是前天(包含前天)至今天的时段。
本说明书实施例中的离线数据库是相对于后文提到的在线数据库而言的。通常，在线数据库实时服务于上述资产业务平台。可以理解，用户通过资产业务平台进行的转账以及购物等，均会导致用户的资产(如当前余额)实时变化，因此，上述在线数据库中的数据是实时的在线数据，且在线数据库中通常存储有用户全部的资产相关数据。
可选地，离线数据库具体可以是HBase，HBase是分布式的、面向列的开源数据库，可以支撑高并发量的查询请求处理，同样便于提升高并发量的数据查询的能力。
该实施例中的离线数据库专门服务于数据查询请求。可选地，在该实施例执行之前，可以预先按照预设查询请求获取原始数据，并对获取到的原始数据进行预先加工，并将预先加工后数据存入离线数据库中。
上述预设查询请求通常是由资产业务平台能够提供的查询入口所确定，例如，资产业务平台给用户提供有如下的可查询选项：本年度的累计收益、本年度的每日收益、本年度的日平均收益等。因此，该步骤即可按照预设查询请求从在线数据库等源数据的存放场所获取原始数据，预先获取的原始数据可以是用户本年度的每天的收益。对获取到的原始数据进行预先加工可以是将上述本年度的每天的收益进行加和，得到本年度的累计收益；将本年度的累计收益除以总天数，得到本年度的日平均收益等等。
为了给离线数据的预先加工处理提供充足的时间，降低离线数据的生成压力，通常，离线数据库中仅仅包括有用户第一时段的离线数据，例如，离线数据库中包括有用户前天之前的全部数据，而缺失前天、昨天和今天的实时数据，因此，该实施例还可以在线数据库查找所述用户第二时段的在线数据。
可选地，若从所述离线数据库未查找到所述用户第一时段的离线数据，该实施例还可以从在线数据库查找所述用户第一时段的在线数据；对所述用户第一时段的在线数据进行加工处理，以得到所述离线数据，以提升系统的容错性和健壮性。
S106：从在线数据库查找用户第二时段的在线数据，第二时段在第一时段之后。
步骤S102中接收的数据查询请求查询的数据，其对应的时段包括有起始时间和截止时间，例如，截止时刻是今日T，起始时刻是本年度的1月1日。
在一个具体的实施例中，第一时段的起始时间是本年度的1月1日，结束时刻是目标时刻；第二时段的起始时间是目标时刻，结束时刻是今日T，也即第一时段和第二时段之和为数据查询请求查询的数据对应的时段。可选地，上述目标时刻可以是T-2，具体可以前天的起始时刻，也即00：00时刻。
可选地，目标时刻是随着系统时间变化而变化的变量，例如，用户今天发起的数据查询请求，目标时刻是前天；若用户明天发起的数据查询请求，目标时刻是昨天(相对于今天而言)。
可选地，该步骤执行之前可以对上述数据查询请求进行解析，以确定待查询数据所对应的时段，其中，所述待查询数据所对应的时段包括所述第一时段和所述第二时段。
需要说明的是，对于S104和S106的执行顺序，也可以是S106在前，S104在后；当然也可以是是S104和S106同步执行，以提高数据查询请求的响应速度。
S108：对离线数据和在线数据进行组合处理，并返回组合处理后的数据。
该步骤即可按照第一时段和第二时段的时间先后顺序，对获取到的离线数据和在线数据进行组合处理，并返回组合处理后的数据，还可以生成可视化的图形界面(如曲线图)以便用户查看。
对于该步骤中提到的组合处理，具体例如，用户通过S102希望查询本年度的累计收益，那么，从S104从离线数据库中通常可以获取到本年度1月1日一直到前天(不包括前天)的累计收益A；从在线数据库中可以获取到前天的收益B，昨天的日收益C；当然，如果今日收益已经产出，也可以从在线数据库中获取今天的日收益D，该步骤中的组合处理即将上述A、B、C和D进行求和，得到本年度的累计收益。
又例如，用户通过S102希望查询本年度的日均收益，那么，从S104从离线数据库中通常可以获取到本年度1月1日一直到前天(不包括前天)的日均收益E；从在线数据库中可以获取到用户前天的收益F，昨天的日收益G以及今天的日收益H，该步骤中的组合处理即将上述E、F、G和H进行求平均，得到本年度的日均收益。
本说明书实施例提供的数据查询方法，由于预先按照预设查询请求获取原始数据，并对原始数据进行预先加工处理得到离线数据，这样，给高并发量的数据查询请求带来压力的数据加工处理等操作均可以离线预先完成，同时，离线无法提供的数据可以由在线数据库提供，便于提升高并发量的数据查询的能力。
可选地，在上述实施例的S102接收用户的数据查询请求之前，所述方法还包括如下步骤：
按照预设查询请求获取原始数据；
对所述原始数据进行预先加工处理，得到所述离线数据；
将所述离线数据存入所述离线数据库。
可选地，上述原始数据包括按天生成的数据，上述对所述原始数据进行预先加工处理包括：
对所述按天生成的数据进行下述至少一种运算：
求和，例如，求年度的累计收益；
求平均，例如，求本年度的日平均收益；以及
按照预设的乘积系数求积，例如，按照年收益率，求本年度的每日收益。
为详细说明本说明书实施例提供的数据查询方法，以下将结合一个具体的实施例进行说明。
如图2所示，图2为系统架构示意图，图3是应用在图2中的数据查询方法的具体实施例300，以下将首先对上述系统架构进行简单介绍。
业务平台：用户资产信息展示系统，可以提供完整的历史资产信息视图。
查询核心：查询逻辑的决策结果组装系统，对接其他各源数据提供系统及离线数据提供者HBase。查询核心可以进行查询请求分发；以及对查找到的在线数据和离线数据进行组装处理。
账务：原始数据提供方，提供资产原始信息。前文实施例中介绍的在线数据库可以包括账务。
HBase：结构化数据的分布式存储系统，可以支撑高并发量的查询请求处理，该实施例中，HBase可以用来存储预先加工处理后的离线数据。HBase对应于前文实施例中介绍的离线数据库
数据仓库：可以用于按天获取T-1日的原始数据，并对原始数据预先进行加工处理，后提供给HBase。
基于上述系统架构，数据仓库可以每天通过自编辑的数据加工流程，基于原始的T-1的数据进行加工处理并回流到HBase。
如图3所示，该实施例包括如下步骤：
S302：接收数据查询请求。
该步骤可以由图2中的业务平台执行。
该步骤具体可以参见实施例100中的步骤S102。
S304：查询时段判断？
若用户待查询数据所对应的时段同时包括有T-2日之前以及T-2日之后(包括T-2日当天)，则执行S306以及S308。
具体地，通过S306从HBase查找用户T-2日之前的离线数据。通过S308从在线数据库查找用户T-2日及其之后的在线数据。
当然，在其他的实施例中，若用户待查询数据所对应的时段仅仅为T-2日之前，则可以省略S308。
S306：从HBase查找用户T-2日之前的离线数据。
S308：从在线数据库查找用户T-2日及其之后的在线数据
在实际应用过程中，用户的数据查询请求经过必要的入参检验后，还可以对数据查询请求进行解析，如果是查询T-2日及之前的数据，直接从HBase查询透出；如果涉及到当日、T-1日及T-2日查询，从在线其他原始数据的系统提供方经过rpc调用获取在线数据。
S306执行之后，可选地，若从HBase未查找到用户T-2日之前的离线数据，或者是查找到的数据不完整，则可以执行在线查询，即：从在线数据库查找用户T-2日之前的数据，或者是通过在线数据库对HBase中不完整的数据进行补全处理。
S312：对S306查找到的离线数据和S308查找到的在线数据进行组合处理，并返回组合处理后的数据。
S314：展示组合处理后的数据。
该步骤可以生成可视化的图形界面(如曲线图)以便用户查看，具体可以通过图2中的业务平台展示给用户。
本说明书实施例提供的数据查询方法，由于预先按照预设查询请求获取原始数据，并对原始数据进行预先加工处理得到离线数据，这样，给高并发量的数据查询请求带来压力的数据加工处理等操作均可以离线预先完成，同时，离线无法提供的数据可以由在线数据库提供，便于提升高并发量的数据查询的能力。
本说明书实施例由于采用HBase，HBase本身具备支撑高并发查询的能力；离线数据加工对在线系统无影响，形成了加工过后的完整数据视图，使查询的整体链路简单，便于提升查询效率。
本说明书实施例离线数据和在线可互通，通常，大部分数据是由HBase直接提供，当离线数据缺失不完整，可以在线提供数据，提升查询链路的容错性的健壮性。
通过实际验证，本说明书实施例提供的技术方案完全能满足70qps的业务需求。
本说明书实施例中，由于是复杂的数据加工逻辑都放在了离线，所以查询逻辑，明确了系统架构中各个模块的功能，避免高并发量的数据查询请求对在线数据库造成较大的影响。
需要说明的是，本说明书实施例通过HBase提供截止T-2日前的离线数据查询，是为例给离线数据产出提供充足的时间，首先离线数据只具备T-1日的数据信息，并预留给产出1自然日的离线数据生成缓冲。
如果离线数据不能按时产出，本说明书实施例包含补偿方案，及从在线获取信息进行补偿。但要说明的是，不能按时生成是小概率事件。这也是说明书实施例中的离线在线可互通的补充说明。
以上说明书部分详细介绍了数据查询方法实施例，如图4所示，本说明书还提供了一种数据查询装置，如图4所示，该装置400包括：
查询请求接收模块402，可以用于接收用户的数据查询请求；
离线数据获取模块404，可以用于从离线数据库查找所述用户第一时段的离线数据，其中，所述离线数据是按照预设查询请求获取原始数据并对所述原始数据进行预先加工处理得到；
在线数据获取模块406，可以用于从在线数据库查找所述用户第二时段的在线数据，所述第二时段在所述第一时段之后；
处理模块408，可以用于对所述离线数据和所述在线数据进行组合处理，并返回组合处理后的数据。
本说明书实施例提供的数据查询装置，由于预先按照预设查询请求获取原始数据，并对原始数据进行预先加工处理得到离线数据，这样，给高并发量的数据查询请求带来压力的数据加工处理等操作均可以离线预先完成，同时，离线无法提供的数据可以由在线数据库提供，便于提升高并发量的数据查询的能力。
可选地，作为一个实施例，所述装置400还包括解析模块，可以用于对所述数据查询请求进行解析，以确定待查询数据所对应的时段；
其中，所述待查询数据所对应的时段包括所述第一时段和所述第二时段。
可选地，作为一个实施例，所述在线数据获取模块406，还可以用于：若从所述离线数据库未查找到所述用户第一时段的离线数据，从所述在线数据库查找所述用户第一时段的在线数据；对所述用户第一时段的在线数据进行加工处理，以得到所述离线数据。
可选地，作为一个实施例，所述第一时段在目标时刻之前，所述第二时段在所述目标时刻之后，所述目标时刻是随着系统时间变化而变化的变量。
可选地，作为一个实施例，所述原始数据包括按天生成的数据，所述对所述原始数据进行预先加工处理包括：
对所述按天生成的数据进行下述至少一种运算：
求和；
求平均；以及
按照预设的乘积系数求积。
可选地，作为一个实施例，所述在线数据获取模块406，还可以用于按照预设查询请求获取原始数据；
对所述原始数据进行预先加工处理，得到所述离线数据；
将所述离线数据存入所述离线数据库。
可选地，作为一个实施例，所述离线数据库包括HBase数据库。
根据本说明书实施例的上述数据查询装置400可以参照对应前文本说明书实施例的数据查询方法100和300的流程，并且，该数据查询装置400中的各个单元/模块和上述其他操作和/或功能分别为了实现数据查询方法100和300中的相应流程，并且能够达到相同或等同的技术效果，为了简洁，在此不再赘述。
下面将结合图5详细描述根据本说明书实施例的电子设备。参考图5，在硬件层面，电子设备包括处理器，可选地，包括内部总线、网络接口、存储器。其中，如图5所示，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括实现其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture，EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成数据查询的装置。处理器，执行存储器所存放的程序，并具体用于执行本说明书前文所述的方法实施例的操作。
上述图1至图4所示实施例揭示的方法、装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
图5所示的电子设备还可执行图1至图3的方法，并实现数据查询方法在图1至图3所示实施例的功能，本说明书实施例在此不再赘述。
当然，除了软件实现方式之外，本申请的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
本说明书实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述各个方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种数据查询方法，包括：
接收用户的数据查询请求；
从离线数据库查找所述用户第一时段的离线数据，其中，所述离线数据是按照预设查询请求获取原始数据并对所述原始数据进行预先加工处理得到；
从在线数据库查找所述用户第二时段的在线数据，所述第二时段在所述第一时段之后；
对所述离线数据和所述在线数据进行组合处理，并返回组合处理后的数据。
2.根据权利要求1所述的方法，接收用户的数据查询请求之后，所述方法还包括：
对所述数据查询请求进行解析，以确定待查询数据所对应的时段；
其中，所述待查询数据所对应的时段包括所述第一时段和所述第二时段。
3.根据权利要求1所述的方法，若从所述离线数据库未查找到所述用户第一时段的离线数据，则对所述离线数据和所述在线数据进行组合处理之前，所述方法还包括：
从所述在线数据库查找所述用户第一时段的在线数据；
对所述用户第一时段的在线数据进行加工处理，以得到所述离线数据。
4.根据权利要求1至3任一项所述的方法，所述第一时段在目标时刻之前，所述第二时段在所述目标时刻之后，所述目标时刻是随着系统时间变化而变化的变量。
5.根据权利要求1所述的方法，所述原始数据包括按天生成的数据，所述对所述原始数据进行预先加工处理包括：
对所述按天生成的数据进行下述至少一种运算：
求和；
求平均；以及
按照预设的乘积系数求积。
6.根据权利要求1所述的方法，接收用户的数据查询请求之前，所述方法还包括：
按照预设查询请求获取原始数据；
对所述原始数据进行预先加工处理，得到所述离线数据；
将所述离线数据存入所述离线数据库。
7.根据权利要求1所述的方法，所述离线数据库包括HBase数据库。
8.一种数据查询装置，包括：
查询请求接收模块，接收用户的数据查询请求；
离线数据获取模块，从离线数据库查找所述用户第一时段的离线数据，其中，所述离线数据是按照预设查询请求获取原始数据并对所述原始数据进行预先加工处理得到；
在线数据获取模块，从在线数据库查找所述用户第二时段的在线数据，所述第二时段在所述第一时段之后；
处理模块，对所述离线数据和所述在线数据进行组合处理，并返回组合处理后的数据。
9.一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如下操作：
接收用户的数据查询请求；
从离线数据库查找所述用户第一时段的离线数据，其中，所述离线数据是按照预设查询请求获取原始数据并对所述原始数据进行预先加工处理得到；
从在线数据库查找所述用户第二时段的在线数据，所述第二时段在所述第一时段之后；
对所述离线数据和所述在线数据进行组合处理，并返回组合处理后的数据。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如下操作：
接收用户的数据查询请求；
从离线数据库查找所述用户第一时段的离线数据，其中，所述离线数据是按照预设查询请求获取原始数据并对所述原始数据进行预先加工处理得到；
从在线数据库查找所述用户第二时段的在线数据，所述第二时段在所述第一时段之后；
对所述离线数据和所述在线数据进行组合处理，并返回组合处理后的数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910663210.1A CN110442598A (zh) | 2019-07-22 | 2019-07-22 | 一种数据查询方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910663210.1A CN110442598A (zh) | 2019-07-22 | 2019-07-22 | 一种数据查询方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110442598A true CN110442598A (zh) | 2019-11-12 |
Family
ID=68431153
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910663210.1A Pending CN110442598A (zh) | 2019-07-22 | 2019-07-22 | 一种数据查询方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110442598A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113407623A (zh) * | 2021-05-31 | 2021-09-17 | 北京达佳互联信息技术有限公司 | 数据的处理方法、装置及服务器 |
| CN113626508A (zh) * | 2021-07-13 | 2021-11-09 | 交控科技股份有限公司 | 列车特征库管理方法、装置、电子设备及可读存储介质 |
| CN114416817A (zh) * | 2021-12-21 | 2022-04-29 | 北京镁伽科技有限公司 | 用于处理数据的方法、装置、设备、系统及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106446170A (zh) * | 2016-09-27 | 2017-02-22 | 努比亚技术有限公司 | 数据查询方法及装置 |
| CN108920498A (zh) * | 2018-05-23 | 2018-11-30 | 阿里巴巴集团控股有限公司 | 数据查询方法、装置及设备 |
| CN109299164A (zh) * | 2018-09-03 | 2019-02-01 | 中国平安人寿保险股份有限公司 | 一种数据查询方法、计算机可读存储介质及终端设备 |
-
2019
- 2019-07-22 CN CN201910663210.1A patent/CN110442598A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106446170A (zh) * | 2016-09-27 | 2017-02-22 | 努比亚技术有限公司 | 数据查询方法及装置 |
| CN108920498A (zh) * | 2018-05-23 | 2018-11-30 | 阿里巴巴集团控股有限公司 | 数据查询方法、装置及设备 |
| CN109299164A (zh) * | 2018-09-03 | 2019-02-01 | 中国平安人寿保险股份有限公司 | 一种数据查询方法、计算机可读存储介质及终端设备 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113407623A (zh) * | 2021-05-31 | 2021-09-17 | 北京达佳互联信息技术有限公司 | 数据的处理方法、装置及服务器 |
| CN113626508A (zh) * | 2021-07-13 | 2021-11-09 | 交控科技股份有限公司 | 列车特征库管理方法、装置、电子设备及可读存储介质 |
| CN114416817A (zh) * | 2021-12-21 | 2022-04-29 | 北京镁伽科技有限公司 | 用于处理数据的方法、装置、设备、系统及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110442598A (zh) | 一种数据查询方法和装置 | |
| US7873552B2 (en) | Recommending waste reductions and credit purchases for business units | |
| US20070156578A1 (en) | Method and system for reducing a number of financial transactions | |
| CN110060139B (zh) | 账务处理方法及装置 | |
| CN107094166A (zh) | 一种业务信息发送方法及装置 | |
| US20100174628A1 (en) | Use of separate rib ledgers in a computerized enterprisere source planning system | |
| WO2019179067A1 (zh) | 业务逻辑的处理方法、系统、计算机设备和存储介质 | |
| CN110389989A (zh) | 一种数据处理方法、装置及设备 | |
| CN105243001A (zh) | 业务对象的异常告警方法和装置 | |
| CN106157066A (zh) | 映射关系处理方法、系统及信息处理平台设备 | |
| CN112527402A (zh) | 结算方法以及相关装置 | |
| CN107980147B (zh) | 跟踪分布式计算系统中的数据流 | |
| US20170344943A1 (en) | Incentivized adjustment of optimal delivery route | |
| US8417594B2 (en) | Dimension-based financial reporting using multiple combinations of dimensions | |
| CN110245177A (zh) | 一种百万级数据的导出方法 | |
| CN114022240A (zh) | 一种造价偏离处理方法和系统 | |
| CN106874327A (zh) | 一种针对业务数据的计数方法及装置 | |
| CN112560414A (zh) | 一种自动生成会计报表的方法和装置 | |
| CN110349016A (zh) | 客户授信额度测算方法及系统 | |
| CN114881546B (zh) | 一种确定资源消耗的方法和装置 | |
| CN105893393B (zh) | 数据保存方法及装置 | |
| US10956985B1 (en) | Scalable, service-based architecture for efficiently processing accrual-basis, out-of-order events | |
| CN106611315B (zh) | 一种业务的关联信息预估方法及装置 | |
| CN113971007B (zh) | 信息处理方法、装置、电子设备及介质 | |
| CN109035040A (zh) | 一种保单生成方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200924 Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands Applicant after: Innovative advanced technology Co.,Ltd. Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands Applicant before: Advanced innovation technology Co.,Ltd. Effective date of registration: 20200924 Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands Applicant after: Advanced innovation technology Co.,Ltd. Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands Applicant before: Alibaba Group Holding Ltd. |
|
| TA01 | Transfer of patent application right | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191112 |
|
| RJ01 | Rejection of invention patent application after publication |