CN112699149A - 目标数据获取方法、装置和存储介质及电子装置 - Google Patents

Abstract

本发明公开了一种目标数据获取方法、装置和存储介质及电子装置。其中，该方法包括：获取目标数据查询请求，其中，目标数据查询请求用于请求获取与目标主键值匹配的目标数据；在目标主键值包括第一主键值的情况下，响应目标数据查询请求，获取分布式系统中与目标主键值匹配的一条缓存数据，并将一条缓存数据确定为目标数据，其中，分布式系统中存储有N条缓存数据，N条缓存数据包括各自的第一主键值，N为大于或等于2的正整数；在目标主键值包括第二主键值的情况下，响应目标数据查询请求，获取分布式系统中与目标主键值匹配的至少两条缓存数据，并根据至少两条缓存数据确定为目标数据。本发明解决了目标数据获取的灵活度较低的技术问题。

Description

目标数据获取方法、装置和存储介质及电子装置

技术领域

本发明涉及计算机领域，具体而言，涉及一种目标数据获取方法、装置和存储介质及电子装置。

背景技术

现阶段越来越多的业务场景需要对数据进行实时处理，实时计算任务越来越多，其中Spark及Flink作为实时计算领域优秀的计算框架已经得到大规模的应用。早期的实时计算框架版本(如Spark Streaming)仅支持单条数据流的变换操作，并不支持实时数据流的关联计算或聚合计算。近期在时间窗口函数的支持下，实时计算框架新版本(如SparkStructured Streaming与Flink)实现了由时间窗口函数覆盖的实时数据的关联聚合计算。

但现有实时计算框架大抵直接使用分布式内存作为第一计算资源，从资源利用率的角度看，针对单项实时计算任务，内存等资源不可无限添加。因此在处理两项或多项实时数据流的关联计算或聚合计算任务时，即使是实时计算框架新版本仍然只能使用时间窗口函数对实时数据流进行部分内容缓存，不能直接使用全局数据进行关联或汇总，这大大限制了目标数据的获取场景。换言之，现有技术中存在因数据存储的限制性较高，而导致的目标数据的获取灵活度较低的技术问题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种目标数据获取方法、装置和存储介质及电子装置，以至少解决目标数据获取的灵活度较低的技术问题。

根据本发明实施例的一个方面，提供了一种目标数据获取方法，包括：获取目标数据查询请求，其中，上述目标数据查询请求用于请求获取与目标主键值匹配的目标数据；在上述目标主键值包括第一主键值的情况下，响应上述目标数据查询请求，获取分布式系统中与上述目标主键值匹配的一条缓存数据，并将上述一条缓存数据确定为上述目标数据，其中，上述分布式系统中存储有N条缓存数据，上述N条缓存数据包括各自的上述第一主键值，上述N为大于或等于2的正整数；在上述目标主键值包括第二主键值的情况下，响应上述目标数据查询请求，获取上述分布式系统中与上述目标主键值匹配的至少两条缓存数据，并根据上述至少两条缓存数据确定为上述目标数据。

根据本发明实施例的另一方面，还提供了一种目标数据获取装置，包括：第一获取单元，用于获取目标数据查询请求，其中，上述目标数据查询请求用于请求获取与目标主键值匹配的目标数据；第一响应单元，用于在上述目标主键值包括第一主键值的情况下，响应上述目标数据查询请求，获取分布式系统中与上述目标主键值匹配的一条缓存数据，并将上述一条缓存数据确定为上述目标数据，其中，上述分布式系统中存储有N条缓存数据，上述N条缓存数据包括各自的上述第一主键值，上述N为大于或等于2的正整数；第二响应单元，用于在上述目标主键值包括第二主键值的情况下，响应上述目标数据查询请求，获取上述分布式系统中与上述目标主键值匹配的至少两条缓存数据，并根据上述至少两条缓存数据确定为上述目标数据。

根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述目标数据获取方法。

根据本发明实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的目标数据获取方法。

在本发明实施例中，获取目标数据查询请求，其中，上述目标数据查询请求用于请求获取与上述目标主键值匹配的目标数据；在上述目标主键值包括第一主键值的情况下，响应上述目标数据查询请求，获取分布式系统中与上述目标主键值匹配的一条缓存数据，并将上述一条缓存数据确定为上述目标数据，其中，上述分布式系统中存储有N条缓存数据，上述N条缓存数据包括各自的上述第一主键值，上述N为大于或等于2的正整数；在上述目标主键值包括第二主键值的情况下，响应上述目标数据查询请求，获取上述分布式系统中与上述目标主键值匹配的至少两条缓存数据，并根据上述至少两条缓存数据确定为上述目标数据，利用不同类型的主键值，以获取存储分布式系统中的一条缓存数据或至少两条缓存数据，并灵活地根据上述获取的缓存数据确定最终的目标数据，进而达到了灵活获取目标数据的技术目的，从而实现了提高目标数据的获取灵活度的技术效果，进而解决了目标数据获取的灵活度较低的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的目标数据获取方法的应用环境的示意图；

图2是根据本发明实施例的一种可选的目标数据获取方法的流程图的示意图；

图3是根据本发明实施例的一种可选的目标数据获取方法的示意图；

图4是根据本发明实施例的另一种可选的目标数据获取方法的示意图；

图5是根据本发明实施例的另一种可选的目标数据获取方法的示意图；

图6是根据本发明实施例的另一种可选的目标数据获取方法的示意图；

图7是根据本发明实施例的另一种可选的目标数据获取方法的示意图；

图8是根据本发明实施例的一种可选的目标数据获取装置的示意图；

图9是根据本发明实施例的另一种可选的目标数据获取装置的示意图；

图10是根据本发明实施例的一种可选的电子装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例的一个方面，提供了一种目标数据获取方法，可选地，作为一种可选的实施方式，上述目标数据获取方法可以但不限于应用于如图1所示的环境中。其中，可以但不限于包括用户设备102、网络110及服务器112，其中，该用户设备102上可以但不限于包括显示器108、处理器106及存储器104。

具体过程可如下步骤：

步骤S102，获取用户设备102的查询界面上触发的目标数据查询请求，其中，该查询界面可以但不限于查询物流相关信息，该目标数据查询请求中还携带有目标主键值对应的物流相关信息，例如订单id、订单类型、物流状态、顾客id等；

步骤S104-S106，用户设备102通过网络110将目标数据查询请求发送给服务器112；

步骤S108，服务器112通过数据库114查找目标主键值对应的缓存数据，并通过处理引擎116基于该缓存数据生成目标数据；

步骤S110-S112，服务器112通过网络110将目标数据发送给用户设备102，用户设备102中的处理器106将目标数据处理为可显示的数据，并显示在显示器108中，以及将目标数据存储在存储器104中。

可选地，作为一种可选的实施方式，如图2所示，目标数据获取方法包括：

S202，获取目标数据查询请求，其中，目标数据查询请求用于请求获取与目标主键值匹配的目标数据；

S204，在目标主键值包括第一主键值的情况下，响应目标数据查询请求，获取分布式系统中与目标主键值匹配的一条缓存数据，并将一条缓存数据确定为目标数据，其中，分布式系统中存储有N条缓存数据，N条缓存数据包括各自的第一主键值，N为大于或等于2的正整数；

S206，在目标主键值包括第二主键值的情况下，响应目标数据查询请求，获取分布式系统中与目标主键值匹配的至少两条缓存数据，并根据至少两条缓存数据确定为目标数据。

可选的，在本实施例中，上述目标数据获取方法可以但不限于应用在物流数据的获取场景下，具体的，获取在物流查询界面上触发的物流数据查询请求，响应该物流数据查询请求，在分布式系统中查询与物流数据查询请求中携带的查询信息匹配的缓存数据，并将该缓存数据作为目标数据输出，并显示在该物流查询界面上，其中，还可根据查询信息对应的目标主键值的数据类型(第一主键值或第二主键值)确定缓存数据的获取方式，例如在查询信息对应的目标主键值包括第一主键值时，则获取高精准的一条缓存数据作为目标数据，而在查询信息对应的目标主键值包括第二主键值时，则获取小范围内的至少两条缓存数据，并按照预设的处理逻辑对该至少两条缓存数据进行处理，以获得目标数据。

可选的，在本实施例中，分布式系统可以但不限用于简化用户端的使用，提供了一个分布式缓存系统来提供对此分布式存储系统的访问接口以及本地数据缓冲以降低网络压力，例如HBase，其中，HBase可以但不限于是一个分布式的、面向列的开源数据库，一个结构化数据的分布式存储系统。

可选的，在本实施例中，主键值(rowkey)可以但不限用于检索分布式系统中的缓存数据，即按照rowkye键值进行权分布式系统范围内的get操作，此外，还可以但不限于通过设置starRowKey(起始行)和endRowKey(结束行)，在这个范围内进行扫描。可选的，在分布式系统中，rowkye可以但不限于是任意字符串，最大长度64KB，实际应用中一般为10-100bytes，存为byte[]字节数组，一般设计成定长。可选的，设计rowkye时，可以但不限于充分利用排序特点，将经常一起读取的数据存储到一起，将最近可能会被访问的数据放在一起。

可选的，在本实施例中，目标数据可以但不限于为列表式数据，其中，列表式数据可以但不限于包括列数据和行数据，例如图3所示，列数据302下的全部数据(例如A、B、C)用于表示行数据304下数据对应的数据类型。

可选的，在本实施例中，第一主键值可以但不限用于表示可查询唯一一条缓存数据的主键值，例如在物流场景下，第一主键值可以但不限于为订单id，通过订单id以查询到与之对应的唯一订单id下的全部物流数据；

可选的，在本实施例中，在本实施例中，第一主键值可以但不限用于表示可查询到的至少两条缓存数据的主键值，例如在物流场景下，第二主键值可以但不限于为顾客id、物流状态、订单生成时间等，通过上述数据，可以查询到与之对应的范围下的相关物流数据，具体的，在第二主键值为物流状态的情况下，获取物流状态为运输中的全部物流数据；

可选的，在本实施例中，分布式系统可以但不限于包括两部分的缓存数据库，一部分为用于存储第一主键值对应的缓存数据的第一缓存数据库，二部分为用于存储第二主键值对应的缓存数据的第二缓存数据库，其中，第一缓存数据库中可以但不限于存储有一张数据查询表，在该数据查询表中存储有具有一对一映射关系的第一主键值以及缓存数据，而第二缓存数据库中可以但不限于存储有不限制数量的多张数据查询表，在该数据查询表中存有具有一对多映射关系的第二主键值以及缓存数据。可选的，针对作为目标数据的一条缓存数据，在分布式系统中至多可查询到一条相关数据时，称之为一对一的映射关系，否则称之为一对多的映射关系。具体判定规则以业务需求为准，不同业务场景下的映射关系也不尽不同，但在同一项实时计算的目标数据的获取任务中，各条缓存数据与作为目标数据的缓存数据的映射关系是确定的。可选的，目标数据可以但不限于为HBase缓存表，第一缓存数据库中可以但不限于为结果表Hresult，第二缓存数据库中可以但不限于为原始表Horiginal。

在一种可选的实施例中，数据保存至HBase以实现下游的数据关联及聚合计算，最关键的前置条件是对HBase的Rowkey进行合理的设计。其中，第一缓存数据库使用主键作为rowkey，便于进行等值查找(即一对一映射关系)；第二缓存数据库使用结果表主键与原始表主键的字符串拼接作为rowkey，便于使用前缀过滤查找(即一对多映射关系)。

进一步可选的，在一对一的映射关系下，当实时数据流更新时，进行简易过滤及变换，筛选需要的列，然后以结果表主键列对应的rowkey保存至HBase结果表中。根据结果表主键列取值在HBase结果表中进行等值查询，其查询结果即为最终实时计算结果。

进一步可选的，在一对多的映射关系下，当实时数据流更新时，进行简易过滤及变换，筛选需要的列，然后以结果表主键与原始表主键的字符串拼接作为rowkey保存至HBase原始表中。

此外，因为一条结果表数据对应多条原始表数据，无法根据结果表主键对应的rowkey直接在原始表HBase缓存中进行等值查找。除了支持直接根据rowkey等值查找，HBase也支持rowkey的前缀过滤模糊查找，同时为了保证HBase查找性能，需同时设置起始行及结束行。

而在原始表HBase缓存中进行以结果表主键为前缀的过滤查找，同时起始行设定为结果表主键，结束行为结果表主键与字符“～”的字符串拼接。获取到多条原始表数据后，可直接在内存中进行聚合操作(比如常见的求和，根据时间排序后的最后一次更改值)，然后将聚合后的数据以结果表主键为rowkey填充到结果表中，以待其他数据进行更新时仅处理自身数据即可。根据结果表主键列取值在HBase结果表中进行等值查询，其查询结果即为最终实时计算结果。

需要说明的是，获取目标数据查询请求，其中，目标数据查询请求用于请求获取与目标主键值匹配的目标数据；在目标主键值包括第一主键值的情况下，响应目标数据查询请求，获取分布式系统中与目标主键值匹配的一条缓存数据，并将一条缓存数据确定为目标数据，其中，分布式系统中存储有N条缓存数据，N条缓存数据包括各自的第一主键值，N为大于或等于2的正整数；在目标主键值包括第二主键值的情况下，响应目标数据查询请求，获取分布式系统中与目标主键值匹配的至少两条缓存数据，并根据至少两条缓存数据确定为目标数据。

进一步举例说明，可选的例如现有三项实时数据流订单信息表t1、订单物流信息表t2、订单明细表t3，其各自数据结构如下述表(1)所示：

(1)；

进一步，实时计算需求为输出订单id、创建时间、顾客id，付款时间、发货时间、物流状态及订单总价，其使用sql伪码表示如下：

通过对结果表的伪码分析，可知结果表与数据表t1为一对一的映射关系，与数据表t2为一对一的映射关系，与数据表t3为一对多的映射关系。根据分析，需创建两张HBase缓存表，分别为结果表Hresult及原始表Horiginal(存储数据表t3)。其中HBase缓存表Hresult与实时计算输出结构一致，Horiginal与数据表t3数据结构一致。

当实时数据流t1收到一条新消息，数据为下述表(2)所示：

列名	取值
		order_id	123456789
order_type	A
		create_time	2020年11月20日15:27:42
consumer_id	19007653
		pay_time	2020年11月20日15:28:52

(2)；

进一步，取123为rowkey写入HBase缓存表Hresult中，并将上述数据按照列名写入。最后根据实时计算输出的结果，获取rowkey为123在HBase缓存表Hresult中对应的所有列的值。

当实时数据流t2收到一条新消息时，与实时数据流t1操作一致；当实时数据流t3收到一条新消息时，数据为下述表(3)所示：

列名	取值
		detail_id	6543
order_id	123456789
		goods_id	66
price	5.50
		quantity	2

(3)；

再者，取123456789_4321为rowkey写入HBase缓存表Horiginal中，并将上述数据按照列名写入。同时根据在HBase缓存表Horiginal中，进行以“123456789”为前缀的过滤查找，同时起始行设定为“123456789”，结束行为“123456789～”。假设此时可查询到三条数据，分别如表(4)：

列名	数据1	数据2	数据3
				detail_id	6543	6542	6540
order_id	123456789	123456789	123456789
				goods_id	66	62	61
price	5.50	9.30	79.00
				quantity	2	5	1

(4)；

则根据sql伪码可知，订单总价为5.50*2+9.30*5+79.00*1＝136.50，则将此值存入HBase缓存表Hresult中，保存列名为amount。最后根据实时计算输出的结构，获取rowkey为123456789在HBase缓存表Hresult中对应的所有列的值。

在上述实施例中，因借助HBase作为实时数据的缓存地，当有新的实时数据待处理时，先将数据缓存至HBase中，依托HBase强大的随机读取性能及小范围扫描的查询性能，通过等值查询及前缀过滤查询，实现实时数据的关联。同时HBase作为列式存储组件，对于实时数据结构的变更，有较强的适应性，特殊情况下可以实现半结构化数据甚至异构数据的实时关联。

此外，还因为使用了HBase作为实时数据的缓存存储，而HBase可以满足超大数据量的存储且容量扩展代价较低，实时数据可以全量保存至HBase，进而实现全局实时数据的关联及聚合操作，解决了当关联数据时间间隔较大时，导致传统实时计算框架使用的时间窗口函数跨度较大，进而内存等资源占用较高的问题。

通过本申请提供的实施例，获取目标数据查询请求，其中，目标数据查询请求用于请求获取与目标主键值匹配的目标数据；在目标主键值包括第一主键值的情况下，响应目标数据查询请求，获取分布式系统中与目标主键值匹配的一条缓存数据，并将一条缓存数据确定为目标数据，其中，分布式系统中存储有N条缓存数据，N条缓存数据包括各自的第一主键值，N为大于或等于2的正整数；在目标主键值包括第二主键值的情况下，响应目标数据查询请求，获取分布式系统中与目标主键值匹配的至少两条缓存数据，并根据至少两条缓存数据确定为目标数据，利用不同类型的主键值，以获取存储分布式系统中的一条缓存数据或至少两条缓存数据，并灵活地根据上述获取的缓存数据确定最终的目标数据，进而达到了灵活获取目标数据的技术目的，从而实现了提高目标数据的获取灵活度的技术效果。

作为一种可选的方案，获取分布式系统中与目标主键值匹配的一条缓存数据，包括：

S1，获取目标主键值对应的第一主键值；

S2，从分布式系统中确定目标主键值对应的第一主键值匹配的一条缓存数据。

需要说明的是，获取目标主键值对应的第一主键值；从分布式系统中确定目标主键值对应的第一主键值匹配的一条缓存数据。

进一步举例说明，可选的例如图4所示，在查询界面上触发查询请求(即目标数据查询请求)，其中，该查询请求携带有在查询界面上触发的针对订单id(例如“123456”)的查询请求，假设该订单id对应的目标主键值包括第一主键值的情况下，从分布式系统中确定与该订单id对应的第一主键值匹配的一条缓存数据。

通过本申请提供的实施例，获取目标主键值对应的第一主键值；从分布式系统中确定目标主键值对应的第一主键值匹配的一条缓存数据，达到了准确获取缓存数据的目的，实现了提高缓存数据的获取准确性的效果。

作为一种可选的方案，从分布式系统中确定目标主键值对应的第一主键值匹配的一条缓存数据，包括：

S1，确定第一数据查询表，其中，第一数据查询表记录有存储在分布式系统中的任一条缓存数据与第一主键值之间的第一映射关系；

S2，根据第一映射关系与目标主键值对应的第一主键值，从分布式系统中确定一条缓存数据。

需要说明的是，确定第一数据查询表，其中，第一数据查询表记录有存储在分布式系统中的任一条缓存数据与第一主键值之间的第一映射关系；根据第一映射关系与目标主键值对应的第一主键值，从分布式系统中确定一条缓存数据。

进一步举例说明，可选的基于图4所示场景，继续例如图5所示，在图5(a)所示场景下获取第一主键值，并在图5(b)所示场景下，在第一数据查询表502中获取与第一主键值(例如列数据“123456”)具有第一映射关系的一条缓存数据(例如行数据“A”)。

通过本申请提供的实施例，确定第一数据查询表，其中，第一数据查询表记录有存储在分布式系统中的任一条缓存数据与第一主键值之间的第一映射关系；根据第一映射关系与目标主键值对应的第一主键值，从分布式系统中确定一条缓存数据，达到了准确获取缓存数据的目的，实现了提高缓存数据的获取准确性的效果。

作为一种可选的方案，获取分布式系统中与目标主键值匹配的至少两条缓存数据，包括：

S1，获取目标主键值对应的第二主键值；

S2，从分布式系统中确定目标主键值对应的第二主键值匹配的至少两条缓存数据。

需要说明的是，获取目标主键值对应的第二主键值；从分布式系统中确定目标主键值对应的第二主键值匹配的至少两条缓存数据。

进一步举例说明，可选的基于图4所示场景，继续例如图6所示，在查询界面上触发查询请求(即目标数据查询请求)，其中，该查询请求携带有在查询界面上触发的针对物流状态(例如“运输中”)的查询请求，假设该物流状态对应的目标主键值包括第二主键值的情况下，从分布式系统中确定与该物流状态对应的第二主键值匹配的至少两条缓存数据。

通过本申请提供的实施例，获取目标主键值对应的第二主键值；从分布式系统中确定目标主键值对应的第二主键值匹配的至少两条缓存数据，达到了准确获取缓存数据的目的，实现了提高缓存数据的获取准确性的效果。

作为一种可选的方案，从分布式系统中确定目标主键值对应的第二主键值匹配的至少两条缓存数据，包括：

S1，确定第二数据查询表，其中，第二数据查询表记录有存储在分布式系统中的任至少两条缓存数据与第二主键值之间的第二映射关系；

S2，根据第二映射关系与目标主键值对应的第二主键值，从分布式系统中确定至少两条缓存数据。

需要说明的是，确定第二数据查询表，其中，第二数据查询表记录有存储在分布式系统中的任至少两条缓存数据与第二主键值之间的第二映射关系；根据第二映射关系与目标主键值对应的第二主键值，从分布式系统中确定至少两条缓存数据。

进一步举例说明，可选的基于图6所示场景，继续例如图7所示，在图7(a)所示场景下获取第二主键值，并在图7(b)所示场景下，在第二数据查询表702中获取与第二主键值(例如列数据“运输中”)具有第二映射关系的二条缓存数据(例如行数据“123456”)。

通过本申请提供的实施例，确定第二数据查询表，其中，第二数据查询表记录有存储在分布式系统中的任至少两条缓存数据与第二主键值之间的第二映射关系；根据第二映射关系与目标主键值对应的第二主键值，从分布式系统中确定至少两条缓存数据，达到了准确获取缓存数据的目的，实现了提高缓存数据的获取准确性的效果。

作为一种可选的方案，根据至少两条缓存数据确定为目标数据，包括：

S1，对至少两条缓存数据进行聚合计算；

S2，将聚合计算的输出结果确定目标数据。

可选的，在本实施例中，聚合计算可以但不限用于基于至少两个缓存数据，获取一个数据，例如合并、求平均值、最大值、最小值等，具体的聚合计算方式，可基于不同的业务需求，灵活设置。

需要说明的是，对至少两条缓存数据进行聚合计算；将聚合计算的输出结果确定目标数据。

通过本申请提供的实施例，对至少两条缓存数据进行聚合计算；将聚合计算的输出结果确定目标数据，达到了灵活获取目标数据的目的，实现了提高目标数据的获取灵活性的效果。

作为一种可选的方案，在获取目标数据查询请求之前，包括：

S1，获取待存储的实时数据，其中，实时数据携带有实时数据对应的数据主键值；

S2，按照数据主键值，将实时数据存储至分布式系统中，其中，数据主键值包括第一主键值或第二主键值。

需要说明的是，获取待存储的实时数据，其中，实时数据携带有实时数据对应的数据主键值；按照数据主键值，将实时数据存储至分布式系统中，其中，数据主键值包括第一主键值或第二主键值。

进一步举例说明，可选的例如使用分布式系统作为实时数据的缓存仓库，因为该分布式系统并无缓存数据的容量限制，进而可以做到全局实时数据的高性能存储、关联聚合计算等实现。

通过本申请提供的实施例，获取待存储的实时数据，其中，实时数据携带有实时数据对应的数据主键值；按照数据主键值，将实时数据存储至分布式系统中，其中，数据主键值包括第一主键值或第二主键值，达到了减少实时数据的存储限制的目的，实现了提高实时数据的存储效率的效果。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

根据本发明实施例的另一个方面，还提供了一种用于实施上述目标数据获取方法的目标数据获取装置。如图8所示，该装置包括：

第一获取单元802，用于获取目标数据查询请求，其中，目标数据查询请求用于请求获取与目标主键值匹配的目标数据；

第一响应单元804，用于在目标主键值包括第一主键值的情况下，响应目标数据查询请求，获取分布式系统中与目标主键值匹配的一条缓存数据，并将一条缓存数据确定为目标数据，其中，分布式系统中存储有N条缓存数据，N条缓存数据包括各自的第一主键值，N为大于或等于2的正整数；

第二响应单元806，用于在目标主键值包括第二主键值的情况下，响应目标数据查询请求，获取分布式系统中与目标主键值匹配的至少两条缓存数据，并根据至少两条缓存数据确定为目标数据。

可选的，在本实施例中，上述目标数据获取装置可以但不限于应用在物流数据的获取场景下，具体的，获取在物流查询界面上触发的物流数据查询请求，响应该物流数据查询请求，在分布式系统中查询与物流数据查询请求中携带的查询信息匹配的缓存数据，并将该缓存数据作为目标数据输出，并显示在该物流查询界面上，其中，还可根据查询信息对应的目标主键值的数据类型(第一主键值或第二主键值)确定缓存数据的获取方式，例如在查询信息对应的目标主键值包括第一主键值时，则获取高精准的一条缓存数据作为目标数据，而在查询信息对应的目标主键值包括第二主键值时，则获取小范围内的至少两条缓存数据，并按照预设的处理逻辑对该至少两条缓存数据进行处理，以获得目标数据。

可选的，在本实施例中，分布式系统可以但不限用于简化用户端的使用，提供了一个分布式缓存系统来提供对此分布式存储系统的访问接口以及本地数据缓冲以降低网络压力，例如HBase，其中，HBase可以但不限于是一个分布式的、面向列的开源数据库，一个结构化数据的分布式存储系统。

可选的，在本实施例中，主键值(rowkey)可以但不限用于检索分布式系统中的缓存数据，即按照rowkye键值进行权分布式系统范围内的get操作，此外，还可以但不限于通过设置starRowKey(起始行)和endRowKey(结束行)，在这个范围内进行扫描。可选的，在分布式系统中，rowkye可以但不限于是任意字符串，最大长度64KB，实际应用中一般为10-100bytes，存为byte[]字节数组，一般设计成定长。可选的，设计rowkye时，可以但不限于充分利用排序特点，将经常一起读取的数据存储到一起，将最近可能会被访问的数据放在一起。

可选的，在本实施例中，目标数据可以但不限于为列表式数据，其中，列表式数据可以但不限于包括列数据和行数据，例如图3所示，列数据302下的全部数据(例如A、B、C)用于表示行数据304下数据对应的数据类型。

可选的，在本实施例中，第一主键值可以但不限用于表示可查询唯一一条缓存数据的主键值，例如在物流场景下，第一主键值可以但不限于为订单id，通过订单id以查询到与之对应的唯一订单id下的全部物流数据；

可选的，在本实施例中，在本实施例中，第一主键值可以但不限用于表示可查询到的至少两条缓存数据的主键值，例如在物流场景下，第二主键值可以但不限于为顾客id、物流状态、订单生成时间等，通过上述数据，可以查询到与之对应的范围下的相关物流数据，具体的，在第二主键值为物流状态的情况下，获取物流状态为运输中的全部物流数据；

可选的，在本实施例中，分布式系统可以但不限于包括两部分的缓存数据库，一部分为用于存储第一主键值对应的缓存数据的第一缓存数据库，二部分为用于存储第二主键值对应的缓存数据的第二缓存数据库，其中，第一缓存数据库中可以但不限于存储有一张数据查询表，在该数据查询表中存储有具有一对一映射关系的第一主键值以及缓存数据，而第二缓存数据库中可以但不限于存储有不限制数量的多张数据查询表，在该数据查询表中存有具有一对多映射关系的第二主键值以及缓存数据。可选的，针对作为目标数据的一条缓存数据，在分布式系统中至多可查询到一条相关数据时，称之为一对一的映射关系，否则称之为一对多的映射关系。具体判定规则以业务需求为准，不同业务场景下的映射关系也不尽不同，但在同一项实时计算的目标数据的获取任务中，各条缓存数据与作为目标数据的缓存数据的映射关系是确定的。可选的，目标数据可以但不限于为HBase缓存表，第一缓存数据库中可以但不限于为结果表Hresult，第二缓存数据库中可以但不限于为原始表Horiginal。

在一种可选的实施例中，数据保存至HBase以实现下游的数据关联及聚合计算，最关键的前置条件是对HBase的Rowkey进行合理的设计。其中，第一缓存数据库使用主键作为rowkey，便于进行等值查找(即一对一映射关系)；第二缓存数据库使用结果表主键与原始表主键的字符串拼接作为rowkey，便于使用前缀过滤查找(即一对多映射关系)。

进一步可选的，在一对一的映射关系下，当实时数据流更新时，进行简易过滤及变换，筛选需要的列，然后以结果表主键列对应的rowkey保存至HBase结果表中。根据结果表主键列取值在HBase结果表中进行等值查询，其查询结果即为最终实时计算结果。

进一步可选的，在一对多的映射关系下，当实时数据流更新时，进行简易过滤及变换，筛选需要的列，然后以结果表主键与原始表主键的字符串拼接作为rowkey保存至HBase原始表中。

此外，因为一条结果表数据对应多条原始表数据，无法根据结果表主键对应的rowkey直接在原始表HBase缓存中进行等值查找。除了支持直接根据rowkey等值查找，HBase也支持rowkey的前缀过滤模糊查找，同时为了保证HBase查找性能，需同时设置起始行及结束行。

而在原始表HBase缓存中进行以结果表主键为前缀的过滤查找，同时起始行设定为结果表主键，结束行为结果表主键与字符“～”的字符串拼接。获取到多条原始表数据后，可直接在内存中进行聚合操作(比如常见的求和，根据时间排序后的最后一次更改值)，然后将聚合后的数据以结果表主键为rowkey填充到结果表中，以待其他数据进行更新时仅处理自身数据即可。根据结果表主键列取值在HBase结果表中进行等值查询，其查询结果即为最终实时计算结果。

需要说明的是，获取目标数据查询请求，其中，目标数据查询请求用于请求获取与目标主键值匹配的目标数据；在目标主键值包括第一主键值的情况下，响应目标数据查询请求，获取分布式系统中与目标主键值匹配的一条缓存数据，并将一条缓存数据确定为目标数据，其中，分布式系统中存储有N条缓存数据，N条缓存数据包括各自的第一主键值，N为大于或等于2的正整数；在目标主键值包括第二主键值的情况下，响应目标数据查询请求，获取分布式系统中与目标主键值匹配的至少两条缓存数据，并根据至少两条缓存数据确定为目标数据。

具体实施例可以参考上述目标数据获取方法中所示示例，本示例中在此不再赘述。

通过本申请提供的实施例，获取目标数据查询请求，其中，目标数据查询请求用于请求获取与目标主键值匹配的目标数据；在目标主键值包括第一主键值的情况下，响应目标数据查询请求，获取分布式系统中与目标主键值匹配的一条缓存数据，并将一条缓存数据确定为目标数据，其中，分布式系统中存储有N条缓存数据，N条缓存数据包括各自的第一主键值，N为大于或等于2的正整数；在目标主键值包括第二主键值的情况下，响应目标数据查询请求，获取分布式系统中与目标主键值匹配的至少两条缓存数据，并根据至少两条缓存数据确定为目标数据，利用不同类型的主键值，以获取存储分布式系统中的一条缓存数据或至少两条缓存数据，并灵活地根据上述获取的缓存数据确定最终的目标数据，进而达到了灵活获取目标数据的技术目的，从而实现了提高目标数据的获取灵活度的技术效果。

作为一种可选的方案，第一响应单元804，包括：

第一获取模块，用于获取目标主键值对应的第一主键值；

第一确定模块，用于从分布式系统中确定目标主键值对应的第一主键值匹配的一条缓存数据。

具体实施例可以参考上述目标数据获取方法中所示示例，本示例中在此不再赘述。

作为一种可选的方案，第一确定模块，包括：

第一确定子模块，用于确定第一数据查询表，其中，第一数据查询表记录有存储在分布式系统中的任一条缓存数据与第一主键值之间的第一映射关系；

第二确定子模块，用于根据第一映射关系与目标主键值对应的第一主键值，从分布式系统中确定一条缓存数据。

具体实施例可以参考上述目标数据获取方法中所示示例，本示例中在此不再赘述。

作为一种可选的方案，第二响应单元806，包括：

第二获取模块，用于获取目标主键值对应的第二主键值；

第二确定模块，用于从分布式系统中确定目标主键值对应的第二主键值匹配的至少两条缓存数据。

具体实施例可以参考上述目标数据获取方法中所示示例，本示例中在此不再赘述。

作为一种可选的方案，第二确定模块，包括：

第三确定子模块，用于确定第二数据查询表，其中，第二数据查询表记录有存储在分布式系统中的任至少两条缓存数据与第二主键值之间的第二映射关系；

第四确定子模块，用于根据第二映射关系与目标主键值对应的第二主键值，从分布式系统中确定至少两条缓存数据。

具体实施例可以参考上述目标数据获取方法中所示示例，本示例中在此不再赘述。

作为一种可选的方案，第二响应单元806，包括：

第一计算模块，用于对至少两条缓存数据进行聚合计算；

第二计算模块，用于将聚合计算的输出结果确定目标数据。

具体实施例可以参考上述目标数据获取方法中所示示例，本示例中在此不再赘述。

作为一种可选的方案，如图9所示，包括：

第二获取单元902，用于在获取目标数据查询请求之前，获取待存储的实时数据，其中，实时数据携带有实时数据对应的数据主键值；

存储单元904，用于在获取目标数据查询请求之前，按照数据主键值，将实时数据存储至分布式系统中，其中，数据主键值包括第一主键值或第二主键值。

具体实施例可以参考上述目标数据获取方法中所示示例，本示例中在此不再赘述。

根据本发明实施例的又一个方面，还提供了一种用于实施上述目标数据获取方法的电子装置，如图10所示，该电子装置包括存储器1002和处理器1004，该存储器1002中存储有计算机程序，该处理器1004被设置为通过计算机程序执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取目标数据查询请求，其中，目标数据查询请求用于请求获取与目标主键值匹配的目标数据；

S2，在目标主键值包括第一主键值的情况下，响应目标数据查询请求，获取分布式系统中与目标主键值匹配的一条缓存数据，并将一条缓存数据确定为目标数据，其中，分布式系统中存储有N条缓存数据，N条缓存数据包括各自的第一主键值，N为大于或等于2的正整数；

S3，在目标主键值包括第二主键值的情况下，响应目标数据查询请求，获取分布式系统中与目标主键值匹配的至少两条缓存数据，并根据至少两条缓存数据确定为目标数据。

可选地，本领域普通技术人员可以理解，图10所示的结构仅为示意，电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图10其并不对上述电子装置的结构造成限定。例如，电子装置还可包括比图10中所示更多或者更少的组件(如网络接口等)，或者具有与图10所示不同的配置。

其中，存储器1002可用于存储软件程序以及模块，如本发明实施例中的目标数据获取方法和装置对应的程序指令/模块，处理器1004通过运行存储在存储器1002内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的目标数据获取方法。存储器1002可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1002可进一步包括相对于处理器1004远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器1002具体可以但不限于用于存储目标数据查询请求、目标主键值以及目标数据等信息。作为一种示例，如图10所示，上述存储器1002中可以但不限于包括上述目标数据获取装置中的第一获取单元802、第一响应单元804及第二响应单元806。此外，还可以包括但不限于上述目标数据获取装置中的其他模块单元，本示例中不再赘述。

可选地，上述的传输装置1006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置1006包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置1006为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

此外，上述电子装置还包括：显示器1008，用于显示上述目标数据查询请求、目标主键值以及目标数据等信息；和连接总线1010，用于连接上述电子装置中的各个模块部件。

根据本发明的实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，获取目标数据查询请求，其中，目标数据查询请求用于请求获取与目标主键值匹配的目标数据；

S2，在目标主键值包括第一主键值的情况下，响应目标数据查询请求，获取分布式系统中与目标主键值匹配的一条缓存数据，并将一条缓存数据确定为目标数据，其中，分布式系统中存储有N条缓存数据，N条缓存数据包括各自的第一主键值，N为大于或等于2的正整数；

S3，在目标主键值包括第二主键值的情况下，响应目标数据查询请求，获取分布式系统中与目标主键值匹配的至少两条缓存数据，并根据至少两条缓存数据确定为目标数据。

可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种目标数据获取方法，其特征在于，包括：

获取目标数据查询请求，其中，所述目标数据查询请求用于请求获取与目标主键值匹配的目标数据；

在所述目标主键值包括第一主键值的情况下，响应所述目标数据查询请求，获取分布式系统中与所述目标主键值匹配的一条缓存数据，并将所述一条缓存数据确定为所述目标数据，其中，所述分布式系统中存储有N条缓存数据，所述N条缓存数据包括各自的所述第一主键值，所述N为大于或等于2的正整数；

在所述目标主键值包括第二主键值的情况下，响应所述目标数据查询请求，获取所述分布式系统中与所述目标主键值匹配的至少两条缓存数据，并根据所述至少两条缓存数据确定为所述目标数据。

2.根据权利要求1所述的方法，其特征在于，所述获取分布式系统中与所述目标主键值匹配的一条缓存数据，包括：

获取所述目标主键值对应的第一主键值；

从所述分布式系统中确定所述目标主键值对应的第一主键值匹配的所述一条缓存数据。

3.根据权利要求2所述的方法，其特征在于，所述从所述分布式系统中确定所述目标主键值对应的第一主键值匹配的所述一条缓存数据，包括：

确定第一数据查询表，其中，所述第一数据查询表记录有存储在所述分布式系统中的任一条缓存数据与所述第一主键值之间的第一映射关系；

根据第一映射关系与所述目标主键值对应的第一主键值，从所述分布式系统中确定所述一条缓存数据。

4.根据权利要求1所述的方法，其特征在于，所述获取所述分布式系统中与所述目标主键值匹配的至少两条缓存数据，包括：

获取所述目标主键值对应的第二主键值；

从所述分布式系统中确定所述目标主键值对应的第二主键值匹配的所述至少两条缓存数据。

5.根据权利要求4所述的方法，其特征在于，所述从所述分布式系统中确定所述目标主键值对应的第二主键值匹配的所述至少两条缓存数据，包括：

确定第二数据查询表，其中，所述第二数据查询表记录有存储在所述分布式系统中的任至少两条缓存数据与所述第二主键值之间的第二映射关系；

根据第二映射关系与所述目标主键值对应的第二主键值，从所述分布式系统中确定所述至少两条缓存数据。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述根据所述至少两条缓存数据确定为所述目标数据，包括：

对所述至少两条缓存数据进行聚合计算；

将所述聚合计算的输出结果确定所述目标数据。

7.根据权利要求1至5中任一项所述的方法，其特征在于，在所述获取目标数据查询请求之前，包括：

获取待存储的实时数据，其中，所述实时数据携带有所述实时数据对应的数据主键值；

按照所述数据主键值，将所述实时数据存储至所述分布式系统中，其中，所述数据主键值包括所述第一主键值或所述第二主键值。

8.一种目标数据获取装置，其特征在于，包括：

第一获取单元，用于获取目标数据查询请求，其中，所述目标数据查询请求用于请求获取与目标主键值匹配的目标数据；

第一响应单元，用于在所述目标主键值包括第一主键值的情况下，响应所述目标数据查询请求，获取分布式系统中与所述目标主键值匹配的一条缓存数据，并将所述一条缓存数据确定为所述目标数据，其中，所述分布式系统中存储有N条缓存数据，所述N条缓存数据包括各自的所述第一主键值，所述N为大于或等于2的正整数；

第二响应单元，用于在所述目标主键值包括第二主键值的情况下，响应所述目标数据查询请求，获取所述分布式系统中与所述目标主键值匹配的至少两条缓存数据，并根据所述至少两条缓存数据确定为所述目标数据。

9.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至7任一项中所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。

Images