CN114817344A - 一种数据获取方法和装置 - Google Patents

Abstract

本发明实施例公开了一种数据获取方法和装置；本发明实施例在接收终端发送的推荐内容的消费数据获取请求后，消费数据获取请求携带推荐内容的属性信息和消费时间，根据属性信息，在云平台的维度索引信息中识别出推荐内容对应的至少一个内容标识，该维度索引信息用于指示内容维度与推荐内容的内容标识的关联关系，基于内容标识，在平台的时序索引信息中确定出推荐内容对应的目标时序索引，该时序索引信息用于指示推荐内容的内容标识与时序索引的关联关系，在目标时序索引中获取推荐内容在消费时间内的目标消费数据，并将目标消费数据返回至终端；该方案可以提高数据获取的效率。

Description

一种数据获取方法和装置

技术领域

本发明涉及通信技术领域，具体涉及一种数据获取方法和装置。

背景技术

近年来，随着内容推荐方法的飞速发展，越来越多的内容被精准的进行推荐，用户通过终端对推荐内容进行消费，产生实时消费数据。在对推荐内容的内容质量或推荐效果进行分析时，就需要在实时消费数据中获取某一个特定的消费时间的消费数据。现有的消费数据获取方法是在存储实时消费数据的数据库中对消费时间内所有的消费数据进行计算来获取目标消费数据。

在对现有技术的研究和实践过程中，本发明的发明人发现对于消费数据获取方法来说，不仅要在全量的实时消费数据中去查询消费时间内所有的消费数据，而且还要对这些消费数据进行聚合，才可以得到目标消费数据，大大增加了目标消费数据的获取时间，因此，导致数据获取的效率大大降低。

发明内容

本发明实施例提供一种数据获取方法和装置，可以提高数据获取的效率。

一种数据获取方法，包括：

接收终端发送的推荐内容的消费数据获取请求，所述消费数据获取请求携带所述推荐内容的属性信息和消费时间；

根据所述属性信息，在维度索引信息中识别出所述推荐内容对应的至少一个内容标识，所述维度索引信息用于指示内容维度与所述推荐内容的内容标识的关联关系；

基于所述内容标识，在时序索引信息中确定出所述推荐内容对应的目标时序索引，所述时序索引信息用于指示所述推荐内容的内容标识与时序索引的关联关系，所述时序索引中包括至少一个预设的消费时间单元对应的消费数据；

在所述目标时序索引中获取所述推荐内容在所述消费时间内的目标消费数据，并将所述目标消费数据返回至所述终端。

相应的，本发明实施例提供一种数据获取装置，包括：

接收单元，用于接收终端发送的推荐内容的消费数据获取请求，所述消费数据获取请求携带所述推荐内容的属性信息和消费时间；

识别单元，用于根据所述属性信息，在维度索引信息中识别出所述推荐内容对应的至少一个内容标识，所述维度索引信息用于指示内容维度与所述推荐内容的内容标识的关联关系；

确定单元，用于基于所述内容标识，在时序索引信息中确定出所述推荐内容对应的目标时序索引，所述时序索引信息用于指示所述推荐内容的内容标识与时序索引的关联关系，所述时序索引中包括至少一个预设消费时间单元对应的消费数据；

获取单元，用于在所述目标时序索引中获取所述推荐内容在所述消费时间内的目标消费数据，并将所述目标消费数据返回至所述终端。

可选的，在一些实施例中，所述数据获取装置还可以包括构建单元，所述构建单元，具体可以用于获取至少一个推荐内容的实时内容数据，所述实时内容数据包括基础消费数据和基础内容数据；根据所述基础消费数据，构建所述推荐内容的时序索引信息；基于所述基础内容数据，构建所述推荐内容的维度索引信息。

可选的，在一些实施例中，所述构建单元，具体可以用于获取至少一个推荐内容的实时消费数据，并对所述实时消费数据进行分类；对分类后的实时消费数据进行多行转列处理，得到处理后实时消费数据；在所述处理后实时消费数据中筛选出预设时间窗口对应的至少一个实时消费数据，得到窗口实时消费数据集合；对所述窗口实时消费数据集合中的实时消费数据进行聚合，得到所述推荐内容的实时基础消费数据将所述推荐内容的内容属性数据与所述实时基础消费数据进行关联，并根据预设编码策略，对关联后数据进行编码，得到所述推荐内容的实时内容数据。

可选的，在一些实施例中，所述构建单元，具体可以用于将内容数据库中所述推荐内容的内容属性数据同步至内容缓存数据库；获取所述推荐内容的内容标识，并在所述内容缓存数据库中筛选出所述内容标识对应的内容属性数据，得到所述推荐内容的内容属性数据。

可选的，在一些实施例中，所述构建单元，具体可以用于获取用于构建时序索引信息的预设时序信息，所述预设时序信息包括至少一个消费时间单元；根据所述消费时间单元，对所述基础消费数据进行聚合，得到所述消费时间单元对应的消费数据；基于所述消费时间单元对应的消费数据，构建所述推荐内容的时序索引信息。

可选的，在一些实施例中，所述构建单元，具体可以用于在所述基础消费数据中筛选出所述消费时间单元对应的至少一个基础消费数据，得到目标基础消费数据；将所述目标基础消费数据进行数据聚合，得到所述消费时间单元内的数据聚合值；对所述数据聚合值进行压缩，得到所述时间单元对应的消费数据。

可选的，在一些实施例中，所述构建单元，具体可以用于根据所述推荐内容的内容标识，确定所述推荐内容在消费时间单元内的数据聚合值的存储区域；将所述数据聚合值存储至所述存储区域。

可选的，在一些实施例中，所述构建单元，具体可以用于基于所述预设时序信息和推荐内容的内容标识，构建所述内容标识对应的初始时序索引，所述初始时序索引包括所述消费时间单元对应的索引信息；将所述消费时间单元对应的消费数据添加至所述索引信息，得到所述内容标识对应的时序索引；将所述内容标识对应的时序索引进行融合，得到所述推荐内容的时序索引信息。

可选的，在一些实施例中，所述构建单元，具体可以用于根据所述基础内容数据，在预设维度集合中筛选出所述推荐内容对应的内容维度；在所述推荐内容中筛选出所述内容维度相同的目标推荐内容；将所述目标推荐内容的内容标识与所述内容维度进行关联，以得到所述推荐内容的维度索引信息。

可选的，在一些实施例中，所述识别单元，具体可以用于当所述属性信息中存在所述推荐内容的内容标识信息，在所述内容标识信息中识别出所述推荐内容对应的至少一个内容标识；当所述属性信息中不存在所述推荐内容的内容标识信息时，根据所述属性信息，在所述维度索引信息中筛选出所述推荐内容对应的至少一个内容标识。

可选的，在一些实施例中，所述识别单元，具体可以用于根据所述属性信息，确定所述推荐内容的目标内容维度；在所述维度索引信息中筛选出所述目标内容维度对应的内容标识信息；在所述内容标识信息中识别出所述推荐内容的至少一个内容标识。

可选的，在一些实施例中，所述获取单元，具体可以用于当所述候选消费时间与所述消费时间相同时，在所述候选消费时间对应的索引信息中获取所述推荐内容在所述消费时间内的目标消费数据；当所述候选消费时间与所述消费时间不同时，根据所述消费时间，对所述索引信息中的消费数据进行聚合，得到所述推荐内容在所述消费时间内的目标消费数据。

可选的，在一些实施例中，所述获取单元，具体可以用于在所述候选消费时间筛选出用于组成所述消费时间的至少一个目标候选消费时间；在所述目标时序索引中筛选出所述目标候选消费时间对应的索引信息，得到目标索引信息；将所述目标索引信息中的消费数据进行聚合，得到所述推荐内容在所述消费时间内的目标消费数据。

可选的，在一些实施例中，所述获取单元，具体可以用于获取所述推荐内容在预设消费时间内的历史消费数据；根据推荐内容的实时消费数据，对所述历史消费数据进行更新；计算更新后历史消费数据与所述目标消费数据之间的数据误差；所述将所述目标消费数据返回至所述终端，包括：当所述数据误差未超过预设误差阈值时，将所述目标消费数据返回至所述终端。

此外，本发明实施例还提供一种电子设备，包括处理器和存储器，所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序实现本发明实施例提供的数据获取方法。

此外，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例所提供的任一种数据获取方法中的步骤。

本发明实施例在接收终端发送的推荐内容的消费数据获取请求后，该消费数据获取请求携带推荐内容的属性信息和消费时间，然后，根据属性信息，在维度索引信息中识别出推荐内容对应的至少一个内容标识，该维度索引信息用于指示内容维度与推荐内容的内容标识的关联关系，然后，基于内容标识，在时序索引信息中确定出推荐内容对应的目标时序索引，该时序索引信息用于指示推荐内容的内容标识与时序索引的关联关系，该时序索引中包括至少一个预设的消费时间单元对应的消费数据，在目标时序索引中获取推荐内容在消费时间内的目标消费数据，并将目标消费数据返回至终端；由于该方案可以通过维度索引信息和时序索引信息，可以快速获取推荐内容的目标时序索引，而且对于实时消费数据提前进行多粒度的预聚合，并将预聚合的数据存储在目标时序索引中，使得可以直接在目标时序索引的索引信息中筛选出目标消费数据，大大减少了目标消费数据的获取时间，因此，可以提高数据获取的效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的数据获取方法的场景示意图；

图2是本发明实施例提供的数据获取方法的流程示意图；

图3是本发明实施例提供的对实时消费数据进行拆分的示意图；

图4是本发明实施例提供的对实时消费数据进行实时计算的流程示意图；

图5是本发明实施例提供的消费数据的存储架构的示意图；

图6是本发明实施例提供的时序索引的示意图；

图7是本发明实施例提供的维度索引信息的示意图；

图8是本发明实施例提供的数据获取装置的系统架构图；

图9是本发明实施例提供的数据获取的另一流程示意图；

图10是本发明实施例提供的数据获取装置的应用场景的示意图；

图11是本发明实施例提供的数据获取装置的结构示意图；

图12是本发明实施例提供的数据获取装置的另一结构示意图；

图13是本发明实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种数据获取方法、装置和计算机可读存储介质。其中，该数据获取装置可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备。

其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

例如，参见图1，以数据获取装置集成在电子设备中为例，电子设备在接收终端发送的推荐内容的消费数据获取请求后，该消费数据获取请求携带所述推荐内容的属性信息和消费时间，然后，根据属性信息，在维度索引信息中识别出推荐内容对应的至少一个内容标识，该维度索引信息用于指示内容维度与推荐内容的内容标识的关联关系，然后，基于内容标识，在时序索引信息中确定出推荐内容对应的目标时序索引，该时序索引信息用于指示推荐内容的内容标识与时序索引的关联关系，该时序索引中包括至少一个预设消费时间单元对应的消费数据，在目标时序索引中获取推荐内容在消费时间内的目标消费数据，并将目标消费数据返回至终端。

其中，消费数据可以为对推荐内容进行消费行为而产生的数据，比如，对推荐内容进行曝光、点击、分享、点赞或评论等消费行为产生的数据，譬如，可以为在一个消费时间内的点击次数、点击率、曝光次数或曝光率等数据。

其中，消费时间可以理解为完成消费行为的时间，当消费行为实时消费时，此时的消费时间就可以为理解为当前消费行为的时间。

其中，时序索引信息、维度索引信息和目标消费数据可以存储至云平台，所谓云平台也称云计算平台，是指基于硬件资源和软件资源的服务，提供计算、网络和存储能力。云计算(cloud computing)是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。

作为云计算的基础能力提供商，会建立云计算资源池(简称云平台，一般称为IaaS(Infrastructure as a Service，基础设施即服务)平台，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(为虚拟化机器，包含操作系统)、存储设备、网络设备。

按照逻辑功能划分，在IaaS(Infrastructure as a Service，基础设施即服务)层上可以部署PaaS(Platform as a Service,平台即服务)层，PaaS层之上再部署SaaS(Software as a Service，软件即服务)层，也可以直接将SaaS部署在IaaS上。PaaS为软件运行的平台，如数据库、web容器等。SaaS为各式各样的业务软件，如web门户网站、短信群发器等。一般来说，SaaS和PaaS相对于IaaS是上层。

以下分别进行详细说明。需要说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。

本实施例将从数据获取装置的角度进行描述，该数据获取装置具体可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备；其中，该终端可以包括平板电脑、笔记本电脑、以及个人计算机(PC，Personal Computer)、可穿戴设备、虚拟现实设备或其他可以获取数据的智能设备等设备。

一种数据获取方法，包括：

在接收终端发送的推荐内容的消费数据获取请求，该消费数据获取请求携带所述推荐内容的属性信息和消费时间，根据属性信息，在维度索引信息中识别出推荐内容对应的至少一个内容标识，该维度索引信息用于指示内容维度与推荐内容的内容标识的关联关系，基于内容标识，在时序索引信息中确定出推荐内容对应的目标时序索引，该时序索引信息用于指示推荐内容的内容标识与时序索引的关联关系，该时序索引中包括至少一个预设消费时间单元对应的消费数据，在目标时序索引中获取推荐内容在消费时间内的目标消费数据，并将目标消费数据返回至终端。

如图2所示，该数据获取方法的具体流程如下：

101、接收终端发送的消费数据获取请求。

其中，消费数据获取请求携带推荐内容的属性信息和消费时间。所谓消费时间，可以理解为完成一次或多次消费行为的时间，比如，完成曝光、点击、分享或其他消费行为的时间。消费数据获取请求用于获取推荐内容在消费时间内的消费数据。消费数据就可以为用户在消费时间完成消费行为的数据，比如，在一个时间点或时间区间内完成曝光、点赞、分享或点击等消费行为的数据。

例如，可以直接接收终端发送的消费数据获取请求，比如，用户在终端触发生成推荐内容的消费数据获取请求，在消费数据获取请求中添加推荐内容的属性信息和消费时间，终端将添加推荐内容的属性信息和消费时间的消费数据获取请求发送至数据获取装置，使得数据获取装置接收到数据获取请求。当推荐内容的属性信息和消费数据的内存较大时，还可以将推荐内容的属性信息和消费数据的存储的地址添加至消费数据获取请求，终端将添加存储地址的消费数据获取请求发送至数据获取装置，数据获取装置接收到消费数据获取请求之后，在消费数据获取请求中提取出存储地址，根据存储地址，在终端的内存或缓存中获取推荐内容的属性信息和消费时间。

可选的，终端在获取消费数据获取请求之前，还可以根据推荐内容的实时消费数据，构建推荐内容的时序索引信息和维度索引信息，因此，数据获取方法，还可以包括：

获取至少一个推荐内容的实时内容数据，该实时内容数据包括基础消费数据和基础内容数据，根据基础消费数据，构建推荐内容的时序索引信息，基于基础内容数据，构建推荐内容的维度索引信息，具体可以如下。

S1、获取至少一个推荐内容的实时内容数据。

其中，实时内容数据可以包括基础消费数据和基础内容数据，所谓基础消费数据可以理解为对实时消费数据取一个固定的时间窗口进行聚合得到的数据，比如，以时间窗口为1分钟为例，则基础消费数据就可以为推荐内容在每一个1分钟内的消费数据。基础内容数据可以为推荐内容的标题、内容或内容来源等数据。多个推荐内容的实时内容数据就可以组成消息队列。

例如，获取至少一个推荐内容的实时消费数据，并对实时消费数据进行分类，根据预设时间窗口，对分类后的实时消费数据进行窗口聚合，得到推荐内容的实时基础消费数据，将推荐内容的内容属性数据与实时基础消费数据进行关联，并根据预设编码策略，对关联后数据进行编码，得到推荐内容的实时内容数据，具体可以如下：

(1)获取至少一个推荐内容的实时消费数据，并对实时消费数据进行分类。

其中，实时消费数据就可以为用户在终端对推荐内容进行实时消费行为的操作产生的实时数据，比如，用户在终端对某一个推荐内容进行点赞，此时，就会产生对这个推荐内容的消费数据，这个消费数据就可以为实时消费数据。

例如，可以获取内容消费平台实时发送的至少一个推荐内容的消费数据，从而得到推荐内容的实时消费数据，比如，当用户在内容看点平台、内容浏览器或内容应用程序等内容消费平台上对推荐内容进行消费，内容消费平台将消费行为产生的消费数据实时发送至数据获取装置，使得数据获取装置就可以获取到至少一个推荐内容的实时消费数据。对实时消费数据进行分类，比如，可以按照业务类型对实时消费数据进行分类，譬如，可以先按照实时消费数据来源进行分类，在来源分类的基础上再按照消费行为进行分类。根据分类结果，构建实时数据仓库，将分类的实时消费数据存储至实时数据仓库，从而就可以将海量的实时消费数据拆分成小的消息队列，如图3所示。通过将海量的实时消费数据这样的大队列进行分类拆分，从而减小下游的消费者获取消费数据的消费压力。

(2)根据预设时间窗口，对分类后的实时消费数据进行窗口聚合，得到推荐内容的实时基础消费数据。

其中，实时基础消费数据就可以理解为在一个预设时间窗口内，实时消费数据进行聚合后的消费数据，比如，以预设时间窗口为1分钟为例，则实时基础消费数据就可以为以当前时间点为起点的1分钟的消费数据。

例如，对分类后的实时消费数据进行多行转列处理，得到处理后实时消费数据，比如，对在分类后的实时消费数据组成的消息队列进行数据解码，从而获取原始数据，将获取到的原始数据进行多行转列，就可以得到处理后实时消费数据。在处理后实时消费数据中筛选出预设时间窗口对应的至少一个实时消费数据，得到窗口实时消费数据，比如，以预设时间窗口为1分钟为例，就可以在处理后实时消费数据中筛选出以当前时间为起点的1分钟之内所以的实时消费数据，从而就可以得到窗口消费数据集合。对窗口实时消费数据集合中的实时消费数据进行聚合，得到推荐内容的实时基础消费数据，比如，以某一个推荐内容在1分钟内有5个点击行为的消费数据为例，对这5个点击行为对应的消费数据进行窗口聚合，就可以得到该推荐内容的实时基础消费数据为当前1分钟内对推荐内容点击5次。

其中，预设时间窗口可以为任意时间值，但是预设时间窗口的大小与该时间窗口下实时消费数据的聚合率存在一定的关系，需要根据实时消费数据的数量级来设定，当预设时间窗口为1分钟时，对实时消费数据的聚合的速度可以优化到3分钟。

(3)将推荐内容的内容属性数据与实时基础消费数据进行关联，并根据预设编码策略，对关联后数据进行编码，得到推荐内容的实时内容数据。

例如，从内容缓存数据库中获取推荐内容的内容属性数据，将内容属性数据和实时基础消费数据进行关联，比如，从内容缓存数据库中获取推荐内容的标题、主要内容、内容来源和内容类型等内容属性数据，将这些内容属性数据与实时基础消费数据进行关联。根据预设编码策略，对关联后数据进行编码，从而就可以得到推荐内容的实时内容数据，将这些实时内容数据又可以组成一个消费队列。

可选的，在对实时基础消费数据与内容属性数据进行关联之前，还需要内容缓存数据库中获取推荐内容的内容属性数据，而内容缓存数据库中的推荐内容的内容属性数据则来源与内容数据库的数据同步，因此，数据获取方法，还可以包括：

将内容数据库中推荐内容的内容属性数据同步至内容缓存数据库，获取推荐内容的内容标识，并在内容缓存数据库中筛选出内容标识对应的内容属性数据，得到推荐内容的内容属性数据。

例如，将分布式内容数据库中全部推荐内容的内容属性数据通过日志的方式同步至内容缓存数据库，比如，以分布式内容数据库为Hbase(一种开源的分布式数据库)为例，将Hbase内容主库将内容属性数据通过二进制日志(binlog)的方式同步至Hbase的备库，Hbase的备库再将内容属性数据同步至内容缓存数据库，内容缓存数据库可以为Redis(一种缓存数据库)缓存数据库。Hbase的主库、备库与Redis之间的数据同步主要是通过Hbase-proxy(数据库代理服务)通过写日志，并将日志发送至SyncSvr(一种服务器同步服务)，使得内容缓存数据库与Hbase的主库和备库之间保持缓存一致性。这样就可以保证在获取推荐内容的内容属性数据时，直接从Redis内容缓存数据库中获取内容属性数据，从而尽量减少Hbase的访问，而且Redis内容缓存数据库的速度时Hbase的一千倍，因此，可以大大内容属性数据的获取速度。

获取推荐内容的内容标识，在内容缓存数据库中筛选出该内容标识对应的内容属性数据，比如，获取推荐内容的内容标识，内容标识可以为推荐内容的唯一标记ID(Roekey)，一个内容拥有唯一的rowkey。在Redis内容缓存数据库中筛选出该rowkey对应的内容属性数据。

其中，对实时消费数据组成队列进行处理得到实时内容数据组成的消息队列可以看作是对实时消费数据的一个实时计算，可以采用Flink(一种分布式流数据流引擎)来进行实时计算，实时计算的方式可以如图4所示。

S2、根据基础消费数据，构建推荐内容的时序索引信息。

其中，时序索引信息可以为用于指示推荐内容的内容标识与时序索引的关联关系，比如，在时序索引信息中可以通过查询推荐内容的内容标识，快速获取推荐内容的时序索引，所谓时序索引可以理解为存储推荐内容在多个消费时间单元的消费数据的数据结构，时序索引又可以包含多个索引信息，每一个时间单元对应一个索引信息，每个索引信息对应的数据结构中记录推荐内容在该时间单元的消费数据。由此，可以发现通过推荐内容的内容标识，可以在时序索引信息中查询到推荐内容对应的时序索引，根据消费时间，又可以在时序索引中查询到该消费时间对应的索引信息，读取索引信息对应的数据结构中记录的消费数据，就可以得到推荐内容在消费时间内的目标消费数据。

例如，可以获取构建时序索引信息的预设时序信息，该预设时序信息包括至少一个消费时间单元，根据消费时间大暖，对基础消费数据进行聚合，得到消费时间单元对应的消费数据，基于消费时间单元对应的消费数据，构建推荐内容的时序索引信息，具体可以如下：

(1)获取构建时序索引信息的预设时序信息。

其中，预设时序信息包括至少一个消费时间单元。预设时序信息可以为构建时序索引信息中包含的消费时间单元的信息，比如，以构建的时序索引信息中包含天、小时和10分钟，则预设时序信息就可以为天、小时和10分钟，则消费时间单元就可以为天、小时和10分钟这三种消费时间单元。

例如，可以直接获取时序索引信息的配置信息，在配置信息中筛选出用于构建时序索引信息的预设时序信息，读取预设时序信息中包含的至少一个消费时间单元。

(2)根据消费时间单元，对基础消费数据进行聚合，得到消费时间单元对应的消费数据。

例如，在基础消费数据中筛选出消费时间单元对应的至少一个基础消费数据，得到目标基础消费数据，比如，当消费时间单元为天时，就可以在基础消费数据中筛选出从当前时间为起点的24小时内的基础消费数据，从而得到目标消费基础数据，当消费时间单元为小时为例，就可以在基础消费数据中筛选出从当前时间为起点的每一小时内的基础消费数据，从而得到目标基础消费数据。将目标基础消费数据进行数据聚合，得到消费时间单元对应的数据聚合值，比如，聚合的方式与上文所述的窗口聚合的方式相同，将各个消费时间单元对应的目标基础消费数据进行聚合，从而得到各个消费时间单元对应的数据聚合值。对数据聚合值进行压缩，得到消费时间单元对应的消费数据，比如，可以采用pb压缩(一种数据压缩方法)的方式，对消费时间单元对应的数据聚合值进行压缩，从而得到各个消费时间单元的消费数据。

可选的，对于推荐内容在消费时间单元内的数据聚合值需要进行存储，数据获取方法，还可以包括：

根据推荐内容的内容标识，确定推荐内容在消费时间单元内的数据聚合值的存储区域，将数据聚合值存储至存储区域。

例如，可以对推荐内容的内容标识进行哈希计算，根据哈希计算结果来确定存储数据聚合值的存储区域，比如，可以对推荐内容的rowkey进行一致性哈希计算，从而得到数据聚合值要存储到对应的shard(分区)，将推荐内容在各个消费时间单元内的数据聚合值存储至对应的shard。

其中，对消费数据进行存储可以由Zookeeper(一种分布式应用程序协调服务)进行处理，具体的存储架构可以如图5所示，每一个shard中可以都主备存储，利用Zookeeper的选择机制可以保证系统的高可用。在该存储架构中可以对接写入服务和消费服务，写入服务主要是将数据聚合值通过一致性哈希的方式写入值对应的shard，消费服务也可以理解为读取服务，负责对接上游的接口，从索引信息或存储层中获取需要的消费数据。对于数据存储来说，还可以采用clickhouse数据库中的存储区域进行存储。

(3)基于消费时间单元对应的消费数据，构建推荐内容的时序索引信息。

例如，基于预设时序信息和推荐内容的内容标识，构建内容标识对应的初始时序索引，该初始时序索引包括消费时间单元的索引信息，比如，针对每一个推荐内容建立一个rowkey对应的初始时序索引，该初始时序索引可以包括预设时序信息中的消费时间单元对应的索引信息，譬如，当消费时间单元为天、小时和10分钟时，构建的初始时序索引就可以包括当前时间起的一天、每小时和每10分钟对应的索引信息。将消费时间单元对应的消费数据添加至索引信息，得到内容标识对应的时序索引，比如，将10分钟对应的消费数据添加至10分钟对应的索引信息中，就使得该索引信息中包含了10分钟对应的消费数据，添加的过程可以理解为在索引对应的数据结构中记录该消费数据，从而将消费数据添加至对应的索引信息中，就可以得到内容标识对应的推荐内容的时序索引。将内容标识对应的时序索引进行融合，得到推荐内容的时序索引信息，比如，将每个推荐内容对应的时序索引进行融合，就可以得到推荐内容的时序索引信息，通过内容标识就可以在时序索引信息中确定出该内容标识对应的时序索引。比如，以消费时间单元为天、小时和10分钟，推荐内容的内容标识为key0和key1为例，key0和key1对应的时序索引可以如图6所示。

S3、基于基础内容数据，构建推荐内容的维度索引信息。

其中，维度索引信息可以用于指示内容维度与推荐内容的内容标识的关联关系，在某一个内容维度下，可以对应一个或多个内容标识组成的rowkey列表。该维度索引信息的作用通过推荐内容的维度信息来查询或检索该维度信息对应的推荐内容的内容标识。

例如，基于基础内容数据，在预设维度集合中筛选出推荐内容对应的内容维度，比如，建立一个维度词典和维度词典对应的倒排列表，该维度词典中可以包括多个维度组成的预设维度集合，该维度集合中可以包括推荐内容的内容分类的类型，譬如，可以为政治、体育或商业等各种类型，还可以为推荐内容的内容来源，譬如，可以为微信、XX浏览器、XX内容消费平台等等，每一个内容维度对应一个倒排列表，根据基础内容数据，确定推荐内容的维度信息，在预设维度集合中筛选出维度信息对应的内容维度，就可以确定该推荐内容的内容维度。在推荐内容中筛选出内容维度相同的目标推荐内容，比如，在推荐内容筛选出属于同一类型的推荐内容，将这些相同内容维度的推荐内容作为目标推荐内容。将目标推荐内的内容标识与内容维度进行关联，以得到推荐内容的维度索引信息，比如，将目标推荐内容的内容标识添加至该内容维度对应的倒排列表，使得目标推荐内容的内容标识与内容维度进行关联，从而就可以得到推荐内容的维度索引信息，维度索引信息可以为倒排索引，比如，以维度词典中包含的维度为分类和来源为例，推荐内容的维度索引信息可以如图7所示。

其中，对于步骤S2和S3相对独立，没有固定的顺序，步骤S2和S3可以同时完成，也可以先后完成。

102、根据属性信息，在维度索引信息中识别出推荐内容对应的至少一个内容标识。

其中，属性信息可以为指示推荐内容的属性的信息，比如，可以为内容标识、内容信息、来源信息或内容类型等信息。

例如，在属性信息查询是否存在推荐内容的内容标识信息，当属性信息中存在推荐内容的内容标识信息时，在内容标识信息中识别出推荐内容对应的知识一个内容标识，比如，在内容标识信息中识别出推荐内容的rowkey，从而得到推荐内容的内容标识，内容标识信息中可以包括一个或多个推荐内容的内容标识。当属性信息中不存在推荐内容的内容标识信息时，根据属性信息，在维度索引信息中筛选出推荐内容对应的至少一个内容标识，比如，根据属性信息，确定推荐内容的目标内容维度，譬如，在属性信息中提取出推荐内容的维度信息，在预设内容维度集合中筛选出维度信息对应的内容维度，将该内容维度作为推荐内容的目标内容维度。在维度索引信息中筛选出目标内容维度对应的内容标识信息，比如，在维度索引信息的维度词典中筛选出与目标内容维度关联的rowkey列表，将该rowkey列表作为推荐内容的内容标识信息。在内容标识信息中识别出推荐内容的至少一个内容标识，比如人，将rowkey列表中推荐内容的rowkey作为推荐内容的内容标识。

103、基于内容标识，在时序索引信息中确定出推荐内容对应的目标时序索引。

其中，时序索引信息用于指示推荐内容的内容标识与时序索引的关联关系，每一个推荐内容的内容标识对应一个时序索引。所谓时序索引用于存储多个消费时间单元对应的消费数据，因此，时序索引中包括至少一个预设的消费时间单元对应的消费数据。

例如，在时序索引信息中筛选出内容标识对应的时序索引，将该时序索引作为推荐内容对应的目标时序索引，比如，在时序索引信息中查询每一个推荐内容的rowkey对应的时序索引，将该时序索引作为推荐内容对应的目标时序索引。

104、在目标时序索引中获取推荐内容在消费时间内的目标消费数据，并将目标消费数据返回至终端。

其中，目标时序索引包括至少一个候选消费时间对应的索引信息。所谓索引信息可以理解为存储候选消费时间内的消费数据的数据聚合值的数据结构的信息。在索引信息中可以获取某一个特定消费时间内的消费数据的数据聚合值，比如，以候选消费数据为1小时为例，索引信息中就可以存储这1小时内推荐内容的消费数据的数据聚合值。所谓候选消费时间可以为在构建时序索引信息时的各个消费时间单元。

例如，当候选消费时间与消费时间相同时，在候选消费时间对于的索引信息中获取推荐内容在消费时间内的目标消费数据，比如，以消费时间为1小时为例，当候选消费时间中包含1小时时，就可以直接在与消费时间相同的候选消费时间对应的索引信息中提取出数据聚合值，将该数据聚合值作为推荐内容在消费时间内的目标消费数据。

当候选消费时间与消费时间不同时，根据消费时间，对索引信息中的消费数据进行聚合，得到推荐内容在消费时间内的目标消费数据，比如，在候选消费时间中筛选出用于组成消费时间的至少一个目标候选消费时间，譬如，以消费时间为20分钟，候选消费时间中有天、小时和10分钟为例，就可以在候选消费时间中筛选出两个10分钟来组成消费时间，因此，两个10分钟就可以目标候选消费时间。在目标时序索引信息中筛选出目标候选消费时间对应的索引信息，得到目标索引信息，比如，以目标候选消费时间为两个10分钟为例，就可以在目标时序索引信息中筛选出这两个10分钟对应的索引信息，就可以得到目标索引信息。将目标索引信息中的消费数据进行聚合，得到推荐内容在消费时间内的目标消费数据，比如，在目标索引信息的数据结构中将数据聚合值进行再次聚合，聚合的方法见上文，此处就不再赘述，将再次聚合后的聚合值作为推荐内容在消费时间内的目标消费数据，譬如，还是以目标索引信息对应的候选消费数据为两个10分钟，消费时间为20分钟为例，就可以理解将将两个10分钟的消费数据的数据聚合值进行再次聚合，就可以得到20分钟对应的目标消费数据。将目标消费数据返回至终端，比如，可以直接将目标消费数据发送至终端，当目标消费数据的数量较多或内容较大时，还可以向终端发送目标消费数据的存储地址，使得终端根据存储地址，在数据获取装置的内存或缓存中获取消费时间内的目标消费数据。

可选的，将目标消费数据返回至终端之前，还可以对目标消费数据进行检测，来判断消费时间内的目标消费数据是否准确。因此，数据获取方法，还可以包括：

获取推荐内容在预设消费时间内的历史消费数据，计算历史消费数据与目标消费数据之间的数据误差，当数据误差未超过预设误差阈值时，将目标消费数据返回至终端。

其中，历史消费数据可以理解为推荐内容在历史消费时间内的消费数据，该消费数据可以通过离线计算得来，而离线计算的频率通常为一天一次，而目标消费数据为实时计算得来的消费数据。

例如，可以获取推荐内容一天或者最小时间单元内的历史消费数据。在根据获取到的推荐内容的实时消费数据，对历史消费数据进行更新，得到更新后历史消费数据，比如，获取内容数据库中推荐内容的实时消费数据，将实时消费添加至历史消费数据中，并重新计算消费时间内的消费数据，从而就可以得到更新后历史消费数据。计算更新后历史消费数据与目标消费数据之间的数据误差，比如，将更新后历史消费数据与目标消费数据之间进行数据对账，从而得到更新后历史消费数据与目标消费数据之间的数据误差。将该数据误差与误差阈值进行对比，当数据误差未超过预设误差阈值时，就说明目标消费数据的准确度符合要求，就可以将目标消费数据发送至终端，当数据误差超过预设误差阈值时，就说明目标消费数据的准确度不符合要求，此时，可以返回再次实时计算消费时间内的目标消费数据，也可以停止目标消费数据的获取。

其中，对于数据获取装置来说，可以看作是一个内容POP(弹出)系统，与采用数据库离线计算的方式获取数据相比，离线计算的方式时间范围、时间粒度、维度都是预先设定好的固定的，在数据获取的方式不够灵活，而且还有一个更为致命的缺点，即时数据延迟很高，从内容入库到可以查看POP结果，延时在3-6个小时，本方案中采用的是实时计算的方式，当接收到用户发送的消费数据获取请求时，在1分钟之内就可以弹出用户需要获取的推荐内容在消费时间内的目标消费数据，对数据获取的整个过程可以看作两个阶段，实时计算和实时存储，具体可以如图8所示，在实时计算阶段可以包括接入层和计算层，接入层用于获取推荐内容的实时消费数据，计算层用于对实时消费数据进行窗口聚合和关联内容属性数据，从而得到实时内容数据组成的消息队列。实时存储阶段可以包括写入层、存储层和接口层，写入层用于将消息队列中计算出消费时间单元对应的数据聚合值写入至存储区域，存储层用于构建维度索引信息和时序索引信息，接口层用于接收消费数据获取请求，并将消费数据获取请求对应的目标消费数据返回至终端。

由以上可知，本发明实施例在接收终端发送的推荐内容的消费数据获取请求后，该消费数据获取请求携带推荐内容的属性信息和消费时间，然后，根据属性信息，在维度索引信息中识别出推荐内容对应的至少一个内容标识，该维度索引信息用于指示内容维度与推荐内容的内容标识的关联关系，然后，基于内容标识，在时序索引信息中确定出推荐内容对应的目标时序索引，该时序索引信息用于指示推荐内容的内容标识与时序索引的关联关系，该时序索引中包括至少一个预设的消费时间单元对应的消费数据，在目标时序索引中获取推荐内容在消费时间内的目标消费数据，并将目标消费数据返回至终端；由于该方案可以通过维度索引信息和时序索引信息，可以快速获取推荐内容的目标时序索引，而且对于实时消费数据提前进行多粒度的预聚合，并将预聚合的数据存储在目标时序索引中，使得可以直接在目标时序索引的索引信息中筛选出目标消费数据，大大减少了目标消费数据的获取时间，因此，可以提高数据获取的效率。

根据上面实施例所描述的方法，以下将举例作进一步详细说明。

在本实施例中，将以该数据获取装置具体集成在电子设备，电子设备为服务器，内容数据平台的数据库为Hbase，时序索引信息中的消费时间单元为天、小时和10分钟为例进行说明。

如图9所示，一种数据获取方法，具体流程如下：

201、服务器获取至少一个推荐内容的实时内容数据。

例如，服务器获取至少一个推荐内容的实时消费数据，并对实时消费数据进行分类，根据预设时间窗口，对分类后的实时消费数据进行窗口聚合，得到推荐内容的实时基础消费数据，将推荐内容的内容属性数据与实时基础消费数据进行关联，并根据预设编码策略，对关联后数据进行编码，得到推荐内容的实时内容数据，具体可以如下：

(1)服务器获取至少一个推荐内容的实时消费数据，并对实时消费数据进行分类。

例如，当用户在内容看点平台、内容浏览器或内容应用程序等内容消费平台上对推荐内容进行消费，内容消费平台将消费行为产生的消费数据实时发送至服务器，使得服务器就可以获取到至少一个推荐内容的实时消费数据。按照业务类型对实时消费数据进行分类，比如，可以先按照实时消费数据来源进行分类，在来源分类的基础上再按照消费行为进行分类。根据分类结果，构建实时数据仓库，将分类的实时消费数据存储至实时数据仓库，从而就可以将海量的实时消费数据拆分成小的消息队列。

(2)服务器根据预设时间窗口，对分类后的实时消费数据进行窗口聚合，得到推荐内容的实时基础消费数据。

例如，服务器在分类后的实时消费数据组成的消息队列中获取原始数据，将获取到的原始数据进行多行转列，就可以得到处理后实时消费数据。以预设时间窗口为1分钟为例，就可以在处理后实时消费数据中筛选出以当前时间为起点的1分钟之内所以的实时消费数据，从而就可以得到窗口消费数据集合。对窗口实时消费数据集合中的实时消费数据进行聚合，得到推荐内容的实时基础消费数据，比如，以某一个推荐内容在1分钟内有5个点击行为的消费数据为例，对这5个点击行为对应的消费数据进行窗口聚合，就可以得到该推荐内容的实时基础消费数据为当前1分钟内对推荐内容点击5次。

(3)服务器获取推荐内容的内容属性数据。

例如，服务器将Hbase内容主库将内容属性数据通过二进制日志的方式同步至Hbase的备库，Hbase的备库再将内容属性数据同步至Redis内容缓存数据库。获取推荐内容的rowkey，在Redis内容缓存数据库中筛选出rowkey对应的内容属性数据，将该内容属性数据作为推荐内容的内容属性数据。

(4)服务器将推荐内容的内容属性数据与实时基础消费数据进行关联，并根据预设编码策略，对关联后数据进行编码，得到推荐内容的实时内容数据。

例如，从内容缓存数据库中获取推荐内容的标题、主要内容、内容来源和内容类型等内容属性数据，将这些内容属性数据与实时基础消费数据进行关联。根据预设编码策略，对关联后数据进行编码，从而就可以得到推荐内容的实时内容数据，将这些实时内容数据又可以组成一个消费队列。

202、服务器根据基础消费数据，构建推荐内容的时序索引信息。

例如，服务器可以直接获取时序索引信息的配置信息，在配置信息中筛选出用于构建时序索引信息的预设时序信息，读取预设时序信息中包含的至少一个消费时间单元。当消费时间单元为天时，就可以在基础消费数据中筛选出从当前时间为起点的24小时内的基础消费数据，从而得到目标消费基础数据，当消费时间单元为小时为例，就可以在基础消费数据中筛选出从当前时间为起点的每一小时内的基础消费数据，从而得到目标基础消费数据。将目标基础消费数据进行数据聚合，得到消费时间单元对应的数据聚合值，采用pb压缩的方式，对消费时间单元对应的数据聚合值进行压缩，从而得到各个消费时间单元的消费数据。

服务器针对每一个推荐内容建立一个rowkey对应的初始时序索引，该初始时序索引可以包括预设时序信息中的消费时间单元对应的索引信息，譬如，当消费时间单元为天、小时和10分钟时，构建的初始时序索引就可以包括当前时间起的一天、每小时和每10分钟对应的索引信息。将10分钟对应的消费数据添加至10分钟对应的索引信息中，就使得该索引信息中包含了10分钟对应的消费数据，添加的过程可以理解为在索引对应的数据结构中记录该消费数据，从而将消费数据添加至对应的索引信息中，就可以得到内容标识对应的推荐内容的时序索引。将每个推荐内容对应的时序索引进行融合，就可以得到推荐内容的时序索引信息，通过内容标识就可以在时序索引信息中确定出该内容标识对应的时序索引。

可选的，服务器在得到消费时间单元对应的数据聚合值之后，还需要将该数据聚合值存储至对应的shard，比如，服务器可以对推荐内容的rowkey进行一致性哈希计算，从而得到数据聚合值要存储到对应的shard，将推荐内容在各个消费时间单元内的数据聚合值存储至对应的shard。

203、服务器基于基础内容数据，构建推荐内容的维度索引信息。

例如，服务器建立一个维度词典和维度词典对应的倒排列表，该维度词典中可以包括多个维度组成的预设维度集合，该维度集合中可以包括推荐内容的内容分类的类型，譬如，可以为政治、体育或商业等各种类型，还可以为推荐内容的内容来源，譬如，可以为微信、XX浏览器、XX内容消费平台等等，每一个内容维度对应一个倒排列表，根据基础内容数据，确定推荐内容的维度信息，在预设维度集合中筛选出维度信息对应的内容维度，就可以确定该推荐内容的内容维度。在推荐内容筛选出属于同一类型的推荐内容，将这些相同内容维度的推荐内容作为目标推荐内容。将目标推荐内容的内容标识添加至该内容维度对应的倒排列表，使得目标推荐内容的内容标识与内容维度进行关联，从而就可以得到推荐内容的维度索引信息。

其中，对于步骤202和203，没有固定的顺序，可以同时完成，也可以先后完成。

204、服务器接收终端发送的消费数据获取请求。

例如，用户在终端触发生成推荐内容的消费数据获取请求，在消费数据获取请求中添加推荐内容的属性信息和消费时间，终端将添加推荐内容的属性信息和消费时间的消费数据获取请求发送至服务器，使得服务器接收到数据获取请求。当推荐内容的属性信息和消费数据的内存较大时，还可以将推荐内容的属性信息和消费数据的存储的地址添加至消费数据获取请求，终端将添加存储地址的消费数据获取请求发送至服务器，服务器接收到消费数据获取请求之后，在消费数据获取请求中提取出存储地址，根据存储地址，在终端的内存或缓存中获取推荐内容的属性信息和消费时间。

205、服务器根据属性信息，在维度索引信息中识别出推荐内容对应的至少一个内容标识。

例如，服务器在属性信息查询是否存在推荐内容的内容标识信息，当属性信息中存在推荐内容的内容标识信息时，在内容标识信息中识别出推荐内容的rowkey，从而得到推荐内容的内容标识，内容标识信息中可以包括一个或多个推荐内容的内容标识。当属性信息中不存在推荐内容的内容标识信息时，根据属性信息，确定推荐内容的目标内容维度，比如，在属性信息中提取出推荐内容的维度信息，在预设内容维度集合中筛选出维度信息对应的内容维度，将该内容维度作为推荐内容的目标内容维度。在维度索引信息的维度词典中筛选出与目标内容维度关联的rowkey列表，将该rowkey列表作为推荐内容的内容标识信息，将rowkey列表中推荐内容的rowkey作为推荐内容的内容标识。

206、服务器基于内容标识，在时序索引信息中确定出推荐内容对应的目标时序索引。

例如，服务器在时序索引信息中查询每一个推荐内容的rowkey对应的时序索引，将该时序索引作为推荐内容对应的目标时序索引。

207、服务器在目标时序索引中获取推荐内容在消费时间内的目标消费数据，并将目标消费数据返回至终端。

例如，当候选消费时间与消费时间相同时，以消费时间为1小时为例，当候选消费时间中包含1小时时，就可以直接在与消费时间相同的候选消费时间对应的索引信息中提取出数据聚合值，将该数据聚合值作为推荐内容在消费时间内的目标消费数据。

当候选消费时间与消费时间不同时，比如，以消费时间为20分钟，候选消费时间中只有天、小时和10分钟，就可以在候选消费时间中筛选出两个10分钟来组成消费时间，因此，两个10分钟就可以目标候选消费时间。就可以在目标时序索引信息中筛选出这两个10分钟对应的索引信息，就可以得到目标索引信息。将将两个10分钟的消费数据的数据聚合值进行再次聚合，就可以得到20分钟对应的目标消费数据。

服务器可以直接将目标消费数据发送至终端，当目标消费数据的数量较多或内容较大时，还可以向终端发送目标消费数据的存储地址，使得终端根据存储地址，在服务器的内存或缓存中获取消费时间内的目标消费数据。

可选的，将目标消费数据返回至终端之前，还可以对目标消费数据进行检测，来判断消费时间内的目标消费数据是否准确。比如，服务器可以获取推荐内容一天或者最小时间单元内的历史消费数据。在根据获取到的推荐内容的实时消费数据，获取内容数据库中推荐内容的实时消费数据，将实时消费添加至历史消费数据中，并重新计算消费时间内的消费数据，从而就可以得到更新后历史消费数据。将更新后历史消费数据与目标消费数据之间进行数据对账，从而得到更新后历史消费数据与目标消费数据之间的数据误差。将该数据误差与误差阈值进行对比，当数据误差未超过预设误差阈值时，就说明目标消费数据的准确度符合要求，就可以将目标消费数据发送至终端，当数据误差超过预设误差阈值时，就说明目标消费数据的准确度不符合要求，此时，可以返回再次实时计算消费时间内的目标消费数据，也可以停止目标消费数据的获取。

其中，对于集成在服务器的数据获取装置可以看作是一个后台服务器，隶属于数据平台中，与推荐平台和内容平台共同完成推荐内容的推荐、消费和查询等业务，具体应用场景可以如图10所示。数据获取装置构成的POP系统将符合条件的内容的消费数据弹出至消费者进行查询或内容平台根据消费数据对推荐内容进行处理，将处理后的推荐内容发送至推荐平台，推荐平台再将处理后内容通过各个内容消费平台进行推荐，并将推荐过程中产生的实时消费数据返回至数据平台中的POP系统进行处理。

由以上可知，本实施例电子设备在接收终端发送的推荐内容的消费数据获取请求后，该消费数据获取请求携带推荐内容的属性信息和消费时间，然后，根据属性信息，在维度索引信息中识别出推荐内容对应的至少一个内容标识，该维度索引信息用于指示内容维度与推荐内容的内容标识的关联关系，然后，基于内容标识，在时序索引信息中确定出推荐内容对应的目标时序索引，该时序索引信息用于指示推荐内容的内容标识与时序索引的关联关系，该时序索引中包括至少一个预设的消费时间单元对应的消费数据，在目标时序索引中获取推荐内容在消费时间内的目标消费数据，并将目标消费数据返回至终端；由于该方案可以通过维度索引信息和时序索引信息，可以快速获取推荐内容的目标时序索引，而且对于实时消费数据提前进行多粒度的预聚合，并将预聚合的数据存储在目标时序索引中，使得可以直接在目标时序索引的索引信息中筛选出目标消费数据，大大减少了目标消费数据的获取时间，因此，可以提高数据获取的效率。

为了更好地实施以上方法，本发明实施例还提供一种数据获取装置，该数据获取装置可以集成在电子设备，比如服务器或终端等设备中，该终端可以包括平板电脑、笔记本电脑和/或个人计算机等。

例如，如图11所示，该数据获取装置可以包括接收单元301、识别单元302、确定单元303和获取单元304，如下：

(1)接收单元301；

接收单元301，用于接收终端发送的推荐内容的消费数据获取请求，该消费数据获取请求携带推荐内容的属性信息和消费时间。

例如，接收单元301，具体可以用于用户在终端触发生成推荐内容的消费数据获取请求，在消费数据获取请求中添加推荐内容的属性信息和消费时间，终端将添加推荐内容的属性信息和消费时间的消费数据获取请求发送至数据获取装置，使得数据获取装置接收到数据获取请求。当推荐内容的属性信息和消费数据的内存较大时，还可以将推荐内容的属性信息和消费数据的存储的地址添加至消费数据获取请求，终端将添加存储地址的消费数据获取请求发送至数据获取装置，数据获取装置根据存储地址获取推荐内容的属性信息和消费时间。

(2)识别单元302；

识别单元302，用于根据属性信息，在维度索引信息中识别出推荐内容对应的至少一个内容标识，该维度索引信息用于指示内容维度与推荐内容的内容标识的关联关系。

例如，识别单元302，具体可以用于在属性信息查询是否存在推荐内容的内容标识信息，当属性信息中存在推荐内容的内容标识信息时，在内容标识信息中识别出推荐内容对应的知识一个内容标识，当属性信息中不存在推荐内容的内容标识信息时，根据属性信息，在维度索引信息中筛选出推荐内容对应的至少一个内容标识。

(3)确定单元303；

确定单元303，用于基于内容标识，在时序索引信息中确定出推荐内容对应的目标时序索引，该时序索引信息用于指示推荐内容的内容标识与时序索引的关联关系，该时序索引中包括至少一个预设消费时间单元对应的消费数据；

例如，确定单元303，具体可以用于在时序索引信息中查询每一个推荐内容的rowkey对应的时序索引，将该时序索引作为推荐内容对应的目标时序索引。

(4)获取单元304；

获取单元304，用于在目标时序索引中获取推荐内容在消费时间内的目标消费数据，并将目标消费数据返回至终端。

例如，获取单元304，具体可以用于当候选消费时间与消费时间相同时，在候选消费时间对于的索引信息中获取推荐内容在消费时间内的目标消费数据，当候选消费时间与消费时间不同时，根据消费时间，对索引信息中的消费数据进行聚合，得到推荐内容在消费时间内的目标消费数据，并将目标消费数据返回至终端。

可选的，数据获取装置还可以包括构建单元305，如图12所示，具体可以如下：

构建单元305，用于构建推荐内容的时序索引信息和维度索引信息。

例如，构建单元305，具体可以用于获取至少一个推荐内容的实时内容数据，根据基础消费数据，构建推荐内容的时序索引信息，基于基础内容数据，构建推荐内容的维度索引信息。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

由以上可知，本实施例在接收单元301接收终端发送的推荐内容的消费数据获取请求后，该消费数据获取请求携带推荐内容的属性信息和消费时间，然后，识别单元302根据属性信息，在维度索引信息中识别出推荐内容对应的至少一个内容标识，该维度索引信息用于指示内容维度与推荐内容的内容标识的关联关系，然后，确定单元303基于内容标识，在时序索引信息中确定出推荐内容对应的目标时序索引，该时序索引信息用于指示推荐内容的内容标识与时序索引的关联关系，该时序索引中包括至少一个预设的消费时间单元对应的消费数据，获取单元304在目标时序索引中获取推荐内容在消费时间内的目标消费数据，并将目标消费数据返回至终端；由于该方案可以通过维度索引信息和时序索引信息，可以快速获取推荐内容的目标时序索引，而且对于实时消费数据提前进行多粒度的预聚合，并将预聚合的数据存储在目标时序索引中，使得可以直接在目标时序索引的索引信息中筛选出目标消费数据，大大减少了目标消费数据的获取时间，因此，可以提高数据获取的效率。

本发明实施例还提供一种电子设备，如图13所示，其示出了本发明实施例所涉及的电子设备的结构示意图，具体来讲：

该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图13中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器401是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。

存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。

电子设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该电子设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：

接收终端发送的推荐内容的消费数据获取请求，该消费数据获取请求携带推荐内容的属性信息和消费时间，根据属性信息，在维度索引信息中识别出推荐内容对应的至少一个内容标识，该维度索引信息用于指示内容维度与推荐内容的内容标识的关联关系，基于内容标识，在时序索引信息中确定出推荐内容对应的目标时序索引，该时序索引信息用于指示推荐内容的内容标识与时序索引的关联关系，该时序索引中包括至少一个预设的消费时间单元对应的消费数据，在目标时序索引中获取推荐内容在消费时间内的目标消费数据，并将目标消费数据返回至终端。

例如，用户在终端触发生成推荐内容的消费数据获取请求，在消费数据获取请求中添加推荐内容的属性信息和消费时间，终端将添加推荐内容的属性信息和消费时间的消费数据获取请求发送至数据获取装置，使得数据获取装置接收到数据获取请求。当推荐内容的属性信息和消费数据的内存较大时，还可以将推荐内容的属性信息和消费数据的存储的地址添加至消费数据获取请求，终端将添加存储地址的消费数据获取请求发送至数据获取装置，数据获取装置根据存储地址获取推荐内容的属性信息和消费时间。在属性信息查询是否存在推荐内容的内容标识信息，当属性信息中存在推荐内容的内容标识信息时，在内容标识信息中识别出推荐内容对应的知识一个内容标识，当属性信息中不存在推荐内容的内容标识信息时，根据属性信息，在维度索引信息中筛选出推荐内容对应的至少一个内容标识。在时序索引信息中查询每一个推荐内容的rowkey对应的时序索引，将该时序索引作为推荐内容对应的目标时序索引。当候选消费时间与消费时间相同时，在候选消费时间对于的索引信息中获取推荐内容在消费时间内的目标消费数据，当候选消费时间与消费时间不同时，根据消费时间，对索引信息中的消费数据进行聚合，得到推荐内容在消费时间内的目标消费数据，并将目标消费数据返回至终端。

以上各个操作的具体实施可参见前面的实施例，在此不作赘述。

由以上可知，本发明实施例在接收终端发送的推荐内容的消费数据获取请求后，该消费数据获取请求携带所述推荐内容的属性信息和消费时间，然后，根据属性信息，在维度索引信息中识别出推荐内容对应的至少一个内容标识，该维度索引信息用于指示内容维度与推荐内容的内容标识的关联关系，然后，基于内容标识，在时序索引信息中确定出推荐内容对应的目标时序索引，该时序索引信息用于指示推荐内容的内容标识与时序索引的关联关系，该时序索引中包括至少一个预设消费时间单元对应的消费数据，在目标时序索引中获取推荐内容在消费时间内的目标消费数据，并将目标消费数据返回至终端；由于该方案可以通过维度索引信息和时序索引信息，可以快速获取推荐内容的目标时序索引，而且对于实时消费数据提前进行多粒度的预聚合，并将预聚合的数据存储在目标时序索引中，使得可以直接在目标时序索引的索引信息中筛选出目标消费数据，大大减少了目标消费数据的获取时间，因此，可以提高数据获取的效率。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本发明实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种数据获取方法中的步骤。例如，该指令可以执行如下步骤：

接收终端发送的推荐内容的消费数据获取请求，该消费数据获取请求携带推荐内容的属性信息和消费时间，根据属性信息，在维度索引信息中识别出推荐内容对应的至少一个内容标识，该维度索引信息用于指示内容维度与推荐内容的内容标识的关联关系，基于内容标识，在时序索引信息中确定出推荐内容对应的目标时序索引，该时序索引信息用于指示推荐内容的内容标识与时序索引的关联关系，该时序索引中包括至少一个预设的消费时间单元对应的消费数据，在目标时序索引中获取推荐内容在消费时间内的目标消费数据，并将目标消费数据返回至终端。

例如，用户在终端触发生成推荐内容的消费数据获取请求，在消费数据获取请求中添加推荐内容的属性信息和消费时间，终端将添加推荐内容的属性信息和消费时间的消费数据获取请求发送至数据获取装置，使得数据获取装置接收到数据获取请求。当推荐内容的属性信息和消费数据的内存较大时，还可以将推荐内容的属性信息和消费数据的存储的地址添加至消费数据获取请求，终端将添加存储地址的消费数据获取请求发送至数据获取装置，数据获取装置根据存储地址获取推荐内容的属性信息和消费时间。在属性信息查询是否存在推荐内容的内容标识信息，当属性信息中存在推荐内容的内容标识信息时，在内容标识信息中识别出推荐内容对应的知识一个内容标识，当属性信息中不存在推荐内容的内容标识信息时，根据属性信息，在维度索引信息中筛选出推荐内容对应的至少一个内容标识。在时序索引信息中查询每一个推荐内容的rowkey对应的时序索引，将该时序索引作为推荐内容对应的目标时序索引。当候选消费时间与消费时间相同时，在候选消费时间对于的索引信息中获取推荐内容在消费时间内的目标消费数据，当候选消费时间与消费时间不同时，根据消费时间，对索引信息中的消费数据进行聚合，得到推荐内容在消费时间内的目标消费数据，并将目标消费数据返回至终端。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该计算机可读存储介质中所存储的指令，可以执行本发明实施例所提供的任一种数据获取方法中的步骤，因此，可以实现本发明实施例所提供的任一种数据获取方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

其中，根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述数据获取方面的各种可选实现方式中提供的方法。

以上对本发明实施例所提供的一种数据获取方法、装置和计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (15)

1.一种数据获取方法，其特征在于，包括：

接收终端发送的推荐内容的消费数据获取请求，所述消费数据获取请求携带所述推荐内容的属性信息和消费时间；

根据所述属性信息，在维度索引信息中识别出所述推荐内容对应的至少一个内容标识，所述维度索引信息用于指示内容维度与所述推荐内容的内容标识的关联关系；

基于所述内容标识，在时序索引信息中确定出所述推荐内容对应的目标时序索引，所述时序索引信息用于指示所述推荐内容的内容标识与时序索引的关联关系，所述时序索引中包括至少一个预设的消费时间单元对应的消费数据；

在所述目标时序索引中获取所述推荐内容在所述消费时间内的目标消费数据，并将所述目标消费数据返回至所述终端。

2.根据权利要求1所述的数据获取方法，其特征在于，所述接收终端发送的推荐内容的消费数据获取请求之前，还包括：

获取至少一个推荐内容的实时内容数据，所述实时内容数据包括基础消费数据和基础内容数据；

根据所述基础消费数据，构建所述推荐内容的时序索引信息；

基于所述基础内容数据，构建所述推荐内容的维度索引信息。

3.根据权利要求2所述的数据获取方法，其特征在于，所述获取至少一个推荐内容的实时内容数据，包括：

获取至少一个推荐内容的实时消费数据，并对所述实时消费数据进行分类；

对分类后的实时消费数据进行多行转列处理，得到处理后实时消费数据；

在所述处理后实时消费数据中筛选出预设时间窗口对应的至少一个实时消费数据，得到窗口实时消费数据集合；

对所述窗口实时消费数据集合中的实时消费数据进行聚合，得到所述推荐内容的实时基础消费数据；

将所述推荐内容的内容属性数据与所述实时基础消费数据进行关联，并根据预设编码策略，对关联后数据进行编码，得到所述推荐内容的实时内容数据。

4.根据权利要求3所述的数据获取方法，其特征在于，所述将所述推荐内容的内容属性数据与所述实时基础消费数据进行关联之前，还包括：

将内容数据库中所述推荐内容的内容属性数据同步至内容缓存数据库；

获取所述推荐内容的内容标识，并在所述内容缓存数据库中筛选出所述内容标识对应的内容属性数据，得到所述推荐内容的内容属性数据。

5.根据权利要求4所述的数据获取方法，其特征在于，所述根据所述基础消费数据，构建所述推荐内容的时序索引信息，包括：

获取用于构建时序索引信息的预设时序信息，所述预设时序信息包括至少一个消费时间单元；

根据所述消费时间单元，对所述基础消费数据进行聚合，得到所述消费时间单元对应的消费数据；

基于所述消费时间单元对应的消费数据，构建所述推荐内容的时序索引信息。

6.根据权利要求5所述的数据获取方法，其特征在于，所述根据所述消费时间单元，对所述基础消费数据进行聚合，得到所述消费时间单元对应的消费数据，包括：

在所述基础消费数据中筛选出所述消费时间单元对应的至少一个基础消费数据，得到目标基础消费数据；

将所述目标基础消费数据进行数据聚合，得到所述消费时间单元内的数据聚合值；

对所述数据聚合值进行压缩，得到所述时间单元对应的消费数据。

7.根据权利要求6所述的数据获取方法，其特征在于，所述将所述目标基础消费数据进行数据聚合，得到所述消费时间单元对应的数据聚合值之后，还包括：

根据所述推荐内容的内容标识，确定所述推荐内容在消费时间单元内的数据聚合值的存储区域；

将所述数据聚合值存储至所述存储区域。

8.根据权利要求5所述的数据获取方法，其特征在于，所述基于所述消费时间单元对应的消费数据，构建所述推荐内容的时序索引信息，包括：

基于所述预设时序信息和推荐内容的内容标识，构建所述内容标识对应的初始时序索引，所述初始时序索引包括所述消费时间单元对应的索引信息；

将所述消费时间单元对应的消费数据添加至所述索引信息，得到所述内容标识对应的时序索引；

将所述内容标识对应的时序索引进行融合，得到所述推荐内容的时序索引信息。

9.根据权利要求4所述的数据获取方法，其特征在于，所述基于所述基础内容数据，构建所述推荐内容的维度索引信息，包括：

根据所述基础内容数据，在预设维度集合中筛选出所述推荐内容对应的内容维度；

在所述推荐内容中筛选出所述内容维度相同的目标推荐内容；

将所述目标推荐内容的内容标识与所述内容维度进行关联，以得到所述推荐内容的维度索引信息。

10.根据权利要求1所述的数据获取方法，其特征在于，所述根据所述属性信息，在维度索引信息中识别出所述推荐内容对应的至少一个内容标识，包括：

当所述属性信息中存在所述推荐内容的内容标识信息，在所述内容标识信息中识别出所述推荐内容对应的至少一个内容标识；

当所述属性信息中不存在所述推荐内容的内容标识信息时，根据所述属性信息，在所述维度索引信息中筛选出所述推荐内容对应的至少一个内容标识。

11.根据权利要求10所述的数据获取方法，其特征在于，所述根据所述属性信息，在所述维度索引信息中筛选出所述推荐内容对应的至少一个内容标识，包括：

根据所述属性信息，确定所述推荐内容的目标内容维度；

在所述维度索引信息中筛选出所述目标内容维度对应的内容标识信息；

在所述内容标识信息中识别出所述推荐内容的至少一个内容标识。

12.根据权利要求1所述的数据获取方法，其特征在于，所述目标时序索引包括至少一个候选消费时间对应的索引信息，所述在所述目标时序索引中获取所述推荐内容在所述消费时间内的目标消费数据，包括：

当所述候选消费时间与所述消费时间相同时，在所述候选消费时间对应的索引信息中获取所述推荐内容在所述消费时间内的目标消费数据；

当所述候选消费时间与所述消费时间不同时，根据所述消费时间，对所述索引信息中的消费数据进行聚合，得到所述推荐内容在所述消费时间内的目标消费数据。

13.根据权利要求12所述的数据获取方法，其特征在于，所述根据所述消费时间，对所述索引信息中的消费数据进行聚合，得到所述推荐内容在所述消费时间内的目标消费数据，包括：

在所述候选消费时间筛选出用于组成所述消费时间的至少一个目标候选消费时间；

在所述目标时序索引中筛选出所述目标候选消费时间对应的索引信息，得到目标索引信息；

将所述目标索引信息中的消费数据进行聚合，得到所述推荐内容在所述消费时间内的目标消费数据。

14.根据权利要求1所述的数据获取方法，其特征在于，所述将所述目标消费数据返回至所述终端之前，还包括：

获取所述推荐内容在预设消费时间内的历史消费数据；

根据推荐内容的实时消费数据，对所述历史消费数据进行更新；

计算更新后历史消费数据与所述目标消费数据之间的数据误差；

所述将所述目标消费数据返回至所述终端，包括：当所述数据误差未超过预设误差阈值时，将所述目标消费数据返回至所述终端。

15.一种数据获取装置，其特征在于，包括：

接收单元，用于接收终端发送的推荐内容的消费数据获取请求，所述消费数据获取请求携带所述推荐内容的属性信息和消费时间；

识别单元，用于根据所述属性信息，在维度索引信息中识别出所述推荐内容对应的至少一个内容标识，所述维度索引信息用于指示内容维度与所述推荐内容的内容标识的关联关系；

确定单元，用于基于所述内容标识，在时序索引信息中确定出所述推荐内容对应的目标时序索引，所述时序索引信息用于指示所述推荐内容的内容标识与时序索引的关联关系，所述时序索引中包括至少一个预设消费时间单元对应的消费数据；

获取单元，用于在所述目标时序索引中获取所述推荐内容在所述消费时间内的目标消费数据，并将所述目标消费数据返回至所述终端。

Images