CN109408532A - 数据获取方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种数据获取方法、装置、计算机设备和存储介质。所述方法涉及海量数据处理，包括：接收数据获取消息，并根据数据获取消息确定待获取数据所属的各待查询数据库；获取各待查询数据库对应预设的数据查询线程；根据数据获取消息和数据查询线程，从各待查询数据库中获取待获取数据；根据数据获取消息确定数据聚合条件；按照数据聚合条件将待获取数据进行聚合处理，获得与数据获取消息对应的聚合数据。采用本方法能够降低数据获取过程的耗时，提高数据获取的效率。

Description

数据获取方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种数据获取方法、装置、计算机设备和存储介质。

背景技术

随着计算机技术的发展，越来越多的业务系统通过互联网在线上进行实现，如银行服务、保险服务、在线购物等，各业务系统处理、存储的数据量呈指数增长，现在已然进入了大数据时代，各种大数据分析解决方案也应运而生。

目前，在大数据分析、处理方案中，需要从各业务系统对应的数据源获得各种待处理数据，尤其是涉及到跨领域业务系统的数据分析处理时，各领域业务系统的数据源之间逻辑涉及复杂，如何从各数据源中快速获得满足处理需求的数据，降低数据获取过程的耗时，已经成为当下亟须解决的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够降低数据获取耗时、提高数据获取效率的数据获取方法、装置、计算机设备和存储介质。

一种数据获取方法，所述方法包括：

接收数据获取消息，并根据数据获取消息确定待获取数据所属的各待查询数据库；

获取各待查询数据库对应预设的数据查询线程；

根据数据获取消息和数据查询线程，从各待查询数据库中获取待获取数据；

根据数据获取消息确定数据聚合条件；

按照数据聚合条件将待获取数据进行聚合处理，获得与数据获取消息对应的聚合数据。

在其中一个实施例中，获取各待查询数据库对应预设的数据查询线程的步骤包括：

查询预设的数据查询线程池；

确定待查询数据库与对应的数据查询线程之间的映射关系；

根据映射关系从数据查询线程池中获得数据查询线程。

在其中一个实施例中，根据数据获取消息和数据查询线程，从各待查询数据库中获取待获取数据的步骤包括：

根据数据获取消息确定待获取数据的线程查询条件；

根据线程查询条件，更新数据查询线程；

根据更新后的数据查询线程，从各待查询数据库中获取待获取数据。

在其中一个实施例中，根据数据获取消息确定待获取数据的线程查询条件的步骤包括：

从数据获取消息中确定待获取数据的查询数据类型和查询筛选条件；

根据查询数据类型和查询筛选条件得到线程查询条件。

在其中一个实施例中，按照数据聚合条件将待获取数据进行聚合处理的步骤包括：

获取预设的数据聚合线程；

通过数据聚合线程，将待获取数据按照数据聚合条件进行聚合处理。

在其中一个实施例中，数据聚合线程包括赋值函数，通过数据聚合线程，将待获取数据按照数据聚合条件进行聚合处理的步骤包括：

将待获取数据同步至预设的聚合缓存中；

在聚合缓存中，通过赋值函数将待获取数据按照数据聚合条件进行聚合处理；

从聚合缓存中导出聚合处理结果，得到聚合数据。

一种数据获取装置，所述装置包括：

数据库确定模块，用于接收数据获取消息，并根据数据获取消息确定待获取数据所属的各待查询数据库；

查询线程获取模块，用于获取各待查询数据库对应预设的数据查询线程；

数据获取模块，用于根据数据获取消息和数据查询线程，从各待查询数据库中获取待获取数据；

聚合条件确定模块，用于根据数据获取消息确定数据聚合条件；

聚合处理模块，用于按照数据聚合条件将待获取数据进行聚合处理，获得与数据获取消息对应的聚合数据。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

接收数据获取消息，并根据数据获取消息确定待获取数据所属的各待查询数据库；

获取各待查询数据库对应预设的数据查询线程；

根据数据获取消息和数据查询线程，从各待查询数据库中获取待获取数据；

根据数据获取消息确定数据聚合条件；

按照数据聚合条件将待获取数据进行聚合处理，获得与数据获取消息对应的聚合数据。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

接收数据获取消息，并根据数据获取消息确定待获取数据所属的各待查询数据库；

获取各待查询数据库对应预设的数据查询线程；

根据数据获取消息和数据查询线程，从各待查询数据库中获取待获取数据；

根据数据获取消息确定数据聚合条件；

按照数据聚合条件将待获取数据进行聚合处理，获得与数据获取消息对应的聚合数据。

上述数据获取方法、装置、计算机设备和存储介质，根据接收到的数据获取消息确定各待查询数据库，通过与各待查询数据库对应预设的数据查询线程结合数据获取消息，从各待查询数据库中获取待获取数据，最后根据通过数据获取消息确定的数据聚合条件将获得的待获取数据进行聚合处理，从而得到与数据获取消息对应的聚合数据。在数据获取过程中，对于不同的待查询数据库通过对应预设的数据查询线程进行数据获取，并按照实际需求进行数据聚合，避免了各数据源之间因逻辑设计复杂导致代码冗余多，以及数据获取过程耗时长的问题，有效降低了数据获取过程的耗时，提高了数据获取的效率。

附图说明

图1为一个实施例中数据获取方法的应用场景图；

图2为一个实施例中数据获取方法的流程示意图；

图3为一个实施例中获得待获取数据的步骤的流程示意图；

图4为另一个实施例中数据获取方法的流程示意图；

图5为一个实施例中数据获取装置的结构框图；

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的数据获取方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104通过网络进行通信。服务器104接收到由终端102发送的数据获取消息后，根据该数据获取消息确定各待查询数据库，通过与各待查询数据库对应预设的数据查询线程结合数据获取消息，从各待查询数据库中获取待获取数据，最后根据通过数据获取消息确定的数据聚合条件将获得的待获取数据进行聚合处理，从而得到与数据获取消息对应的聚合数据，最后可以将获得的聚合数据返回至终端102。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种数据获取方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：

步骤S201：接收数据获取消息，并根据数据获取消息确定待获取数据所属的各待查询数据库。

其中，数据获取消息可以为终端102发送的请求消息，其可以但不限于包括待获取数据、待查询数据库等数据源信息。服务器104接收到分布式系统中各终端102发送的数据获取消息后，确定该待获取数据所属的各待查询数据库。具体地，可以从接收到的数据获取消息中提取待获取数据的标识信息，并根据该标识信息确定对应所述的待查询数据库。例如，当数据获取消息中，待获取数据的标识信息包括财产险标识、人寿险标识和医疗健康险标识时，确定分别对应的业务系统为财产险系统、人寿险系统和医疗健康险系统，则可以确定各待查数据库包括财产险数据库、人寿险数据库和医疗健康险数据库。

步骤S203：获取各待查询数据库对应预设的数据查询线程。

确定各待查询数据库后，获取对应预设的数据查询线程，其中，数据查询线程为根据各待查询数据库对应预设的专用数据读取线程，可以基于函数式编程思想创建得到，其根据各待查询数据库的数据类型和数据结构对应配置，能够从对应的待查询数据库中快速读取所需的待获取数据。

步骤S205：根据数据获取消息和数据查询线程，从各待查询数据库中获取待获取数据。

获得与各待查询数据库对应的数据查询线程后，根据该数据查询线程和数据获取消息，同时从各待查询数据库中获取待获取数据。具体地，可以通过数据获取消息对数据查询线程进行配置，如根据数据获取消息中的待获取消息设置查询数据类型和查询筛选条件，以对数据查询线程的执行条件进行设定，从而能够通过并行执行数据查询线程，同时从待查询数据库中快速获得所需的待获取数据。

步骤S207：根据数据获取消息确定数据聚合条件。

对于从各待查询数据库中直接提取的为原始数据，而为了对从各待查询数据库中获得的待获取数据进行处理，需要对待获取数据进行聚合。其中，聚合指对待获取数据进行内容挑选、分析、归类，最后分析得到满足需求的聚合结果的数据处理过程。本实施例中，根据数据获取消息确定数据聚合条件，数据聚合条件描述了对从各个待查询数据库中获得的待获取数据的处理方式，例如，对于分别从财产险数据库、人寿险数据库和医疗健康险数据库获得的财产险数据、人寿险数据和医疗健康险数据，数据聚合条件可以包括投保时间、投保人、投保金额等等数据筛选处理条件。通过数据聚合条件可以确定将从各待查询数据库中获得的待获取数据进行聚合的处理方式。

步骤S209：按照数据聚合条件将待获取数据进行聚合处理，获得与数据获取消息对应的聚合数据。

确定数据聚合条件后，将待获取数据进行聚合处理，获得与数据获取消息对应的聚合数据，聚合数据可以用于后续的处理、分析直接调取使用。对于不同的待查询数据库通过对应预设的数据查询线程进行数据获取，并按照实际需求进行数据聚合，从而避免了各数据源之间因逻辑设计复杂导致代码冗余多，以及数据获取过程耗时长的问题，有效降低了数据获取过程的耗时，提高了数据获取的效率。

上述数据获取方法中，根据接收到的数据获取消息确定各待查询数据库，通过与各待查询数据库对应预设的数据查询线程结合数据获取消息，从各待查询数据库中获取待获取数据，最后根据通过数据获取消息确定的数据聚合条件将获得的待获取数据进行聚合处理，从而得到与数据获取消息对应的聚合数据。在数据获取过程中，对于不同的待查询数据库通过对应预设的数据查询线程进行数据获取，并按照实际需求进行数据聚合，避免了各数据源之间因逻辑设计复杂导致代码冗余多，以及数据获取过程耗时长的问题，有效降低了数据获取过程的耗时，提高了数据获取的效率。

在一个实施例中，获取各待查询数据库对应预设的数据查询线程的步骤包括：查询预设的数据查询线程池；确定待查询数据库与对应的数据查询线程之间的映射关系；根据映射关系从数据查询线程池中获得数据查询线程。

对于数据获取消息，其可能涉及多个不同待查询数据库中的数据，而各待查询数据库可以为根据不同划分规则划分得到，如以单位进行划分、以数据库对应业务系统进行划分或以数据库中数据类型进行划分等。例如，对于基于分布式架构的集团-子公司的数据库管理中，各子公司的数据库是独立的，集团公司需要获取各子公司的某些数据时，需要从各子公司的数据库中进行数据查询，此时，各待查询数据库的特性，如数据类型、数据存储方式等并不相同，可以基于待查询数据库的特性，分别构建对应的数据查询线程，以此能够有效提高从各子公司的数据库中获取对应待获取数据的效率。

本实施例中，在获取各待查询数据库对应预设的数据查询线程时，先查询预设的数据查询线程池，数据查询线程池存储有各待查询数据库对应的数据查询线程。再确定待查询数据库与对应的数据查询线程之间的映射关系，该映射关系可以为待查询数据库与对应的数据查询线程之间的匹配条件，如可以为名称匹配或编码匹配，通过该匹配条件，可以根据待查询数据库在数据查询线程池查询得到对应的数据查询线程，获得的数据查询线程用于从待查询数据库中提取对应的待获取数据。

在一个实施例中，如图3所示，获得待获取数据的步骤，即根据数据获取消息和数据查询线程，从各待查询数据库中获取待获取数据的步骤包括：

步骤S301：根据数据获取消息确定待获取数据的线程查询条件。

其中，线程查询条件为可以为待获取数据的数据筛选条件，具体可以包括查询数据类型和查询筛选条件。在查询待获取数据时，可以将数据查询线程作为数据查询模板，根据该线程查询条件对该数据查询模板进行配置，得到配置后的数据查询线程，并通过该配置后的数据查询线程进行数据查询。本实施例中，根据数据获取消息确定待获取数据，并根据待获取数据确定对应的线程查询条件。

步骤S303：根据线程查询条件，更新数据查询线程。

得到待获取数据的线程查询条件后，根据该线程查询条件更新数据查询线程，从而可以按照当前的数据获取需求对数据查询线程进行动态修改，提高数据查询线程的针对性，确保了待获取数据的查询效率。

步骤S305：根据更新后的数据查询线程，从各待查询数据库中获取待获取数据。

根据线程查询条件对数据查询线程进行更新后，通过更新后的数据查询线程，从各待查询数据库中查询待获取数据。

本实施例中，将数据查询线程作为数据查询模板，根据该线程查询条件对该数据查询模板进行配置，得到配置后的数据查询线程，并通过该配置后的数据查询线程进行数据查询，实现了按照当前的数据获取需求对数据查询线程进行动态修改，提高数据查询线程的针对性，确保了待获取数据的查询效率。

在一个实施例中，根据数据获取消息确定待获取数据的线程查询条件的步骤包括：从数据获取消息中确定待获取数据的查询数据类型和查询筛选条件；根据查询数据类型和查询筛选条件得到线程查询条件。

本实施例中，根据数据获取消息确定待获取数据，并进一步跟进待获取数据确定对应的查询数据类型和查询筛选条件。其中，查询数据类型表征待获取数据的数据类型，查询筛选条件表征待获取数据的数据范围，通过查询数据类型和查询筛选条件可以确定待获取数据。得到查询数据类型和查询筛选条件后，可以直接将查询数据类型和查询筛选条件作为线程查询条件，以对数据查询线程进行配置更新，使数据查询线程能够准确查询得到所需的待获取数据。

在一个实施例中，按照数据聚合条件将待获取数据进行聚合处理的步骤包括：获取预设的数据聚合线程；通过数据聚合线程，将待获取数据按照数据聚合条件进行聚合处理。

其中，聚合条件为对从各个待查询数据库中获得的待获取数据的处理方式，通过聚合条件，可以将从各个待查询数据库中获得的待获取数据进行融合，得到满足待获取数据需求的聚合数据。具体地，在将待获取数据进行聚合处理时，先查询预设的数据聚合线程，数据聚合线程可以通过赋值函数实现，通过该数据聚合线程将待获取数据按照数据聚合条件进行聚合处理，得到获得与数据获取消息对应的聚合数据。

在一个实施例中，数据聚合线程包括赋值函数，通过数据聚合线程，将待获取数据按照数据聚合条件进行聚合处理的步骤包括：将待获取数据同步至预设的聚合缓存中；在聚合缓存中，通过赋值函数将待获取数据按照数据聚合条件进行聚合处理；从聚合缓存中导出聚合处理结果，得到聚合数据。

本实施例中，数据聚合线程包括赋值函数，赋值函数为基于函数式编程思想编写的用于更改一个类私有成员变量值的成员函数，通过赋值函数可以对数据进行聚合且导出聚合数据。具体地，将待获取数据同步至预设的聚合缓存中，聚合缓存为预先划分出的专用于数据聚合的存储空间，通过将得到的待获取数据同步至聚合缓存中集中统一处理，能够提高数据聚合处理效率。在聚合缓存中，通过赋值函数将待获取数据按照数据聚合条件进行聚合处理，并将聚合处理结果从聚合缓存中导出，得到聚合数据。通过基于函数式编程思想编写的赋值函数对从各个待查询数据库中获得的待获取数据进行聚合处理，能够有效提高数据融合的处理效率。

在一个实施例中，如图4所示，提供了一种数据获取方法，包括以下步骤：

步骤S401：接收数据获取消息，并根据数据获取消息确定待获取数据所属的各待查询数据库；

步骤S402：查询预设的数据查询线程池；

步骤S403：确定待查询数据库与对应的数据查询线程之间的映射关系；

步骤S404：根据映射关系从数据查询线程池中获得数据查询线程。

本实施例中，终端102发送的数据获取消息包括待获取数据、待查询数据库等数据源信息。服务器104接收到数据获取消息时，从中提取待获取数据的标识信息，并根据该标识信息确定对应所述的待查询数据库。在获取各待查询数据库对应预设的数据查询线程时，先查询预设的数据查询线程池，再确定待查询数据库与对应的数据查询线程之间的映射关系，通过该映射条件，根据待查询数据库在数据查询线程池查询得到对应的数据查询线程，获得的数据查询线程用于从待查询数据库中提取对应的待获取数据。

步骤S405：从数据获取消息中确定待获取数据的查询数据类型和查询筛选条件；

步骤S406：根据查询数据类型和查询筛选条件得到线程查询条件；

步骤S407：根据线程查询条件，更新数据查询线程；

步骤S408：根据更新后的数据查询线程，从各待查询数据库中获取待获取数据。

根据数据获取消息确定待获取数据，并进一步跟进待获取数据确定对应的查询数据类型和查询筛选条件。其中，查询数据类型表征待获取数据的数据类型，查询筛选条件表征待获取数据的数据范围，通过查询数据类型和查询筛选条件可以确定待获取数据。得到待获取数据的线程查询条件后，根据该线程查询条件更新数据查询线程，从而可以按照当前的数据获取需求对数据查询线程进行动态修改，提高数据查询线程的针对性，确保了待获取数据的查询效率。

步骤S409：根据数据获取消息确定数据聚合条件；

步骤S410：按照数据聚合条件将待获取数据进行聚合处理，获得与数据获取消息对应的聚合数据。

数据聚合条件描述了对从各个待查询数据库中获得的待获取数据的处理方式。按照数据聚合条件将待获取数据进行聚合处理的步骤包括：获取预设的数据聚合线程；通过数据聚合线程，将待获取数据按照数据聚合条件进行聚合处理。其中，数据聚合线程包括赋值函数，通过数据聚合线程，将待获取数据按照数据聚合条件进行聚合处理的步骤包括：将待获取数据同步至预设的聚合缓存中；在聚合缓存中，通过赋值函数将待获取数据按照数据聚合条件进行聚合处理；从聚合缓存中导出聚合处理结果，得到聚合数据。本实施例中，通过基于函数式编程思想编写的赋值函数对从各个待查询数据库中获得的待获取数据进行聚合处理，能够有效提高数据融合的处理效率。

应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图5所示，提供了一种数据获取装置，包括：数据库确定模块501、查询线程获取模块503、数据获取模块505、聚合条件确定模块507和聚合处理模块509，其中：

数据库确定模块501，用于接收数据获取消息，并根据数据获取消息确定待获取数据所属的各待查询数据库；

查询线程获取模块503，用于获取各待查询数据库对应预设的数据查询线程；

数据获取模块505，用于根据数据获取消息和数据查询线程，从各待查询数据库中获取待获取数据；

聚合条件确定模块507，用于根据数据获取消息确定数据聚合条件；

聚合处理模块509，用于按照数据聚合条件将待获取数据进行聚合处理，获得与数据获取消息对应的聚合数据。

上述数据获取装置，由数据库确定模块根据接收到的数据获取消息确定各待查询数据库，由数据获取模块通过与各待查询数据库对应预设的数据查询线程结合数据获取消息，从各待查询数据库中获取待获取数据，最后通过聚合处理模块根据通过数据获取消息确定的数据聚合条件将获得的待获取数据进行聚合处理，从而得到与数据获取消息对应的聚合数据。在数据获取过程中，对于不同的待查询数据库通过对应预设的数据查询线程进行数据获取，并按照实际需求进行数据聚合，避免了各数据源之间因逻辑设计复杂导致代码冗余多，以及数据获取过程耗时长的问题，有效降低了数据获取过程的耗时，提高了数据获取的效率。

在一个实施例中，查询线程获取模块503包括线程池查询单元、映射关系确定单元和查询线程获取单元，其中：线程池查询单元，用于查询预设的数据查询线程池；映射关系确定单元，用于确定待查询数据库与对应的数据查询线程之间的映射关系；查询线程获取单元，用于根据映射关系从数据查询线程池中获得数据查询线程。

在一个实施例中，数据获取模块505包括查询条件确定单元、查询线程更新单元和数据获取单元，其中：查询条件确定单元，用于根据所述数据获取消息确定所述待获取数据的线程查询条件；查询线程更新单元，根据所述线程查询条件，更新所述数据查询线程；数据获取单元，根据更新后的数据查询线程，从各所述待查询数据库中获取所述待获取数据。

在一个实施例中，查询条件确定单元包括数据筛选子单元和线程查询条件子单元，其中：数据筛选子单元，用于从数据获取消息中确定待获取数据的查询数据类型和查询筛选条件；线程查询条件子单元，用于根据查询数据类型和查询筛选条件得到线程查询条件。

在一个实施例中，聚合处理模块509包括聚合线程获取单元和聚合处理单元，其中：聚合线程获取单元，用于获取预设的数据聚合线程；聚合处理单元，用于通过数据聚合线程，将待获取数据按照数据聚合条件进行聚合处理。

在一个实施例中，数据聚合线程包括赋值函数，聚合处理单元包括数据同步子单元、聚合处理子单元和聚合结果导出子单元，其中：数据同步子单元，用于将待获取数据同步至预设的聚合缓存中；聚合处理子单元，用于在聚合缓存中，通过赋值函数将待获取数据按照数据聚合条件进行聚合处理；聚合结果导出子单元，用于从聚合缓存中导出聚合处理结果，得到聚合数据。

关于数据获取装置的具体限定可以参见上文中对于数据获取方法的限定，在此不再赘述。上述数据获取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据获取方法。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

接收数据获取消息，并根据数据获取消息确定待获取数据所属的各待查询数据库；

获取各待查询数据库对应预设的数据查询线程；

根据数据获取消息和数据查询线程，从各待查询数据库中获取待获取数据；

根据数据获取消息确定数据聚合条件；

按照数据聚合条件将待获取数据进行聚合处理，获得与数据获取消息对应的聚合数据。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：查询预设的数据查询线程池；确定待查询数据库与对应的数据查询线程之间的映射关系；根据映射关系从数据查询线程池中获得数据查询线程。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据数据获取消息确定待获取数据的线程查询条件；根据线程查询条件，更新数据查询线程；根据更新后的数据查询线程，从各待查询数据库中获取待获取数据。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：从数据获取消息中确定待获取数据的查询数据类型和查询筛选条件；根据查询数据类型和查询筛选条件得到线程查询条件。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取预设的数据聚合线程；通过数据聚合线程，将待获取数据按照数据聚合条件进行聚合处理。

在一个实施例中，数据聚合线程包括赋值函数，处理器执行计算机程序时还实现以下步骤：将待获取数据同步至预设的聚合缓存中；在聚合缓存中，通过赋值函数将待获取数据按照数据聚合条件进行聚合处理；从聚合缓存中导出聚合处理结果，得到聚合数据。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

接收数据获取消息，并根据数据获取消息确定待获取数据所属的各待查询数据库；

获取各待查询数据库对应预设的数据查询线程；

根据数据获取消息和数据查询线程，从各待查询数据库中获取待获取数据；

根据数据获取消息确定数据聚合条件；

按照数据聚合条件将待获取数据进行聚合处理，获得与数据获取消息对应的聚合数据。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：查询预设的数据查询线程池；确定待查询数据库与对应的数据查询线程之间的映射关系；根据映射关系从数据查询线程池中获得数据查询线程。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据数据获取消息确定待获取数据的线程查询条件；根据线程查询条件，更新数据查询线程；根据更新后的数据查询线程，从各待查询数据库中获取待获取数据。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：从数据获取消息中确定待获取数据的查询数据类型和查询筛选条件；根据查询数据类型和查询筛选条件得到线程查询条件。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取预设的数据聚合线程；通过数据聚合线程，将待获取数据按照数据聚合条件进行聚合处理。

在一个实施例中，数据聚合线程包括赋值函数，计算机程序被处理器执行时还实现以下步骤：将待获取数据同步至预设的聚合缓存中；在聚合缓存中，通过赋值函数将待获取数据按照数据聚合条件进行聚合处理；从聚合缓存中导出聚合处理结果，得到聚合数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据获取方法，所述方法包括：

接收数据获取消息，并根据所述数据获取消息确定待获取数据所属的各待查询数据库；

获取各所述待查询数据库对应预设的数据查询线程；

根据所述数据获取消息和所述数据查询线程，从各所述待查询数据库中获取所述待获取数据；

根据所述数据获取消息确定数据聚合条件；

按照所述数据聚合条件将所述待获取数据进行聚合处理，获得与所述数据获取消息对应的聚合数据。

2.根据权利要求1所述的方法，其特征在于，所述获取各所述待查询数据库对应预设的数据查询线程的步骤包括：

查询预设的数据查询线程池；

确定所述待查询数据库与对应的所述数据查询线程之间的映射关系；

根据所述映射关系从所述数据查询线程池中获得所述数据查询线程。

3.根据权利要求1所述的方法，其特征在于，所述根据所述数据获取消息和所述数据查询线程，从各所述待查询数据库中获取所述待获取数据的步骤包括：

根据所述数据获取消息确定所述待获取数据的线程查询条件；

根据所述线程查询条件，更新所述数据查询线程；

根据更新后的数据查询线程，从各所述待查询数据库中获取所述待获取数据。

4.根据权利要求3所述的方法，其特征在于，所述根据所述数据获取消息确定所述待获取数据的线程查询条件的步骤包括：

从所述数据获取消息中确定所述待获取数据的查询数据类型和查询筛选条件；

根据所述查询数据类型和所述查询筛选条件得到所述线程查询条件。

5.根据权利要求1所述的方法，其特征在于，所述按照所述数据聚合条件将所述待获取数据进行聚合处理的步骤包括：

获取预设的数据聚合线程；

通过所述数据聚合线程，将所述待获取数据按照所述数据聚合条件进行聚合处理。

6.根据权利要求5所述的方法，其特征在于，所述数据聚合线程包括赋值函数，所述通过所述数据聚合线程，将所述待获取数据按照所述数据聚合条件进行聚合处理的步骤包括：

将所述待获取数据同步至预设的聚合缓存中；

在所述聚合缓存中，通过所述赋值函数将所述待获取数据按照所述数据聚合条件进行聚合处理；

从所述聚合缓存中导出聚合处理结果，得到所述聚合数据。

7.一种数据获取装置，其特征在于，所述装置包括：

数据库确定模块，用于接收数据获取消息，并根据所述数据获取消息确定待获取数据所属的各待查询数据库；

查询线程获取模块，用于获取各所述待查询数据库对应预设的数据查询线程；

数据获取模块，用于根据所述数据获取消息和所述数据查询线程，从各所述待查询数据库中获取所述待获取数据；

聚合条件确定模块，用于根据所述数据获取消息确定数据聚合条件；

聚合处理模块，用于按照所述数据聚合条件将所述待获取数据进行聚合处理，获得与所述数据获取消息对应的聚合数据。

8.根据权利要求7所述的装置，其特征在于，所述数据获取模块包括：

查询条件确定单元，用于根据所述数据获取消息确定所述待获取数据的线程查询条件；

查询线程更新单元，根据所述线程查询条件，更新所述数据查询线程；

数据获取单元，根据更新后的数据查询线程，从各所述待查询数据库中获取所述待获取数据。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。