CN106649638A - 一种大数据获取方法 - Google Patents

Abstract

本发明公开了一种大数据获取方法，用以解决现有数据交易平台的程序只能实现一对一数据获取的问题。所述大数据获取方法对于具有获取数据权限的数据请求端的获取数据请求，从预先设置的模板库中获取与所述获取数据请求匹配的多个数据源配置模板，选择一个获取的数据源模板并判断其对应的数据源是否满足所述获取数据请求的要求，若满足要求，则将该数据源确定为目标数据源，从目标数据源处获取数据且数据正常时，将目标数据源返回的数据转换为预定格式的数据后返回给所述数据请求端。本发明提供的方法能够通过自动切换数据源配置模板从不同数据提供端获取数据，实现数据交易平台一端对多端数据提供端获取数据的目的，减少数据交易平台软件开发工作量。

Description

一种大数据获取方法

技术领域

本发明涉及数据交易技术领域，特别涉及一种大数据获取方法。

背景技术

随着大数据技术的成熟和发展，大数据在商业上的应用越来越广泛，提供数据的服务商也越来越多，但是由于每个服务商都有其特定的数据提供方式，数据需求者一般需要通过数据交易平台向提供数据的服务商发送请求，目前的数据交易平台针对每个服务商，需要专门编写实现上述数据交易过程的程序，即现有的数据交易平台的数据交易程序只能实现一对一的数据交易，这样，若数据交易平台要接入多个服务商时，就需要开发多套程序，开发程序费时费力，交易平台的程序组成复杂，维护管理不方便；另外，不同服务商提供的数据格式种类较多，现有技术中的数据交易平台一般是将从服务商处获取的数据直接以原格式发送给用户，导致数据需求者需要对部分格式的数据进行解析后才能使用，极大的增加了需求者工作量。

发明内容

本发明提供一种大数据获取方法，用以解决现有数据交易平台的程序只能实现一对一数据获取的问题，通过一个方法流程实现一对多自动获取数据的目的。

本发明提供一种大数据获取方法，包括：

接收数据请求端的获取数据请求；所述获取数据请求包括查询参数；

验证所述数据请求端是否具有获取数据权限；

当所述数据请求端具有获取数据权限时，判断根据预先设置的匹配规则从模板库中是否能获取到所记录的请求参数与所述查询参数相匹配的数据源配置模板；所述模板库中存储有多个预先设置的数据源配置模板，每个数据源配置模板记录有请求参数及对应的数据源的地址和数据源参数；

当根据预先设置的匹配规则从模板库中获取到所记录的请求参数与所述查询参数相匹配的至少一个数据源配置模板时，从获取的至少一个数据源配置模板中选择一个未被选择过的数据源配置模板；

判断当前选择的数据源配置模板对应的数据源是否满足所述获取数据请求的要求；若是，则将当前选择的数据源配置模板对应的数据源确定为目标数据源并执行下一步骤；否则，当所述至少一个数据源配置模板中还有未被选择过的数据源配置模板时，返回执行从获取的至少一个数据源配置模板中选择一个未被选择过的数据源配置模板的步骤；

根据当前选择的数据源配置模板中记录的地址，向所述目标数据源请求数据；

判断所述目标数据源返回的数据是否正常；若是，则将所述目标数据源返回的数据转换为预定格式的数据后返回给所述数据请求端；否则，当所述至少一个数据源配置模板中还有未被选择过的数据源配置模板时，返回执行从获取的至少一个数据源配置模板中选择一个未被选择过的数据源配置模板的步骤。

在一个实施例中，所述判断当前选择的数据源配置模板对应的数据源是否满足所述获取数据请求的要求，包括：

向所述当前选择的数据源配置模板对应的数据源发送获取参数请求；

接收所述当前选择的数据源配置模板对应的数据源返回的数据源参数；

判断接收的数据源参数是否与所述当前选择的数据源配置模板中记录的数据源参数相一致，若是，则断定所述当前选择的数据源配置模板对应的数据源满足所述获取数据请求的要求。

在一个实施例中，所述选择一个数据源配置模板之后，判断当前选择的数据源配置模板对应的数据源是否满足所述获取数据请求的要求之前，还包括：确定本地与当前选择的数据源配置模板对应的数据源之间的通信方式；

所述向所述当前选择的数据源配置模板对应的数据源发送获取参数请求，包括：

根据确定的本地与所述当前选择的数据源配置模板对应的数据源之间的通信方式，建立通信链路；

通过所述通信链路，向所述当前选择的数据源配置模板对应的数据源发送获取参数请求。

在一个实施例中，所述接收数据请求端发来的获取数据请求之前，还包括：预先为所述模板库中的各数据源配置模板设置优先级；

所述从获取的至少一个数据源配置模板中选择一个未被选择过的数据源配置模板，包括：根据优先级从高到低的顺序，从获取的至少一个数据源配置模板中选择一个未被选择过的数据源配置模板。

在一个实施例中，所述方法还可包括：

根据所述数据请求端的历史数据请求行为，预测所述数据请求端对数据源配置模板的喜好度；根据所述数据请求端对数据源配置模板的喜好度，确定所述数据请求端对应的数据源配置模板优先级；

所述根据优先级从高到低的顺序，从获取的至少一个数据源配置模板中选择一个未被选择过的数据源配置模板，包括：

根据所述数据请求端对应的数据源配置模板优先级，从获取的至少一个数据源配置模板中选择一个未被选择过的数据源配置模板。

在一个实施例中，所述数据请求端的历史数据请求行为包括：当前时间之前的预设时间段内的数据请求行为，所述数据请求行为包括数据请求端在所述预设时间段内每次获取到的数据源配置模板的标识及其数据源的标识；

所述根据所述数据请求端的历史数据请求行为，确定所述数据请求端对数据源配置模板的喜好度，包括：

根据所述数据请求端的历史数据请求行为，统计所述数据请求端在所述预设时间段内对数据源配置模板i的使用次数Ni、和从数据源配置模板i对应的数据源Mi获取到数据的次数Q_Mi，以及统计预设数据请求端在所述预设时间段内对数据源配置模板i的总使用次数Ri、和从数据源配置模板i对应的数据源Mi获取到数据的总次数T_Mi；根据以下计算公式计算所述数据请求端对数据源配置模板i的喜好度Pi，所述计算公式为：

其中，所述N为所述数据请求端在所述预设时间段内对所有数据源配置模板的总使用次数；所述R为预设数据请求端在所述预设时间段内对所有数据源配置模板的总使用次数；所述Q为所述数据请求端在所述预设时间段内从所有数据源获取到数据的总次数；所述T为预设数据请求端在所述预设时间段内从所有数据源获取到数据的总次数；所述预设数据请求端是指满足以下条件的所有数据请求端：用户信息与所述数据请求端的用户信息之间的信息匹配度达到预设匹配度的数据请求端；

所述根据所述数据请求端对数据源配置模板的喜好度，确定所述数据请求端对应的数据源配置模板优先级，包括：

按照所述数据请求端对各个数据源配置模板的喜好度从大到小的顺序排列数据源配置模板，形成第一排列；

将第一排列中的数据源配置模板从中间位置一分为二，形成喜好度较大的第二排列和喜好度较小的第三排列；其中，当第一排列中的数据源配置模板为2N个时，第一排列中的数据源配置模板的编号从前往后依序为1～2N；第二排列中的数据源配置模板为N个、第三排列中的数据源配置模板为N个，第二排列中的数据源配置模板的编号从前往后依序为1～N，第三排列中的数据源配置模板的编号从前往后依序为N+1～2N；当第一排列中的数据源配置模板为2N+1个时，第一排列中的数据源配置模板的编号从前往后依序为1～2N+1，第二排列中的数据源配置模板为N个、第三排列中的数据源配置模板为N+1个，第二排列中的数据源配置模板的编号从前往后依序为1～N，第三排列中的数据源配置模板的编号从前往后依序为N+1～2N+1；

将第三排列中的数据源配置模板按照喜好度从大到小的顺序逐个穿插入第二排列中，形成第四排列；第四排列中的第一个数据源配置模板为原属于第二排列的第一个数据源配置模板；在第四排列中，原属于第二排列的数据源配置模板的两侧均为原属于第三排列的数据源配置模板，并且，原属于第三排列的数据源配置模板的两侧均为原属于第二排列的数据源配置模板；在第四排列中，原属于第三排列的数据源配置模板对应的喜好度依序从大变小，原属于第二排列的数据源配置模板对应的喜好度依序从大变小；

将所述第四排列中的数据源配置模板的先后顺序，作为所述数据请求端对应的数据源配置模板优先级，数据源配置模板在第四排列中的排位越靠前，其优先级越高。

在一个实施例中，所述预定格式为json格式。

在一个实施例中，所述接收数据请求端发来的获取数据请求，包括：

通过网络应用程序接口Web API接收数据请求端的获取数据请求。

在一个实施例中，所述获取数据请求还包括数据请求端的用户身份信息；

所述验证所述数据请求端是否具有获取数据权限，包括：

验证所述数据请求端的用户身份信息是否通过；

当所述数据请求端的用户身份信息验证通过后，确定所述数据请求端具有获取数据权限。

在一个实施例中，在所述数据请求端的用户身份信息验证通过之后，确定所述数据请求端具有获取数据权限之前，还包括：

获取当前验证通过的用户身份信息对应用户的剩余数据请求次数及余额；

判断当前获取的剩余请求次数是否大于0，若是，则执行确定所述数据请求端具有获取数据权限的步骤，否则，

判断当前获取的余额是否不小于预定的单次获取数据所需金额，若是，则执行确定所述数据请求端具有获取数据权限的步骤，否则结束流程。

本发明的一些有益效果可以包括：

本发明提供的大数据获取方法通过预先设置与不同数据源对应的数据源配置模板，对于有获取数据权限的用户输入的查询参数，能够根据所述查询参数匹配数据源配置模板，从而自动获得数据源地址，通过获得的数据源地址对应的数据源返回的参数校验数据源的正确性和稳定性，当当前数据源不符合用户要求时，可以自动切换到另一个配置模板对应的数据源，自动实现数据交易平台一端对多端数据提供端获取数据的目的，简化数据交易平台软件开发工作，方便维护管理。此外，多配置模板动态自动化切换调度，能够确保本平台用户调用本平台数据API的稳定性与正确性。此外，将获取的数据通过自定义的解析程序统一转换成预定格式的数据结构输出给数据请求端，方便用户使用。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中一种大数据获取方法的流程图；

图2为图1所示方法中步骤S105的流程图；

图3为本发明实施例一中一种大数据获取方法的流程图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图1为本发明实施例中一种大数据获取方法的流程图。如图1所示，包括以下步骤S101-S110：

S101：接收数据请求端的获取数据请求；其中，所述获取数据请求包括用户输入的查询参数。

优选地，本发明提供的数据交易平台提供一个网络应用程序接口(Web API)，此步骤中通过该网络应用程序接口接收数据请求端的获取数据请求，即数据请求端调用本平台的Web API，本平台视为收到其获取数据请求。在调用Web API时，用户需要输入预先定义的该接口的查询参数。

S102：验证所述数据请求端是否具有获取数据权限；若是，则执行步骤S103；否则，结束流程。

优选地，所述获取数据请求还包括数据请求端的用户身份信息，则此步骤S102中通过验证所述数据请求端的用户身份信息是否通过来确定该数据请求端是否具有获取数据权限，若用户身份信息验证通过，则认为该数据请求端具有获取数据权限。

S103：判断根据预先设置的匹配规则，从模板库中是否能获取到所记录的请求参数与所述查询参数相匹配的数据源配置模板；若是，则执行步骤S104；否则，结束流程。

其中，模板库中存储有多个预先设置的数据源配置模板，每个数据源配置模板记录有请求参数及对应的数据源的地址和数据源参数。例如，模板库中预先存储有一个第一数据源配置模板和第二数据源配置模板，该第一数据源配置模板记录有：“请求参数：A1＝x1、A2＝x2、A3＝x3；第一数据源地址，第一数据源参数”，该第二数据源配置模板记录有：“请求参数：A1＝y1、A2＝x2、A3＝x3；第二数据源地址，第二数据源参数”；若步骤S101中收到的获取数据请求中的查询参数为：A1＝x1、A2＝x2、A3＝x3，则此步骤S103从模板库中匹配获取到第一数据源配置模板。

S104：从获取的至少一个数据源配置模板中选择一个未被选择过的数据源配置模板。

优选地，在步骤S101之前，可以预先为模板库中的各数据源配置模板设置优先级，则此步骤S104在获取的至少一个数据源配置模板中，根据优先级从高到低的顺序，选择一个未被选择过的数据源配置模板。例如，若步骤S103中获取到{数据源配置模板A、数据源配置模板B、数据源配置模板C}，这三个数据源配置模板的优先级高低为：数据源配置模板C﹥数据源配置模板A﹥数据源配置模板B，首次执行此步骤时，由于获取的多个数据源配置模板在本轮流程中都未被选择过，因此选择数据源配置模板C，若此步骤在是步骤S106之后执行的，在本次流程中，由于数据源配置模板C已在首次选择时被选择过，此时还有数据源配置模板A和数据源配置模板B未被选择过，则此步骤在数据源配置模板A和数据源配置模板B中选择一个，则此时根据优先级选择数据源配置模板A。当数据源配置模板没有优先级时，每次选择时在未被选择过的数据源配置模板中随机选择。

S105：判断当前选择的数据源配置模板对应的数据源是否满足所述获取数据请求的要求；若是，则执行S107；否则，执行S106。

S106：判断获取的至少一个数据源配置模板中是否还有未被选择过的数据源配置模板；若是，则返回执行S104；否则结束流程。

例如，若步骤S103中获取到{数据源配置模板A、数据源配置模板B、数据源配置模板C}，步骤S104中选择了数据源配置模板C，在本次流程中，此时还有数据源配置模板A和数据源配置模板B未被选择过，则返回执行步骤S104。

S107：将当前选择的数据源配置模板对应的数据源确定为目标数据源。

S108：根据当前选择的数据源配置模板中记录的地址，向目标数据源请求数据。

S109：判断所述目标数据源返回的数据是否正常；若是，则执行S110；否则，返回执行S104。

S110：将所述目标数据源返回的数据转换为预定格式的数据后返回给所述数据请求端。

优选地，所述预定格式为json格式，即将从各个数据提供方获取的不同格式(如json或xml格式)的数据通过自定义handler解析程序统一转换为json格式的数据结构返回给数据请求端的用户。

在一个实施例中，如图2所示，步骤S105可实施为以下步骤S201-S203：

S201：向当前选择的数据源配置模板对应的数据源发送获取参数请求。

优选的，在此步骤之前，上述方法还包括步骤：确定本地与当前选择的数据源配置模板对应的数据源之间的通信方式。则步骤S201首先根据已确定的本地与当前选择的数据源配置模板对应的数据源之间的通信方式，建立通信链路，随后通过所述通信链路，向当前选择的数据源配置模板对应的数据源发送获取参数请求。

S202：接收当前选择的数据源配置模板对应的数据源返回的数据源参数。

S203：判断接收的数据源参数是否与当前选择的数据源配置模板中记录的数据源参数相一致；若一致，则断定当前选择的数据源配置模板对应的数据源满足所述获取数据请求的要求，执行S107；若不一致，则执行S106。

此实施例中，通过当前选择的数据源配置模板对应的数据源返回的数据源参数验证数据源是否满足用户要求，验证简单有效。

下面通过具体实施例来说明本发明实施例提供的大数据获取方法。

实施例一

图3为本发明实施例一中一种数据获取方法的流程图。如图3所示，包括以下步骤S301-S317：

S301：通过网络应用程序接口接收数据请求端的获取数据请求；其中，所述获取数据请求包括用户输入的查询参数。

S302：验证数据请求端的用户身份信息是否通过；若通过，则执行S303；否则，数据请求端调用网络应用程序接口失败，结束流程。

S303：获取当前验证通过的用户身份信息对应用户的剩余数据请求次数及余额。

本实施例中，对于付费用户才具有获取数据权限的情况，在用户身份信息验证通过后，还需要获取系统中记录的该用户的剩余数据请求次数及余额，例如，若用户购买的是交易次数(例如可刷10次的用户卡)，则记录的是剩余数据请求次数；若用户采用手机话费进行数据交易，则需要查询其话费余额。

S304：判断当前获取的剩余请求次数是否大于0，若是，则执行S306；否则，执行S305。

S305：判断当前获取的余额是否不小于预定的单次获取数据所需金额Y，若是，则执行S306；否则结束流程。

S306：判断根据预先设置的匹配规则，从模板库中是否能获取到所记录的请求参数与所述查询参数相匹配的数据源配置模板；若是，则执行步骤S307；否则，结束流程。

本实施例中，步骤S306的实施过程和上述方法实施例的步骤S103类似，此处不再赘述。

S307：从获取的至少一个数据源配置模板中选择一个未被选择过的数据源配置模板。

本实施例中，步骤S307的实施过程和上述方法实施例的步骤S104类似，此处不再赘述。

S308：确定本地与当前选择的数据源配置模板对应的数据源之间的通信方式。

S309：根据已确定的本地与当前选择的数据源配置模板对应的数据源之间的通信方式，建立通信链路。

S310：通过已建立的通信链路，向当前选择的数据源配置模板对应的数据源发送获取参数请求。

S311：接收当前选择的数据源配置模板对应的数据源返回的数据源参数。

S312：判断接收的数据源参数是否与当前选择的数据源配置模板中记录的数据源参数相一致；若一致，则执行S314；否则，执行S313。

本实施例中，步骤S308-S312的实施过程和上述方法实施例的步骤S201-S203类似，此处不再赘述。

S313：判断获取的至少一个数据源配置模板中是否还有未被选择过的数据源配置模板；若是，则返回执行S307；否则结束流程。

本实施例中，步骤S313的实施过程和上述方法实施例的步骤S106类似，此处不再赘述。

S314：将当前选择的数据源配置模板对应的数据源确定为目标数据源。

S315：根据当前选择的数据源配置模板中记录的地址，向所述目标数据源请求数据。

S316：判断所述目标数据源返回的数据是否正常；若是，则执行S317；否则，返回执行S307。

S317：将所述目标数据源返回的数据转换为预定格式的数据后返回给所述数据请求端。

本实施例中，步骤S314-S317的实施过程和上述方法实施例的步骤S107-S110类似，此处不再赘述。

本发明实施例提供的上述大数据获取方法通过预先设置与不同数据源对应的数据源配置模板，对于有获取数据权限的用户输入的查询参数，能够根据所述查询参数匹配数据源配置模板，从而自动获得数据源地址，通过获得的数据源地址对应的数据源返回的参数校验数据源的正确性和稳定性，当当前数据源不符合用户要求时，可以自动切换到另一个配置模板对应的数据源，自动实现数据交易平台一端对多端数据提供端以获取数据的目的。此外，多配置模板动态自动化切换调度，能够确保本平台用户调用本平台数据API的稳定性与正确性。此外，该方法能够将获取的数据统一转换成预定格式的数据结构输出给数据请求端，方便用户使用。

在一个实施例中，上述方法在执行步骤S101之前，还可以为模板库中的各数据源配置模板设置优先级。下面提供一种设置优先级的实施方式，该方式设置的是数据请求端对应的数据源配置模板优先级，此时，上述方法在执行步骤S101之前，还可包括步骤D1-D2：

D1、根据数据请求端的历史数据请求行为，预测数据请求端对数据源配置模板的喜好度；D2、根据数据请求端对数据源配置模板的喜好度，确定数据请求端对应的数据源配置模板优先级。

相应地，前述步骤“根据优先级从高到低的顺序，从获取的至少一个数据源配置模板中选择一个未被选择过的数据源配置模板”可实施为如下方式：

根据数据请求端对应的数据源配置模板优先级，从获取的至少一个数据源配置模板中选择一个未被选择过的数据源配置模板。

即，考虑到有时数据请求端的用户对数据源配置模板的喜好度是不同的，有的数据请求端的用户对数据源A的数据感兴趣或者认为该数据源A的数据更能符合自己的需求，因此，本实施例中，可根据数据请求端的用户对数据源配置模板的喜好度来设置该数据请求端对应的数据源配置模板优先级，每个数据请求端都对应有自己的数据源配置模板优先级。

本实施例中，根据数据请求端对应的数据源配置模板优先级，从获取的至少一个数据源配置模板中选择一个未被选择过的数据源配置模板，考虑了数据请求端用户的使用习惯，能够较快地获得满足数据获取请求的要求的数据，提高获取效率。

下面说明确定数据请求端对应的数据源配置模板优先级的方法。

在一个实施例中，数据请求端的历史数据请求行为包括：当前时间之前的预设时间段内的数据请求行为，数据请求行为包括数据请求端在预设时间段内每次获取到的数据源配置模板的标识及其数据源的标识；

前述步骤D1可实施为：

根据数据请求端的历史数据请求行为，统计数据请求端在预设时间段内对数据源配置模板i的使用次数Ni、和从数据源配置模板i对应的数据源Mi获取到数据的次数Q_Mi，以及统计预设数据请求端在预设时间段内对数据源配置模板i的总使用次数Ri、和从数据源配置模板i对应的数据源Mi获取到数据的总次数T_Mi；根据以下计算公式计算数据请求端对数据源配置模板i的喜好度Pi，计算公式为：

其中，N为数据请求端在预设时间段内对所有数据源配置模板的总使用次数；R为预设数据请求端在预设时间段内对所有数据源配置模板的总使用次数；Q为数据请求端在预设时间段内从所有数据源获取到数据的总次数；T为预设数据请求端在预设时间段内从所有数据源获取到数据的总次数；预设数据请求端是指满足以下条件的所有数据请求端：用户信息与数据请求端的用户信息之间的信息匹配度达到预设匹配度的数据请求端；

在一个实施例中，系统可预先要求数据请求端的用户提供用户信息，用户信息包括用户的个人基本情况，例如年龄、性别、职业等，用户信息之间的信息匹配度达到预设匹配度，说明用户是相似用户，其对数据源配置模板的喜好可能也具有相似性。因此上述计算公式不仅考虑了数据请求端的用户本身的喜好，也考虑了相似用户的喜好，使得最终计算结果更加准确可靠。

前述步骤D2可实施为D21-D24：

D21、按照数据请求端对各个数据源配置模板的喜好度从大到小的顺序排列数据源配置模板，形成第一排列。

D22、将第一排列中的数据源配置模板从中间位置一分为二，形成喜好度较大的第二排列和喜好度较小的第三排列；其中，当第一排列中的数据源配置模板为2N个时，第一排列中的数据源配置模板的编号从前往后依序为1～2N；第二排列中的数据源配置模板为N个、第三排列中的数据源配置模板为N个，第二排列中的数据源配置模板的编号从前往后依序为1～N，第三排列中的数据源配置模板的编号从前往后依序为N+1～2N；当第一排列中的数据源配置模板为2N+1个时，第一排列中的数据源配置模板的编号从前往后依序为1～2N+1，第二排列中的数据源配置模板为N个、第三排列中的数据源配置模板为N+1个，第二排列中的数据源配置模板的编号从前往后依序为1～N，第三排列中的数据源配置模板的编号从前往后依序为N+1～2N+1。

D23、将第三排列中的数据源配置模板按照喜好度从大到小的顺序逐个穿插入第二排列中，形成第四排列；第四排列中的第一个数据源配置模板为原属于第二排列的第一个数据源配置模板；在第四排列中，原属于第二排列的数据源配置模板的两侧均为原属于第三排列的数据源配置模板，并且，原属于第三排列的数据源配置模板的两侧均为原属于第二排列的数据源配置模板；在第四排列中，原属于第三排列的数据源配置模板对应的喜好度依序从大变小，原属于第二排列的数据源配置模板对应的喜好度依序从大变小。

D24、将第四排列中的数据源配置模板的先后顺序，作为数据请求端对应的数据源配置模板优先级，数据源配置模板在第四排列中的排位越靠前，其优先级越高。

下面举例说明：假设第一排列中有10个数据源配置模板，其编号从前往后依序为1～10，其喜好度分别为0.9、0.85、0.8、0.75、0.7、0.65、0.6、0.55、0.5、0.4。

根据步骤D23，可将第一排列分为第二排列和第三排列。其中，第二排列中数据源配置模板的编号从前往后依序为1～5，其喜好度分别为0.9、0.85、0.8、0.75、0.7。第三排列中数据源配置模板的编号从前往后依序为6～10，其喜好度分别为0.65、0.6、0.55、0.5、0.4。根据步骤D24，将第三排列中的数据源配置模板按照喜好度从大到小的顺序逐个穿插入第二排列中，形成第四排列，此时第四排列中数据源配置模板的编号依序为1、6、2、7、3、8、4、9、5、10，喜好度依序为0.9、0.65、0.85、0.6、0.8、0.55、0.75、0.5、0.7、0.4。可见，第四排列中数据源配置模板的喜好度是忽大忽小的。将第四排列中的数据源配置模板的从前往后的顺序，确定为数据请求端对应的数据源配置模板优先级，在考虑了用户的喜好度的同时，还能避免对喜好度依赖过度，兼顾了用户可能会有与平时不同的喜好和特殊需求的因素；这种间隔地、跳跃式地从用户可能喜好和可能不喜好的数据源配置模板中选择数据源配置模板的方式，兼顾了用户的喜好和偶尔可能产生的特殊需求，加快了处理速度。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种大数据获取方法，其特征在于，包括：

接收数据请求端的获取数据请求；所述获取数据请求包括查询参数；

验证所述数据请求端是否具有获取数据权限；

当所述数据请求端具有获取数据权限时，判断根据预先设置的匹配规则从模板库中是否能获取到所记录的请求参数与所述查询参数相匹配的数据源配置模板；所述模板库中存储有多个预先设置的数据源配置模板，每个数据源配置模板记录有请求参数及对应的数据源的地址和数据源参数；

当根据预先设置的匹配规则从模板库中获取到所记录的请求参数与所述查询参数相匹配的至少一个数据源配置模板时，从获取的至少一个数据源配置模板中选择一个未被选择过的数据源配置模板；

判断当前选择的数据源配置模板对应的数据源是否满足所述获取数据请求的要求；若是，则将当前选择的数据源配置模板对应的数据源确定为目标数据源并执行下一步骤；否则，当所述至少一个数据源配置模板中还有未被选择过的数据源配置模板时，返回执行从获取的至少一个数据源配置模板中选择一个未被选择过的数据源配置模板的步骤；

根据当前选择的数据源配置模板中记录的地址，向所述目标数据源请求数据；

判断所述目标数据源返回的数据是否正常；若是，则将所述目标数据源返回的数据转换为预定格式的数据后返回给所述数据请求端；否则，当所述至少一个数据源配置模板中还有未被选择过的数据源配置模板时，返回执行从获取的至少一个数据源配置模板中选择一个未被选择过的数据源配置模板的步骤。

2.如权利要求1所述的大数据获取方法，其特征在于，所述判断当前选择的数据源配置模板对应的数据源是否满足所述获取数据请求的要求，包括：

向所述当前选择的数据源配置模板对应的数据源发送获取参数请求；

接收所述当前选择的数据源配置模板对应的数据源返回的数据源参数；

判断接收的数据源参数是否与所述当前选择的数据源配置模板中记录的数据源参数相一致，若是，则断定所述当前选择的数据源配置模板对应的数据源满足所述获取数据请求的要求。

3.如权利要求2所述的大数据获取方法，其特征在于，所述选择一个数据源配置模板之后，判断当前选择的数据源配置模板对应的数据源是否满足所述获取数据请求的要求之前，还包括：确定本地与当前选择的数据源配置模板对应的数据源之间的通信方式；

所述向所述当前选择的数据源配置模板对应的数据源发送获取参数请求，包括：

通过确定的本地与所述当前选择的数据源配置模板对应的数据源之间的通信方式，建立通信链路；

通过所述通信链路，向所述当前选择的数据源配置模板对应的数据源发送获取参数请求。

4.如权利要求1所述的大数据获取方法，其特征在于，所述接收数据请求端发来的获取数据请求之前，还包括：预先为所述模板库中的各数据源配置模板设置优先级；

所述从获取的至少一个数据源配置模板中选择一个未被选择过的数据源配置模板，包括：根据优先级从高到低的顺序，从获取的至少一个数据源配置模板中选择一个未被选择过的数据源配置模板。

5.如权利要求4所述的大数据获取方法，其特征在于，

所述方法还包括：

根据所述数据请求端的历史数据请求行为，预测所述数据请求端对数据源配置模板的喜好度；根据所述数据请求端对数据源配置模板的喜好度，确定所述数据请求端对应的数据源配置模板优先级；

所述根据优先级从高到低的顺序，从获取的至少一个数据源配置模板中选择一个未被选择过的数据源配置模板，包括：

根据所述数据请求端对应的数据源配置模板优先级，从获取的至少一个数据源配置模板中选择一个未被选择过的数据源配置模板。

6.如权利要求5所述的大数据获取方法，其特征在于，

所述数据请求端的历史数据请求行为包括：当前时间之前的预设时间段内的数据请求行为，所述数据请求行为包括数据请求端在所述预设时间段内每次获取到的数据源配置模板的标识及其数据源的标识；

所述根据所述数据请求端的历史数据请求行为，确定所述数据请求端对数据源配置模板的喜好度，包括：

根据所述数据请求端的历史数据请求行为，统计所述数据请求端在所述预设时间段内对数据源配置模板i的使用次数Ni、和从数据源配置模板i对应的数据源Mi获取到数据的次数Q_Mi，以及统计预设数据请求端在所述预设时间段内对数据源配置模板i的总使用次数Ri、和从数据源配置模板i对应的数据源Mi获取到数据的总次数T_Mi；根据以下计算公式计算所述数据请求端对数据源配置模板i的喜好度Pi，所述计算公式为：

$Pi=\frac{Ni}{N}\·\frac{Ri}{R}\·\frac{Q_{Mi}}{Q}\·\frac{T_{Mi}}{T}$

其中，所述N为所述数据请求端在所述预设时间段内对所有数据源配置模板的总使用次数；所述R为预设数据请求端在所述预设时间段内对所有数据源配置模板的总使用次数；所述Q为所述数据请求端在所述预设时间段内从所有数据源获取到数据的总次数；所述T为预设数据请求端在所述预设时间段内从所有数据源获取到数据的总次数；预设数据请求端是指满足以下条件的所有数据请求端：用户信息与所述数据请求端的用户信息之间的信息匹配度达到预设匹配度的数据请求端；

所述根据所述数据请求端对数据源配置模板的喜好度，确定所述数据请求端对应的数据源配置模板优先级，包括：

按照所述数据请求端对各个数据源配置模板的喜好度从大到小的顺序排列数据源配置模板，形成第一排列；

将第一排列中的数据源配置模板从中间位置一分为二，形成喜好度较大的第二排列和喜好度较小的第三排列；其中，当第一排列中的数据源配置模板为2N个时，第一排列中的数据源配置模板的编号从前往后依序为1～2N；第二排列中的数据源配置模板为N个、第三排列中的数据源配置模板为N个，第二排列中的数据源配置模板的编号从前往后依序为1～N，第三排列中的数据源配置模板的编号从前往后依序为N+1～2N；当第一排列中的数据源配置模板为2N+1个时，第一排列中的数据源配置模板的编号从前往后依序为1～2N+1，第二排列中的数据源配置模板为N个、第三排列中的数据源配置模板为N+1个，第二排列中的数据源配置模板的编号从前往后依序为1～N，第三排列中的数据源配置模板的编号从前往后依序为N+1～2N+1；

将第三排列中的数据源配置模板按照喜好度从大到小的顺序逐个穿插入第二排列中，形成第四排列；第四排列中的第一个数据源配置模板为原属于第二排列的第一个数据源配置模板；在第四排列中，原属于第二排列的数据源配置模板的两侧均为原属于第三排列的数据源配置模板，并且，原属于第三排列的数据源配置模板的两侧均为原属于第二排列的数据源配置模板；在第四排列中，原属于第三排列的数据源配置模板对应的喜好度依序从大变小，原属于第二排列的数据源配置模板对应的喜好度依序从大变小；

将所述第四排列中的数据源配置模板的先后顺序，作为所述数据请求端对应的数据源配置模板优先级，数据源配置模板在第四排列中的排位越靠前，其优先级越高。

7.如权利要求1所述的大数据获取方法，其特征在于，所述预定格式为json格式。

8.如权利要求1所述的大数据获取方法，其特征在于，所述接收数据请求端发来的获取数据请求，包括：

通过网络应用程序接口接收数据请求端的获取数据请求。

9.如权利要求1至8任一项所述的大数据获取方法，其特征在于，所述获取数据请求还包括数据请求端的用户身份信息；

所述验证所述数据请求端是否具有获取数据权限，包括：

验证所述数据请求端的用户身份信息是否通过；

当所述数据请求端的用户身份信息验证通过后，确定所述数据请求端具有获取数据权限。

10.如权利要求9所述的大数据获取方法，其特征在于，在所述数据请求端的用户身份信息验证通过之后，确定所述数据请求端具有获取数据权限之前，还包括：

获取当前验证通过的用户身份信息对应用户的剩余数据请求次数及余额；

判断当前获取的剩余请求次数是否大于0，若是，则执行确定所述数据请求端具有获取数据权限的步骤，否则，

判断当前获取的余额是否不小于预定的单次获取数据所需金额，若是，则执行确定所述数据请求端具有获取数据权限的步骤，否则结束流程。