CN110347480B - 含有重合数据项标签的数据源优选访问路径方法及装置 - Google Patents
含有重合数据项标签的数据源优选访问路径方法及装置 Download PDFInfo
- Publication number
- CN110347480B CN110347480B CN201910560801.6A CN201910560801A CN110347480B CN 110347480 B CN110347480 B CN 110347480B CN 201910560801 A CN201910560801 A CN 201910560801A CN 110347480 B CN110347480 B CN 110347480B
- Authority
- CN
- China
- Prior art keywords
- data
- data source
- access
- combination
- data item
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/466—Transaction processing
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明实施例提供一种含有重合数据项标签的数据源优选访问路径方法及装置，方法包括：针对用户终端发送的数据获取请求中数据属性字段包含至少两个数据项标签、寻找含有所有数据项标签的数据源并寻找含有部分数据项标签的数据源组成的数据源组合(包括所有数据项标签且有重复数据项标签)的情况，在满足不超过最高成本上限、最长返回时间、每秒最大访问频次，最低成功率的基础上首先选择优选访问数据源的策略，从重复的数据项标签属性组合中，选择后续有更多访问方式的作为优选获取标签，发送本次数据访问请求并接收返回的本次数据访问的结果。通过对重复数据标签的优选策略，可以有效提升访问的成功率。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种含有重合数据项标签的数据源优选访问路径方法及装置。
背景技术
近年来，随着大数据风控技术的不断完善，为了提升模型准确率，商户需要从不同数据源获取更多的数据作为模型变量，为了提高效率和降低成本，一般都会选择从数据服务平台获取数据。而数据服务平台，作为一个中间平台，参见图3，会外接很多(第三方)数据源，这些数据源可以为平台提供相同或不同的数据项。
现有技术对于用户终端发送的数据获取请求中数据属性字段包含至少两个数据项标签的情况，提供了多数据源访问方法，能够基本满足数据源TPS(Transaction PerSecond，每秒执行的事务数量)、满足商户对于超时时间、降低数据源成本以提升平台整体收益的要求。
但是，现有技术对于在数据源访问过程中所寻找的数据源组合(所述数据源组合由含有部分数据项标签的数据源组成)中有重复数据项标签的情况，并没有提供一种数据源访问的解决方案，即当已知所选择的数据源组合存在重复标签，如何选择优选数据标签的数据源优选访问路径方法，以提升访问成功率。
发明内容
针对现有技术存在的问题，本发明实施例提供一种含有重合数据项标签的数据源优选访问路径方法及装置。
本发明实施例提供一种含有重合数据项标签的数据源优选访问路径方法，包括：
接收用户终端发送的数据获取请求，读取所述数据获取请求中的数据属性字段、最高成本上限MaxMoney和最长返回时间MaxTime，其中，所述数据属性字段包含至少两个数据项标签；
在所有数据源中寻找含有所述数据属性字段中所有数据项标签的数据源，以及在所有数据源中寻找含有所述数据属性字段中部分数据项标签的不同数据源组合成的数据源组合，所述数据源组合包括所述数据属性字段中所有数据项标签且包括重复的数据项标签，将所有寻找的数据源和数据源组合组成第一数据源集合；
基于所读取的MaxMoney和MaxTime，按照预设数据源优选访问路径策略，所述预设数据源优选访问路径策略考虑时间、成本、访问数据源的优先级并根据后续的访问方式的作为优选获取标签组合，在第一数据源集合中挑选独立的数据源或数据源组合发送本次数据访问请求；
接收所挑选的独立的数据源或数据源组合返回的本次数据访问的结果，若访问成功，则将本次数据访问的结果发送给用户终端。
本发明实施例提供一种含有重合数据项标签的数据源优选访问路径装置，包括：
第一接收模块，用于接收用户终端发送的数据获取请求，读取所述数据获取请求中的数据属性字段、最高成本上限MaxMoney和最长返回时间MaxTime，其中，所述数据属性字段包含至少两个数据项标签；
组成模块，用于在所有数据源中寻找含有所述数据属性字段中所有数据项标签的数据源，以及在所有数据源中寻找含有所述数据属性字段中部分数据项标签的不同数据源组合成的数据源组合，所述数据源组合包括所述数据属性字段中所有数据项标签且包括重复的数据项标签，将所有寻找的数据源和数据源组合组成第一数据源集合；
挑选模块，用于基于所读取的MaxMoney和MaxTime，按照预设数据源优选访问路径策略，所述预设数据源优选访问路径策略考虑时间、成本、访问数据源的优先级并根据后续的访问方式的作为优选获取标签组合，在第一数据源集合中挑选独立的数据源或数据源组合发送本次数据访问请求；
第二接收模块，用于接收所挑选的独立的数据源或数据源组合返回的本次数据访问的结果，若访问成功，则将本次数据访问的结果发送给用户终端。
本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述方法的步骤。
本发明实施例提供的含有重合数据项标签的数据源优选访问路径方法及装置，通过针对用户终端发送的数据获取请求中数据属性字段包含至少两个数据项标签、寻找含有所有数据项标签的数据源并寻找含有部分数据项标签的数据源组成的数据源组合，所述数据源组合包括所有数据项标签且包括重复数据项标签的情况，基于最高成本上限MaxMoney和最长返回时间MaxTime，按照预设数据源优选访问路径策略，所述预设数据源优选访问路径策略考虑时间、成本、访问数据源的优先级并根据后续的访问方式的作为优选获取标签组合，在第一数据源集合中挑选独立的数据源或数据源组合发送本次数据访问请求，接收所挑选的独立的数据源或数据源组合返回的本次数据访问的结果，若访问成功，则将本次数据访问的结果发给用户终端，由此，能够针对接收用户终端发送的数据获取请求中的数据属性字段包含至少两个数据项标签、在所有数据源中寻找含有所述数据属性字段中所有数据项标签的数据源，以及在所有数据源中寻找含有所述数据属性字段中部分数据项标签的不同数据源组合成的数据源组合，所述数据源组合包括所述数据属性字段中所有数据项标签且包括重复的数据项标签，组成第一数据源集合的情况，能够提供高性能的数据源访问方式，通过所述预设数据源优选访问路径策略中对重复数据标签的优选方式，可以有效提升访问的成功率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种含有重合数据项标签的数据源优选访问路径方法的流程示意图；
图2为本发明一实施例提供的一种含有重合数据项标签的数据源优选访问路径装置的结构示意图；
图3为现有的用户终端通过数据服务平台服务访问多个数据源的原理示意图；
图4为本发明一实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1示出了本发明一实施例提供的一种含有重合数据项标签的数据源优选访问路径方法的流程示意图，如图1所示，本实施例的含有重合数据项标签的数据源优选访问路径方法，包括：
P1、接收用户终端发送的数据获取请求，读取所述数据获取请求中的数据属性字段、最高成本上限MaxMoney和最长返回时间MaxTime，其中，所述数据属性字段包含至少两个数据项标签。
可以理解的是，所述数据获取请求中的数据属性字段包含的数据项标签，代表需要获取的数据项。本实施例是针对用户终端发送的数据获取请求中的数据属性字段包含至少两个数据项标签的情况，实现数据源的访问，例如，所述数据获取请求中的数据属性字段包含的数据项标签可以为Attr1、Attr2、…、Attrn，n为所述数据获取请求中的数据属性字段包含的数据项标签的数量。
可以理解的是，所述最高成本上限MaxMoney代表本次访问用户终端接受的最高成本，例如假设MaxMoney为1元，则意味着使用所述用户终端的用户最多愿意花1元获得所述数据项标签的数据项。
可以理解的是，所述最长返回时间MaxTime代表本次访问用户终端最长可以等待获得数据项标签的值的时间。
需要说明的是，本实施例所述方法的执行主体为数据服务平台。
P2、在所有数据源中寻找含有所述数据属性字段中所有数据项标签的数据源，以及在所有数据源中寻找含有所述数据属性字段中部分数据项标签的不同数据源组合成的数据源组合，所述数据源组合包括所述数据属性字段中所有数据项标签且包括重复的数据项标签，将所有寻找的数据源和数据源组合组成第一数据源集合。
可以理解的是，由于所述数据获取请求中的数据属性字段包含至少两个数据项标签，本实施例需要在所有数据源中寻找含有所述数据属性字段中所有数据项标签的数据源，以及在所有数据源中寻找含有所述数据属性字段中部分数据项标签的不同数据源组合成的数据源组合，所述数据源组合包括所述数据属性字段中所有数据项标签且包括重复的数据项标签(即每个数据源组合中的不同数据源之间可以有重复的数据项标签)。例如：
所述数据获取请求中的数据属性字段包含的数据项标签为Attr1、Attr2、Attr3、Attr4、Attr5、Attr6；
A数据源含有数据项标签Attr1、Attr2、Attr3、Attr4、Attr5、Attr6，将A数据源加入第一数据源集合；
B数据源含有数据项标签Attr1、Attr2、Attr3，C数据源含有数据项标签Attr4、Attr5、Attr6，将数据源组合{B，C}加入第一数据源集合；
D数据源含有数据项标签Attr1、Attr2，E数据源含有数据项标签Attr2、Attr3、Attr4、Attr5，F数据源含有数据项标签Attr5、Attr6，将数据源组合{D，E，F}加入第一数据源集合，{D，E，F}中包括重复的数据项标签Attr2和Attr5。
P3、基于所读取的MaxMoney和MaxTime，按照预设数据源优选访问路径策略，所述预设数据源优选访问路径策略考虑时间、成本、访问数据源的优先级并根据后续的访问方式的作为优选获取标签组合，在第一数据源集合中挑选独立的数据源或数据源组合发送本次数据访问请求。
可以理解的是，所述预设数据源优选访问路径策略考虑时间、成本、访问数据源的优先级并根据后续的访问方式的作为优选获取标签组合，能够在第一数据源集合中挑选满足访问时间和数据源成本要求的独立的数据源或数据源组合，对于不同数据源组合成的数据源组合有重复标签的现象，会根据每个数据源的标签组合判断优选的访问数据源和标签，保证返回成功率最高和成本最低，且能够更加有效的提高访问数据源的速度。
P4、接收所挑选的独立的数据源或数据源组合返回的本次数据访问的结果，若访问成功，则将本次数据访问的结果发送给用户终端。
可以理解的是，本实施例所述方法是针对用户终端发送的数据获取请求中数据属性字段包含至少两个数据项标签、寻找含有所有数据项标签的数据源并寻找含有部分数据项标签的数据源组成的数据源组合，所述数据源组合包括所有数据项标签且包括重复数据项标签的情况，基于最高成本上限MaxMoney和最长返回时间MaxTime，按照预设数据源优选访问路径策略，所述预设数据源优选访问路径策略考虑时间、成本、访问数据源的优先级并根据后续的访问方式的作为优选获取标签组合，在第一数据源集合中挑选独立的数据源或数据源组合发送本次数据访问请求，接收所挑选的独立的数据源或数据源组合返回的本次数据访问的结果，若访问成功，则将本次数据访问的结果发给用户终端，能够针对接收用户终端发送的数据获取请求中的数据属性字段包含至少两个数据项标签、在所有数据源中寻找含有所述数据属性字段中所有数据项标签的数据源，以及在所有数据源中寻找含有所述数据属性字段中部分数据项标签的不同数据源组合成的数据源组合，所述数据源组合包括所述数据属性字段中所有数据项标签且包括重复的数据项标签，组成第一数据源集合的情况，能够提供高性能的数据源访问方式，通过所述预设数据源优选访问路径策略中对重复数据标签的优选方式，可以有效提升访问的成功率。
本发明实施例提供的含有重合数据项标签的数据源优选访问路径方法，通过接收用户终端发送的数据获取请求，读取所述数据获取请求中的数据属性字段、最高成本上限MaxMoney和最长返回时间MaxTime，其中，所述数据属性字段包含至少两个数据项标签，在所有数据源中寻找含有所述数据属性字段中所有数据项标签的数据源，以及在所有数据源中寻找含有所述数据属性字段中部分数据项标签的不同数据源组合成的数据源组合，所述数据源组合包括所述数据属性字段中所有数据项标签且包括重复的数据项标签，将所有寻找的数据源和数据源组合组成第一数据源集合，基于所读取的MaxMoney和MaxTime，按照预设数据源优选访问路径策略，所述预设数据源优选访问路径策略考虑时间、成本、访问数据源的优先级并根据后续的访问方式的作为优选获取标签组合，在第一数据源集合中挑选独立的数据源或数据源组合发送本次数据访问请求，接收所挑选的独立的数据源或数据源组合返回的本次数据访问的结果，若访问成功，则将本次数据访问的结果发送给用户终端，能够实现高性能的数据源访问，提升平台响应速度，可满足对于数据源访问时间和降低数据源成本的要求，通过所述预设数据源优选访问路径策略中对重复数据标签的优选方式，可以有效提升访问的成功率。
进一步地，在上述实施例的基础上，所述预设数据源优选访问路径策略可以包括图中未示出的步骤Q1-Q4：
Q1、对于第一数据源集合中每个独立的数据源或数据源组合中的每个数据源，判断是否超过每秒最大访问频次Top TPS，若否，则确定所述数据源可以访问，将第一数据源集合中所有可以访问的独立的数据源或数据源组合加入第二数据源集合。
可以理解的是，对于每个(第三方)数据源，都会预先设定访问状态属性列表List，所述访问状态属性列表List可保存每次数据源访问的状态属性对象(StateAttr)，每个StateAttr都包含两个属性：访问是否成功以及本次访问的耗费时间。
Q2、对于第二数据源集合中每个独立的数据源或数据源组合中的每个数据源，判断过去一秒内的平均访问成功比例AvgSucc是否小于预设阈值，若否，则保留所述数据源，将第二数据源集合中本次保留的独立的数据源或数据源组合加入第三数据源集合。
Q3、获取所述第三数据源集合中含有所述数据属性字段中数据项标签的价格小于所述MaxMoney的独立的数据源和所述第三数据源集合中含有所述数据属性字段中数据项标签的价格总和小于所述MaxMoney的数据源组合，组成第四数据源集合。
在具体应用中，本步骤可以列出详细的访问逻辑关系，将符合条件(所述第三数据源集合中含有所述数据属性字段中数据项标签的价格小于所述MaxMoney的独立的数据源或所述第三数据源集合中含有所述数据属性字段中数据项标签的价格总和小于所述MaxMoney的数据源组合)的组成第四数据源集合。例如，在上述步骤P2中举例的数据源组合{D，E，F}，可以列出详细的访问逻辑关系：
可以访问数据源D的Attr1，数据源E的Attr2、Attr3、Attr4、Attr5，数据源F的Attr6，价格总和为Money1；也可以访问数据源D的Attr1、Attr2，数据源E的Attr3、Attr4、Attr5，数据源F的Attr6，价格总和为Money2；也可以访问数据源D的Attr1、Attr2，数据源E的Attr3、Attr4，数据源F的Attr5、Attr6，价格总和为Money2等等，其中，若Money1和Money2均小于MaxMoney，则Money1和Money2所对应的访问逻辑关系生效，将数据源组合{D，E，F}加入第四数据源集合。
可以理解的是，所述MaxMoney是从用户终端发送的数据获取请求中读取的，本步骤能够确保本次访问数据源的成本不超过最高成本上限MaxMoney，即能够使本次访问数据源所花费的成本不亏损。
Q4、对第四数据源集合中的独立的数据源和数据源组合，按照数据源个数进行分组，同时将数据源个数相同的小组中含有最多组合的子数据源排在前面，列为优先访问数据源。
在具体应用中，所述预设数据源优选访问路径策略，还可以包括：
在优先访问数据源包括多种数据项标签路径时，若首次从优先访问数据源获取某一数据项标签后，后续具有的不同的继续访问方式最多，则将本次获取的数据项标签作为本次获取数据项标签；当有两种获取数据项标签方式的后续有相同数量个不同的继续访问方式时，选择所述两种获取数据项标签方式中价格较低的数据项标签作为本次获取数据项标签。
举例来说，假设访问数据源D可以选择获取数据项标签Attr1的方式，也可以选择获取数据项标签Attr1、Attr2的方式，在含有数据源D的数据源组合中，如果首次从D数据源中获取数据项标签Attr1，后续有3种不同的继续访问方式，而如果首次从D数据源中获取数据项标签Attr1，Attr2，后续只有2中不同的继续访问方式，本实施例优先选择后续有更多访问方式的作为本次获取标签。
可以理解的是，对于不同数据源组合成的数据源组合有重复标签的现象，本实施例根据每个数据源的标签组合判断优选的访问数据源和标签，能够保证返回成功率最高和成本最低，且能够更加有效的提高访问数据源的速度。
可以理解的是，本实施例所述方法能够针对接收用户终端发送的数据获取请求中的数据属性字段包含至少两个数据项标签、在所有数据源中寻找含有所述数据属性字段中所有数据项标签的数据源，以及在所有数据源中寻找含有所述数据属性字段中部分数据项标签的不同数据源组合成的数据源组合，所述数据源组合包括所述数据属性字段中所有数据项标签且包括重复的数据项标签，组成第一数据源集合的情况，能够提供高性能的数据源访问方式，在不超过数据源访问频度的情况下，提升平台响应速度，可满足对于数据源TPS、访问时间和降低数据源成本的要求，以最快、最经济的方式向用户终端返回访问成功结果，在最高成功率以及不亏损的情况下达到数据服务平台的最大收益；对于不同数据源有重复标签的现象，会根据每个数据源的标签组合判断优选的访问数据源和标签，通过所述预设数据源优选访问路径策略中对重复数据标签的优选方式，可以有效提升访问的成功率。
进一步地，在上述实施例的基础上，在所述步骤P4接收所挑选的独立的数据源或数据源组合返回的本次数据访问的结果之后，本实施例所述方法还可以包括：
根据所述本次数据访问的结果，生成一个本次访问的状态属性对象，所述本次访问的状态属性对象，包括：本次访问是否成功和本次访问的耗费时间，将生成的本次访问的状态属性对象加入所挑选的数据源或数据源组合所对应的访问状态属性列表List。
可以理解的是，在将生成的本次访问的状态属性对象加入所挑选的数据源或数据源组合所对应的访问状态属性列表List之后，所述方法还可以包括：
在预设数据生存时间TTL之后，所挑选的数据源或数据源组合所对应的访问状态属性列表List中所加入的本次访问的状态属性对象被自动清除。
在具体应用中，可以根据实际情况对所述TTL进行预先设置，本实施例并不对其进行限制，举例来说，所述TTL可以预先设置为1秒。
可以理解的是，对于每个(第三方)数据源，都会预先设定访问状态属性列表List中状态属性对象的数据生存时间TTL，以使每个状态属性对象在加入到访问状态属性列表List的TTL之后被自动清除。
进一步地，在上述实施例的基础上，在所述步骤P4接收所挑选的独立的数据源或数据源组合返回的本次数据访问的结果之后，本实施例所述方法还可以包括：
若访问失败，则判断本次的访问时间ProcessTime是否大于MaxTime；
若本次的访问时间ProcessTime小于等于MaxTime，则将所述MaxTime减去ProcessTime，获得剩余允许时间LeftTime，在所述第四数据源集合中选择AvgTime小于LeftTime的数据源，从当前选择的数据源中挑选含有数据项标签最多的数据源，发送数据访问请求；
若本次的访问时间ProcessTime大于MaxTime，则获取数据失败，将获取数据失败的信息发送给所述用户终端。
可以理解的是，本实施例是在本次访问失败的情况下，计算剩余允许时间LeftTime，在第四数据源集合中选择AvgTime小于LeftTime的数据源，从中挑选含有数据项标签最多的继续进行访问。
进一步地，在上述实施例的基础上，本实施例所述预设数据源优选访问路径策略，还可以包括：
在对于第一数据源集合中每个独立的数据源或数据源组合中的每个数据源，判断是否超过每秒最大访问频次Top TPS之后，若第一数据源集合中每个独立的数据源或数据源组合中的每个数据源超过每秒最大访问频次Top TPS，则不访问所述数据源。
可以理解的是，若第一数据源集合中每个独立的数据源或数据源组合中的每个数据源超过Top TPS，可能会产生访问数据源超过允许频率，导致封禁现象的发生，此时不访问所述数据源。
进一步地，在上述实施例的基础上，本实施例所述预设数据源优选访问路径策略，还可以包括：
在判断过去一秒内的平均访问成功比例AvgSucc是否小于预设阈值之后，若所述AvgSucc小于预设阈值，则将所述数据源抛弃。
可以理解的是，若所述数据源的AvgSucc小于预设阈值，则可认为访问所述数据源的成功率较低，直接将所述数据源抛弃。
本发明实施例提供的含有重合数据项标签的数据源优选访问路径方法，能够针对接收用户终端发送的数据获取请求中的数据属性字段包含至少两个数据项标签、在所有数据源中寻找含有所述数据属性字段中所有数据项标签的数据源，以及在所有数据源中寻找含有所述数据属性字段中部分数据项标签的不同数据源组合成的数据源组合，所述数据源组合包括所述数据属性字段中所有数据项标签且包括重复的数据项标签，组成第一数据源集合的情况，能够提供高性能的数据源访问方式，在不超过数据源访问频度的情况下，提升平台响应速度，可满足对于数据源TPS、访问时间和降低数据源成本的要求，以最快、最经济的方式向用户终端返回访问成功结果，在最高成功率以及不亏损的情况下达到数据服务平台的最大收益；对于不同数据源有重复标签的现象，会根据每个数据源的标签组合判断优选的访问数据源和标签，通过所述预设数据源优选访问路径策略中对重复数据标签的优选方式，可以有效提升访问的成功率。
图2示出了本发明一实施例提供的一种含有重合数据项标签的数据源优选访问路径装置的结构示意图，如图2所示，本实施例的含有重合数据项标签的数据源优选访问路径装置，包括：第一接收模块21、组成模块22、挑选模块23和第二接收模块24；其中：
所述第一接收模块21，用于接收用户终端发送的数据获取请求，读取所述数据获取请求中的数据属性字段、最高成本上限MaxMoney和最长返回时间MaxTime，其中，所述数据属性字段包含至少两个数据项标签；
所述组成模块22，用于在所有数据源中寻找含有所述数据属性字段中所有数据项标签的数据源，以及在所有数据源中寻找含有所述数据属性字段中部分数据项标签的不同数据源组合成的数据源组合，所述数据源组合包括所述数据属性字段中所有数据项标签且包括重复的数据项标签，将所有寻找的数据源和数据源组合组成第一数据源集合；
所述挑选模块23，用于基于所读取的MaxMoney和MaxTime，按照预设数据源优选访问路径策略，所述预设数据源优选访问路径策略考虑时间、成本、访问数据源的优先级并根据后续的访问方式的作为优选获取标签组合，在第一数据源集合中挑选独立的数据源或数据源组合发送本次数据访问请求；
所述第二接收模块24，用于接收所挑选的独立的数据源或数据源组合返回的本次数据访问的结果，若访问成功，则将本次数据访问的结果发送给用户终端。
具体地，所述第一接收模块21接收用户终端发送的数据获取请求，读取所述数据获取请求中的数据属性字段、最高成本上限MaxMoney和最长返回时间MaxTime，其中，所述数据属性字段包含至少两个数据项标签；所述组成模块22在所有数据源中寻找含有所述数据属性字段中所有数据项标签的数据源，以及在所有数据源中寻找含有所述数据属性字段中部分数据项标签的不同数据源组合成的数据源组合，所述数据源组合包括所述数据属性字段中所有数据项标签且包括重复的数据项标签，将所有寻找的数据源和数据源组合组成第一数据源集合；所述挑选模块23基于所读取的MaxMoney和MaxTime，按照预设数据源优选访问路径策略，所述预设数据源优选访问路径策略考虑时间、成本、访问数据源的优先级并根据后续的访问方式的作为优选获取标签组合，在第一数据源集合中挑选独立的数据源或数据源组合发送本次数据访问请求；所述第二接收模块24接收所挑选的独立的数据源或数据源组合返回的本次数据访问的结果，若访问成功，则将本次数据访问的结果发送给用户终端。
可以理解的是，所述数据获取请求中的数据属性字段包含的数据项标签，代表需要获取的数据项。本实施例是针对用户终端发送的数据获取请求中的数据属性字段包含至少两个数据项标签的情况，实现数据源的访问，例如，所述数据获取请求中的数据属性字段包含的数据项标签可以为Attr1、Attr2、…、Attrn，n为所述数据获取请求中的数据属性字段包含的数据项标签的数量。
可以理解的是，所述最高成本上限MaxMoney代表本次访问用户终端接受的最高成本，例如假设MaxMoney为1元，则意味着使用所述用户终端的用户最多愿意花1元获得所述数据项标签的数据项。
可以理解的是，所述最长返回时间MaxTime代表本次访问用户终端最长可以等待获得数据项标签的值的时间。
需要说明的是，本实施例所述装置应用于数据服务平台。
可以理解的是，由于所述数据获取请求中的数据属性字段包含至少两个数据项标签，所述组成模块22需要在所有数据源中寻找含有所述数据属性字段中所有数据项标签的数据源，以及在所有数据源中寻找含有所述数据属性字段中部分数据项标签的不同数据源组合成的数据源组合，所述数据源组合包括所述数据属性字段中所有数据项标签且包括重复的数据项标签(即每个数据源组合中的不同数据源之间可以有重复的数据项标签)。例如：
所述数据获取请求中的数据属性字段包含的数据项标签为Attr1、Attr2、Attr3、Attr4、Attr5、Attr6；
A数据源含有数据项标签Attr1、Attr2、Attr3、Attr4、Attr5、Attr6，将A数据源加入第一数据源集合；
B数据源含有数据项标签Attr1、Attr2、Attr3，C数据源含有数据项标签Attr4、Attr5、Attr6，将数据源组合{B，C}加入第一数据源集合；
D数据源含有数据项标签Attr1、Attr2，E数据源含有数据项标签Attr2、Attr3、Attr4、Attr5，F数据源含有数据项标签Attr5、Attr6，将数据源组合{D，E，F}加入第一数据源集合，{D，E，F}中包括重复的数据项标签Attr2和Attr5。
可以理解的是，所述预设数据源优选访问路径策略考虑时间、成本、访问数据源的优先级并根据后续的访问方式的作为优选获取标签组合，能够在第一数据源集合中挑选满足访问时间和数据源成本要求的独立的数据源或数据源组合，对于不同数据源组合成的数据源组合有重复标签的现象，会根据每个数据源的标签组合判断优选的访问数据源和标签，保证返回成功率最高和成本最低，且能够更加有效的提高访问数据源的速度。
可以理解的是，本实施例所述装置是针对接收用户终端发送的数据获取请求中的数据属性字段包含至少两个数据项标签、在所有数据源中寻找含有所述数据属性字段中所有数据项标签的数据源，以及在所有数据源中寻找含有所述数据属性字段中部分数据项标签的不同数据源组合成的数据源组合，所述数据源组合包括所述数据属性字段中所有数据项标签且包括重复的数据项标签，组成第一数据源集合的情况，能够提供高性能的数据源访问方式，通过所述预设数据源优选访问路径策略中对重复数据标签的优选方式，可以有效提升访问的成功率。
本发明实施例提供的含有重合数据项标签的数据源优选访问路径装置，能够针对接收用户终端发送的数据获取请求中的数据属性字段包含至少两个数据项标签、在所有数据源中寻找含有所述数据属性字段中所有数据项标签的数据源，以及在所有数据源中寻找含有所述数据属性字段中部分数据项标签的不同数据源组合成的数据源组合，所述数据源组合包括所述数据属性字段中所有数据项标签且包括重复的数据项标签，组成第一数据源集合的情况，实现高性能的数据源访问，提升平台响应速度，可满足对于数据源访问时间和降低数据源成本的要求，通过所述预设数据源优选访问路径策略中对重复数据标签的优选方式，可以有效提升访问的成功率。
进一步地，在上述实施例的基础上，所述预设数据源优选访问路径策略，可以包括：
对于第一数据源集合中每个独立的数据源或数据源组合中的每个数据源，判断是否超过每秒最大访问频次Top TPS，若否，则确定所述数据源可以访问，将第一数据源集合中所有可以访问的独立的数据源或数据源组合加入第二数据源集合；
对于第二数据源集合中每个独立的数据源或数据源组合中的每个数据源，判断过去一秒内的平均访问成功比例AvgSucc是否小于预设阈值，若否，则保留所述数据源，将第二数据源集合中本次保留的独立的数据源或数据源组合加入第三数据源集合；
获取所述第三数据源集合中含有所述数据属性字段中数据项标签的价格小于所述MaxMoney的独立的数据源和所述第三数据源集合中含有所述数据属性字段中数据项标签的价格总和小于所述MaxMoney的数据源组合，组成第四数据源集合；
对第四数据源集合中的独立的数据源和数据源组合，按照数据源个数进行分组，同时将数据源个数相同的小组中含有最多组合的子数据源排在前面，列为优先访问数据源。
可以理解的是，对于每个(第三方)数据源，都会预先设定访问状态属性列表List，所述访问状态属性列表List可保存每次数据源访问的状态属性对象(StateAttr)，每个StateAttr都包含两个属性：访问是否成功以及本次访问的耗费时间。
在具体应用中，所述挑选模块23将所述第三数据源集合中含有所述数据属性字段中数据项标签的价格小于所述MaxMoney的独立的数据源和所述第三数据源集合中含有所述数据属性字段中数据项标签的价格总和小于所述MaxMoney的数据源组合，组成第四数据源集合的过程中，可以列出详细的访问逻辑关系，将符合条件(所述第三数据源集合中含有所述数据属性字段中数据项标签的价格小于所述MaxMoney的独立的数据源或所述第三数据源集合中含有所述数据属性字段中数据项标签的价格总和小于所述MaxMoney的数据源组合)的组成第四数据源集合。例如，在上述步骤P2中举例的数据源组合{D，E，F}，可以列出详细的访问逻辑关系：
可以访问数据源D的Attr1，数据源E的Attr2、Attr3、Attr4、Attr5，数据源F的Attr6，价格总和为Money1；也可以访问数据源D的Attr1、Attr2，数据源E的Attr3、Attr4、Attr5，数据源F的Attr6，价格总和为Money2；也可以访问数据源D的Attr1、Attr2，数据源E的Attr3、Attr4，数据源F的Attr5、Attr6，价格总和为Money2等等，其中，若Money1和Money2均小于MaxMoney，则Money1和Money2所对应的访问逻辑关系生效，将数据源组合{D，E，F}加入第四数据源集合。
在具体应用中，所述预设数据源优选访问路径策略，还可以包括：
在优先访问数据源包括多种数据项标签路径时，若首次从优先访问数据源获取某一数据项标签后，后续具有的不同的继续访问方式最多，则将本次获取的数据项标签作为获取数据项标签；当有两种获取数据项标签方式的后续有相同数量个不同的继续访问方式时，选择所述两种获取数据项标签方式中价格较低的数据项标签作为获取数据项标签。
举例来说，假设访问数据源D可以选择获取数据项标签Attr1的方式，也可以选择获取数据项标签Attr1、Attr2的方式，在含有数据源D的数据源组合中，如果首次从D数据源中获取数据项标签Attr1，后续有3种不同的继续访问方式，而如果首次从D数据源中获取数据项标签Attr1，Attr2，后续只有2中不同的继续访问方式，本实施例优先选择后续有更多访问方式的作为本次获取标签。
可以理解的是，对于不同数据源组合成的数据源组合有重复标签的现象，本实施例根据每个数据源的标签组合判断优选的访问数据源和标签，能够保证返回成功率最高和成本最低，且能够更加有效的提高访问数据源的速度。
可以理解的是，本实施例所述装置能够针对接收用户终端发送的数据获取请求中的数据属性字段包含至少两个数据项标签、在所有数据源中寻找含有所述数据属性字段中所有数据项标签的数据源，以及在所有数据源中寻找含有所述数据属性字段中部分数据项标签的不同数据源组合成的数据源组合，所述数据源组合包括所述数据属性字段中所有数据项标签且包括重复的数据项标签，组成第一数据源集合的情况，能够提供高性能的数据源访问方式，在不超过数据源访问频度的情况下，提升平台响应速度，可满足对于数据源TPS、访问时间和降低数据源成本的要求，以最快、最经济的方式向用户终端返回访问成功结果，在最高成功率以及不亏损的情况下达到数据服务平台的最大收益；对于不同数据源有重复标签的现象，会根据每个数据源的标签组合判断优选的访问数据源和标签，通过所述预设数据源优选访问路径策略中对重复数据标签的优选方式，可以有效提升访问的成功率。
进一步地，在上述实施例的基础上，所述第二接收模块24，还可用于
根据所述本次数据访问的结果，生成一个本次访问的状态属性对象，所述本次访问的状态属性对象，包括：本次访问是否成功和本次访问的耗费时间，将生成的本次访问的状态属性对象加入所挑选的数据源或数据源组合所对应的访问状态属性列表List。
可以理解的是，所述第二接收模块24，还可用于
在将生成的本次访问的状态属性对象加入所挑选的数据源或数据源组合所对应的访问状态属性列表List之后，在预设数据生存时间TTL之后，所挑选的数据源或数据源组合所对应的访问状态属性列表List中所加入的本次访问的状态属性对象被自动清除。
在具体应用中，可以根据实际情况对所述TTL进行预先设置，本实施例并不对其进行限制，举例来说，所述TTL可以预先设置为1秒。
可以理解的是，对于每个(第三方)数据源，都会预先设定访问状态属性列表List中状态属性对象的数据生存时间TTL，以使每个状态属性对象在加入到访问状态属性列表List的TTL之后被自动清除。
进一步地，在上述实施例的基础上，所述第二接收模块24，还可用于
在接收所挑选的独立的数据源或数据源组合返回的本次数据访问的结果之后，若访问失败，则判断本次的访问时间ProcessTime是否大于MaxTime；
若本次的访问时间ProcessTime小于等于MaxTime，则将所述MaxTime减去ProcessTime，获得剩余允许时间LeftTime，在所述第四数据源集合中选择AvgTime小于LeftTime的数据源，从当前选择的数据源中挑选含有数据项标签最多的数据源，发送数据访问请求；
若本次的访问时间ProcessTime大于MaxTime，则获取数据失败，将获取数据失败的信息发送给所述用户终端。
可以理解的是，本实施例是在本次访问失败的情况下，计算剩余允许时间LeftTime，在第四数据源集合中选择AvgTime小于LeftTime的数据源，从中挑选含有数据项标签最多的数据源继续进行访问。
进一步地，在上述实施例的基础上，所述预设数据源优选访问路径策略，还可以包括：
在对于第一数据源集合中每个独立的数据源或数据源组合中的每个数据源，判断是否超过每秒最大访问频次Top TPS之后，若第一数据源集合中每个独立的数据源或数据源组合中的每个数据源超过每秒最大访问频次Top TPS，则不访问所述数据源。
可以理解的是，若第一数据源集合中每个独立的数据源或数据源组合中的每个数据源超过Top TPS，可能会产生访问数据源超过允许频率，导致封禁现象的发生，此时不访问所述数据源。
进一步地，在上述实施例的基础上，所述预设数据源优选访问路径策略，还可以包括：
在判断过去一秒内的平均访问成功比例AvgSucc是否小于预设阈值之后，若所述AvgSucc小于预设阈值，则将所述数据源抛弃。
可以理解的是，若所述数据源的AvgSucc小于预设阈值，则可认为访问所述数据源的成功率较低，直接将所述数据源抛弃。
本发明实施例提供的含有重合数据项标签的数据源优选访问路径装置，能够针对接收用户终端发送的数据获取请求中的数据属性字段包含至少两个数据项标签、在所有数据源中寻找含有所述数据属性字段中所有数据项标签的数据源，以及在所有数据源中寻找含有所述数据属性字段中部分数据项标签的不同数据源组合成的数据源组合，所述数据源组合包括所述数据属性字段中所有数据项标签且包括重复的数据项标签，组成第一数据源集合的情况，能够提供高性能的数据源访问方式，在不超过数据源访问频度的情况下，提升平台响应速度，可满足对于数据源TPS、访问时间和降低数据源成本的要求，以最快、最经济的方式向用户终端返回访问成功结果，在最高成功率以及不亏损的情况下达到数据服务平台的最大收益；对于不同数据源有重复标签的现象，会根据每个数据源的标签组合判断优选的访问数据源和标签，通过所述预设数据源优选访问路径策略中对重复数据标签的优选方式，可以有效提升访问的成功率。
本发明实施例提供的含有重合数据项标签的数据源优选访问路径装置，可以用于执行前述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图4示出了本发明一实施例提供的一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括存储器402、处理器401及存储在存储器402上并可在处理器401上运行的计算机程序，所述处理器401执行所述程序时实现上述方法的步骤，例如包括：接收用户终端发送的数据获取请求，读取所述数据获取请求中的数据属性字段、最高成本上限MaxMoney和最长返回时间MaxTime，其中，所述数据属性字段包含至少两个数据项标签；在所有数据源中寻找含有所述数据属性字段中所有数据项标签的数据源，以及在所有数据源中寻找含有所述数据属性字段中部分数据项标签的不同数据源组合成的数据源组合，所述数据源组合包括所述数据属性字段中所有数据项标签且包括重复的数据项标签，将所有寻找的数据源和数据源组合组成第一数据源集合；基于所读取的MaxMoney和MaxTime，按照预设数据源优选访问路径策略，所述预设数据源优选访问路径策略考虑时间、成本、访问数据源的优先级并根据后续的访问方式的作为优选获取标签组合，在第一数据源集合中挑选独立的数据源或数据源组合发送本次数据访问请求；接收所挑选的独立的数据源或数据源组合返回的本次数据访问的结果，若访问成功，则将本次数据访问的结果发送给用户终端。
本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤，例如包括：接收用户终端发送的数据获取请求，读取所述数据获取请求中的数据属性字段、最高成本上限MaxMoney和最长返回时间MaxTime，其中，所述数据属性字段包含至少两个数据项标签；在所有数据源中寻找含有所述数据属性字段中所有数据项标签的数据源，以及在所有数据源中寻找含有所述数据属性字段中部分数据项标签的不同数据源组合成的数据源组合，所述数据源组合包括所述数据属性字段中所有数据项标签且包括重复的数据项标签，将所有寻找的数据源和数据源组合组成第一数据源集合；基于所读取的MaxMoney和MaxTime，按照预设数据源优选访问路径策略，所述预设数据源优选访问路径策略考虑时间、成本、访问数据源的优先级并根据后续的访问方式的作为优选获取标签组合，在第一数据源集合中挑选独立的数据源或数据源组合发送本次数据访问请求；接收所挑选的独立的数据源或数据源组合返回的本次数据访问的结果，若访问成功，则将本次数据访问的结果发送给用户终端。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (18)
1.一种含有重合数据项标签的数据源优选访问路径方法，其特征在于，包括：
接收用户终端发送的数据获取请求，读取所述数据获取请求中的数据属性字段、最高成本上限MaxMoney和最长返回时间MaxTime，其中，所述数据属性字段包含至少两个数据项标签；
在所有数据源中寻找含有所述数据属性字段中所有数据项标签的数据源，以及在所有数据源中寻找含有所述数据属性字段中部分数据项标签的不同数据源组合成的数据源组合，所述数据源组合包括所述数据属性字段中所有数据项标签且包括重复的数据项标签，将所有寻找的数据源和数据源组合组成第一数据源集合；
基于所读取的MaxMoney和MaxTime，按照预设数据源优选访问路径策略，所述预设数据源优选访问路径策略考虑时间、成本、访问数据源的优先级并根据后续的访问方式作为优选获取标签组合，在第一数据源集合中挑选独立的数据源或数据源组合发送本次数据访问请求；
接收所挑选的独立的数据源或数据源组合返回的本次数据访问的结果，若访问成功，则将本次数据访问的结果发送给用户终端。
2.根据权利要求1所述的含有重合数据项标签的数据源优选访问路径方法，其特征在于，所述预设数据源优选访问路径策略，包括：
对于第一数据源集合中每个独立的数据源或数据源组合中的每个数据源，判断是否超过每秒最大访问频次Top TPS，若否，则确定所述数据源可以访问，将第一数据源集合中所有可以访问的独立的数据源或数据源组合加入第二数据源集合；
对于第二数据源集合中每个独立的数据源或数据源组合中的每个数据源，判断过去一秒内的平均访问成功比例AvgSucc是否小于预设阈值，若否，则保留所述数据源，将第二数据源集合中本次保留的独立的数据源或数据源组合加入第三数据源集合；
获取所述第三数据源集合中含有所述数据属性字段中数据项标签的价格小于所述MaxMoney的独立的数据源和所述第三数据源集合中含有所述数据属性字段中数据项标签的价格总和小于所述MaxMoney的数据源组合，组成第四数据源集合；
对第四数据源集合中的独立的数据源和数据源组合，按照数据源个数进行分组，同时将数据源个数相同的小组中含有最多组合的子数据源排在前面，列为优先访问数据源。
3.根据权利要求2所述的含有重合数据项标签的数据源优选访问路径方法，其特征在于，所述预设数据源优选访问路径策略，还包括：
在优先访问数据源包括多种数据项标签路径时，若首次从优先访问数据源获取某一数据项标签后，后续具有的不同的继续访问方式最多，则将本次获取的数据项标签作为本次获取数据项标签；当有两种获取数据项标签方式的后续有相同数量个不同的继续访问方式时，选择所述两种获取数据项标签方式中价格较低的数据项标签作为本次获取数据项标签。
4.根据权利要求1所述的含有重合数据项标签的数据源优选访问路径方法，其特征在于，在接收所挑选的独立的数据源或数据源组合返回的本次数据访问的结果之后，所述方法还包括：
根据所述本次数据访问的结果，生成一个本次访问的状态属性对象，所述本次访问的状态属性对象，包括：本次访问是否成功和本次访问的耗费时间，将生成的本次访问的状态属性对象加入所挑选的数据源或数据源组合所对应的访问状态属性列表List。
5.根据权利要求4所述的含有重合数据项标签的数据源优选访问路径方法，其特征在于，在将生成的本次访问的状态属性对象加入所挑选的数据源或数据源组合所对应的访问状态属性列表List之后，所述方法还包括：
在预设数据生存时间TTL之后，所挑选的数据源或数据源组合所对应的访问状态属性列表List中所加入的本次访问的状态属性对象被自动清除。
6.根据权利要求3所述的含有重合数据项标签的数据源优选访问路径方法，其特征在于，在接收所挑选的独立的数据源或数据源组合返回的本次数据访问的结果之后，所述方法还包括：
若访问失败，则判断本次的访问时间ProcessTime是否大于MaxTime；
若本次的访问时间ProcessTime小于等于MaxTime，则将所述MaxTime减去ProcessTime，获得剩余允许时间LeftTime，在所述第四数据源集合中选择平均访问时间AvgTime小于LeftTime的数据源，从当前选择的数据源中挑选含有数据项标签最多的数据源，发送数据访问请求；
若本次的访问时间ProcessTime大于MaxTime，则获取数据失败，将获取数据失败的信息发送给所述用户终端。
7.根据权利要求2所述的含有重合数据项标签的数据源优选访问路径方法，其特征在于，所述预设数据源优选访问路径策略，还包括：
在对于第一数据源集合中每个独立的数据源或数据源组合中的每个数据源，判断是否超过每秒最大访问频次Top TPS之后，若第一数据源集合中每个独立的数据源或数据源组合中的每个数据源超过每秒最大访问频次Top TPS，则不访问所述数据源。
8.根据权利要求2所述的含有重合数据项标签的数据源优选访问路径方法，其特征在于，所述预设数据源优选访问路径策略，还包括：
在判断过去一秒内的平均访问成功比例AvgSucc是否小于预设阈值之后，若所述AvgSucc小于预设阈值，则将所述数据源抛弃。
9.一种含有重合数据项标签的数据源优选访问路径装置，其特征在于，包括：
第一接收模块，用于接收用户终端发送的数据获取请求，读取所述数据获取请求中的数据属性字段、最高成本上限MaxMoney和最长返回时间MaxTime，其中，所述数据属性字段包含至少两个数据项标签；
组成模块，用于在所有数据源中寻找含有所述数据属性字段中所有数据项标签的数据源，以及在所有数据源中寻找含有所述数据属性字段中部分数据项标签的不同数据源组合成的数据源组合，所述数据源组合包括所述数据属性字段中所有数据项标签且包括重复的数据项标签，将所有寻找的数据源和数据源组合组成第一数据源集合；
挑选模块，用于基于所读取的MaxMoney和MaxTime，按照预设数据源优选访问路径策略，所述预设数据源优选访问路径策略考虑时间、成本、访问数据源的优先级并根据后续的访问方式作为优选获取标签组合，在第一数据源集合中挑选独立的数据源或数据源组合发送本次数据访问请求；
第二接收模块，用于接收所挑选的独立的数据源或数据源组合返回的本次数据访问的结果，若访问成功，则将本次数据访问的结果发送给用户终端。
10.根据权利要求9所述的含有重合数据项标签的数据源优选访问路径装置，其特征在于，所述预设数据源优选访问路径策略，包括：
对于第一数据源集合中每个独立的数据源或数据源组合中的每个数据源，判断是否超过每秒最大访问频次Top TPS，若否，则确定所述数据源可以访问，将第一数据源集合中所有可以访问的独立的数据源或数据源组合加入第二数据源集合；
对于第二数据源集合中每个独立的数据源或数据源组合中的每个数据源，判断过去一秒内的平均访问成功比例AvgSucc是否小于预设阈值，若否，则保留所述数据源，将第二数据源集合中本次保留的独立的数据源或数据源组合加入第三数据源集合；
获取所述第三数据源集合中含有所述数据属性字段中数据项标签的价格小于所述MaxMoney的独立的数据源和所述第三数据源集合中含有所述数据属性字段中数据项标签的价格总和小于所述MaxMoney的数据源组合，组成第四数据源集合；
对第四数据源集合中的独立的数据源和数据源组合，按照数据源个数进行分组，同时将数据源个数相同的小组中含有最多组合的子数据源排在前面，列为优先访问数据源。
11.根据权利要求10所述的含有重合数据项标签的数据源优选访问路径装置，其特征在于，所述预设数据源优选访问路径策略，还包括：
在优先访问数据源包括多种数据项标签路径时，若首次从优先访问数据源获取某一数据项标签后，后续具有的不同的继续访问方式最多，则将本次获取的数据项标签作为获取数据项标签；当有两种获取数据项标签方式的后续有相同数量个不同的继续访问方式时，选择所述两种获取数据项标签方式中价格较低的数据项标签作为获取数据项标签。
12.根据权利要求9所述的含有重合数据项标签的数据源优选访问路径装置，其特征在于，所述第二接收模块，还用于
根据所述本次数据访问的结果，生成一个本次访问的状态属性对象，所述本次访问的状态属性对象，包括：本次访问是否成功和本次访问的耗费时间，将生成的本次访问的状态属性对象加入所挑选的数据源或数据源组合所对应的访问状态属性列表List。
13.根据权利要求12所述的含有重合数据项标签的数据源优选访问路径装置，其特征在于，所述第二接收模块，还用于
在将生成的本次访问的状态属性对象加入所挑选的数据源或数据源组合所对应的访问状态属性列表List之后，在预设数据生存时间TTL之后，所挑选的数据源或数据源组合所对应的访问状态属性列表List中所加入的本次访问的状态属性对象被自动清除。
14.根据权利要求11所述的含有重合数据项标签的数据源优选访问路径装置，其特征在于，所述第二接收模块，还用于
在接收所挑选的独立的数据源或数据源组合返回的本次数据访问的结果之后，若访问失败，则判断本次的访问时间ProcessTime是否大于MaxTime；
若本次的访问时间ProcessTime小于等于MaxTime，则将所述MaxTime减去ProcessTime，获得剩余允许时间LeftTime，在所述第四数据源集合中选择平均访问时间AvgTime小于LeftTime的数据源，从当前选择的数据源中挑选含有数据项标签最多的数据源，发送数据访问请求；
若本次的访问时间ProcessTime大于MaxTime，则获取数据失败，将获取数据失败的信息发送给所述用户终端。
15.根据权利要求10所述的含有重合数据项标签的数据源优选访问路径装置，其特征在于，所述预设数据源优选访问路径策略，还包括：
在对于第一数据源集合中每个独立的数据源或数据源组合中的每个数据源，判断是否超过每秒最大访问频次Top TPS之后，若第一数据源集合中每个独立的数据源或数据源组合中的每个数据源超过每秒最大访问频次Top TPS，则不访问所述数据源。
16.根据权利要求10所述的含有重合数据项标签的数据源优选访问路径装置，其特征在于，所述预设数据源优选访问路径策略，还包括：
在判断过去一秒内的平均访问成功比例AvgSucc是否小于预设阈值之后，若所述AvgSucc小于预设阈值，则将所述数据源抛弃。
17.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述方法的步骤。
18.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至8任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910560801.6A CN110347480B (zh) | 2019-06-26 | 2019-06-26 | 含有重合数据项标签的数据源优选访问路径方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910560801.6A CN110347480B (zh) | 2019-06-26 | 2019-06-26 | 含有重合数据项标签的数据源优选访问路径方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110347480A CN110347480A (zh) | 2019-10-18 |
| CN110347480B true CN110347480B (zh) | 2021-06-25 |
Family
ID=68183165
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910560801.6A Active CN110347480B (zh) | 2019-06-26 | 2019-06-26 | 含有重合数据项标签的数据源优选访问路径方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110347480B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1478237A (zh) * | 2000-09-29 | 2004-02-25 | лԽ�� | 通过互联计算机网络的多语种电子数据源的在线智能信息比较代理器 |
| CN102708114A (zh) * | 2000-09-29 | 2012-10-03 | 零丘有限责任公司 | 通过相互连接的计算机网络进行实时在线搜索处理的方法 |
| CN105279208A (zh) * | 2014-07-25 | 2016-01-27 | 北京龙源创新信息技术有限公司 | 一种数据标示方法和管理系统 |
| CN105956015A (zh) * | 2016-04-22 | 2016-09-21 | 四川中软科技有限公司 | 一种基于大数据的服务平台整合方法 |
| CN107515866A (zh) * | 2016-06-15 | 2017-12-26 | 阿里巴巴集团控股有限公司 | 一种数据操作方法、装置和系统 |
| CN108628866A (zh) * | 2017-03-20 | 2018-10-09 | 大有秦鼎（北京）科技有限公司 | 数据融合的方法和装置 |
| CN108717418A (zh) * | 2018-04-13 | 2018-10-30 | 五维引力（上海）数据服务有限公司 | 一种基于不同数据源的数据关联方法和装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI275010B (en) * | 2005-10-19 | 2007-03-01 | Compal Electronics Inc | Automatic multimedia searching method and the multimedia downloading system thereof |
| US7792864B1 (en) * | 2006-06-14 | 2010-09-07 | TransUnion Teledata, L.L.C. | Entity identification and/or association using multiple data elements |
| US8943071B2 (en) * | 2011-08-23 | 2015-01-27 | At&T Intellectual Property I, L.P. | Automatic sort and propagation associated with electronic documents |
| US20160371435A1 (en) * | 2015-06-18 | 2016-12-22 | Ims Health Incorporated | Offline Patient Data Verification |
| CN109299144B (zh) * | 2018-08-22 | 2021-04-16 | 北京奇艺世纪科技有限公司 | 一种数据处理方法、装置、系统及应用服务器 |
-
2019
- 2019-06-26 CN CN201910560801.6A patent/CN110347480B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1478237A (zh) * | 2000-09-29 | 2004-02-25 | лԽ�� | 通过互联计算机网络的多语种电子数据源的在线智能信息比较代理器 |
| CN102708114A (zh) * | 2000-09-29 | 2012-10-03 | 零丘有限责任公司 | 通过相互连接的计算机网络进行实时在线搜索处理的方法 |
| CN105279208A (zh) * | 2014-07-25 | 2016-01-27 | 北京龙源创新信息技术有限公司 | 一种数据标示方法和管理系统 |
| CN105956015A (zh) * | 2016-04-22 | 2016-09-21 | 四川中软科技有限公司 | 一种基于大数据的服务平台整合方法 |
| CN107515866A (zh) * | 2016-06-15 | 2017-12-26 | 阿里巴巴集团控股有限公司 | 一种数据操作方法、装置和系统 |
| CN108628866A (zh) * | 2017-03-20 | 2018-10-09 | 大有秦鼎（北京）科技有限公司 | 数据融合的方法和装置 |
| CN108717418A (zh) * | 2018-04-13 | 2018-10-30 | 五维引力（上海）数据服务有限公司 | 一种基于不同数据源的数据关联方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| Research and Realization of Key Technology for Data Interchange Cloud Based on Label;Dong Hui-ya等;《Computer Technology and Development》;20121031;第22卷(第10期);第217-224页 * |
| 广域网环境下多数据源联合检索子系统的设计与实现;许绍萌;《中国优秀硕士学位论文全文数据库信息科技辑（月刊）》;20120415(第04期);第I138-2363页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110347480A (zh) | 2019-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220343398A1 (en) | Order management methods, system, terminal and electronic device based on multi-person ordering | |
| CN108112038B (zh) | 一种控制访问流量的方法及装置 | |
| US7606906B2 (en) | Bundling and sending work units to a server based on a weighted cost | |
| CN111026493B (zh) | 界面渲染的处理方法和装置 | |
| US20210185000A1 (en) | Dynamic Email Content Engine | |
| CN112231604A (zh) | 一种页面显示方法、装置、电子设备和存储介质 | |
| CN111506434A (zh) | 一种任务处理方法、装置及计算机可读存储介质 | |
| CN110222046B (zh) | 列表数据的处理方法、装置、服务器和存储介质 | |
| CN115239443A (zh) | 一种基于区块链的交易撮合方法、装置、设备和介质 | |
| CN110347480B (zh) | 含有重合数据项标签的数据源优选访问路径方法及装置 | |
| CN110390208B (zh) | 一种复合数据项标签的优选数据源访问方法及装置 | |
| CN110377421B (zh) | 基于单数据项标签的数据源访问方法及装置 | |
| CN113360043A (zh) | 业务处理方法及设备 | |
| CN110347739B (zh) | 一种复合数据项标签的通用数据源访问方法及装置 | |
| CN107273220A (zh) | 一种电商平台数据处理方法、装置及用户终端 | |
| Emek et al. | Stateful posted pricing with vanishing regret via dynamic deterministic markov decision processes | |
| CN113537392B (zh) | 相似图像的识别方法、装置、计算设备及计算机存储介质 | |
| CN116629495A (zh) | 用于输出信息的方法和装置 | |
| CN114997576A (zh) | 一种达标提示对象的确定方法、装置、设备、介质及产品 | |
| CN113742581A (zh) | 榜单的生成方法、装置、电子设备及可读存储介质 | |
| CN113553203A (zh) | 请求处理方法、装置、服务器及存储介质 | |
| CN109388496A (zh) | 一种基于多gpu卡的图像并发处理方法、装置及系统 | |
| CN106445978A (zh) | 实时信息的展现方法和装置 | |
| CN108984488A (zh) | 一种向文件中添加业务信息的方法、存储介质和服务器 | |
| US11627085B2 (en) | Non-transitory computer-readable recording medium, service management device, and service management method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220110 Address after: No. 501, 5 / F, block B, No. 28, Xinjiekou Wai Street, Xicheng District, Beijing 100088 Patentee after: Joint digital technology (Beijing) Co., Ltd Address before: 100082 7th floor, block a, Jingshi science and technology building, 12 Xueyuan South Road, Haidian District, Beijing Patentee before: UNION MOBILE PAY Co.,Ltd. |
|
| TR01 | Transfer of patent right |