CN101276364A - 一种分布式计算数据合并方法、系统及其装置 - Google Patents

一种分布式计算数据合并方法、系统及其装置 Download PDF

Info

Publication number
CN101276364A
CN101276364A CN200710090995.5A CN200710090995A CN101276364A CN 101276364 A CN101276364 A CN 101276364A CN 200710090995 A CN200710090995 A CN 200710090995A CN 101276364 A CN101276364 A CN 101276364A
Authority
CN
China
Prior art keywords
data
distributed
database table
result
configuration file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200710090995.5A
Other languages
English (en)
Other versions
CN101276364B (zh
Inventor
李江华
吴伟勋
陈松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taobao China Software Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN200710090995.5A priority Critical patent/CN101276364B/zh
Priority to TW097100577A priority patent/TWI476608B/zh
Priority to PCT/US2008/058732 priority patent/WO2008121862A1/en
Priority to JP2010501266A priority patent/JP5298117B2/ja
Priority to US12/158,689 priority patent/US8463822B2/en
Priority to EP08744662A priority patent/EP2132625A4/en
Publication of CN101276364A publication Critical patent/CN101276364A/zh
Priority to HK08114080.4A priority patent/HK1120891A1/xx
Application granted granted Critical
Publication of CN101276364B publication Critical patent/CN101276364B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5017—Task decomposition

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种分布式计算数据合并方法，包括以下步骤：根据分布式计算任务分割的情况设置配置文件；数据合并服务器将所述配置文件导入，并建立与所述配置文件对应的数据库表；各个分布式节点完成分布式计算任务后将计算结果信息插入所述数据库表；所述数据合并服务器将数据库表中的数据合并。通过本发明用户只需要根据接口标准编写配置文件，系统就会自动进行数据合并，隐藏了分布式计算中的数据合并细节，减轻了用户的工作量。

Description

一种分布式计算数据合并方法、系统及其装置
技术领域
本发明涉及网络通信技术领域，特别是涉及一种分布式计算数据合并方法、系统及其装置。
背景技术
随着互联网技术的飞速发展，对于互联网上存在海量信息的处理就成为了难题。如果要在单机上处理这些数据量非常庞大的信息，就需要有很强的处理能力和端口能力，然而一方面这种高性能单机价格不菲，而且这种依靠单机的处理模式也是有限度的。因此人们提出了分布式计算的概念，利用互联网上有很多互连计算机的空闲资源来处理互联网上的海量信息。
分布式计算把需要进行大量计算的工程数据分割成小块，由多台计算机分别计算，在上传运算结果后再统一合并得出数据结论。因此，分布式计算的主要可以分为以下几个部分：1、任务分割：根据每个应用的不同，采用不同的方法将任务进行分割，最终达到的目的是任务尽可能的平均分配，各个任务之间互不相关。2、计算任务：任务分割完成后就被分发给分布式节点，有各个分布式节点进行计算，得到各个子任务包的计算结果。3、结果合并：在一台服务机器上，对各个分布式节点的处理结果进行合并，得到最终的处理结果。
现有的的分布式计算中，针对每个不同的应用处理的方式都是不同的，每个应用都要用户自己进行处理，对于分布式计算中并发处理，容错，负载均衡等等细节问题都要考虑，因此导致代码非常复杂。比如说分析用户访问网站的访问路径，就需要编写任务分割的代码、编写分析访问路径代码、编写结果合并代码，并且在这些代码中都要处理数据的同步、并发问题，容错、负载问题。如果出现新的应用，则这些过程都要重新进行一遍，并且还要考虑任务分割、结果合并，数据的同步等等问题，增加了用户的负担。
发明内容
本发明要解决的问题是提供一种分布式计算数据合并方法、系统及其装置，可以使分布式计算数据合并只需几个步骤就能完成，减轻用户工作量。
为达到上述目的，本发明的实施例的技术方案提出一种分布式计算数据合并方法，包括以下步骤：根据分布式计算任务分割的情况设置配置文件；数据合并服务器将所述配置文件导入，并建立与所述配置文件对应的数据库表；各个分布式节点完成分布式计算任务后将计算结果信息插入所述数据库表；所述数据合并服务器将数据库表中的数据合并。
其中，在所述数据合并服务器将数据库表中的数据合并之后，还包括以下步骤：将所述数据合并结果导出成文件。
其中，所述根据分布式计算任务分割的情况设置配置文件具体包括：需要合并数据表名、字段名、数据插入方式和合并方式。
其中，所述将数据库表中的数据合并具体包括：根据所述配置文件中的合并方式对数据库中字段进行处理。
其中，所述根据分布式计算任务分割的情况设置配置文件具体还包括：记录最大数量、错误处理方式、最大错误记录数和记录保存方式。
其中，所述各个分布式节点将计算结果信息插入所述数据库表，具体包括以下步骤：所述分布式节点根据所述合并数据表名将计算结果插入所述数据库表。
其中，所述计算结果信息包括：分布式任务ID，分布式配置项名称和计算结果。
其中，所述计算结果信息以ASCII码分隔。
为达到上述目的，本发明的实施例的技术方案还提出一种分布式计算数据合并系统，包括至少一个分布式节点和数据合并服务器，所述数据合并服务器，用于根据用户设置的配置文件建立与所述配置文件对应的数据库表，并在各个分布式节点将计算结果信息上报后将数据库表中的数据合并；所述分布式节点，用于在完成分布式计算任务后将计算结果信息插入所述数据库表。
其中，所述数据合并服务器包括数据库表建立模块和数据合并模块，所述数据库表建立模块用于根据用户设置的配置文件建立与所述配置文件对应的数据库表；所述数据合并模块用于在各个分布式节点将计算结果信息上报后将数据库表中的数据合并。
其中，所述数据合并服务器还包括计算结果统计模块，用于判断所述各个分布式节点是否全部将计算结果信息上报。
其中，所述数据合并服务器还包括中间数据存储模块，用于在数据合并之前存储数据库表。
本发明的实施例的技术方案还提出一种数据合并服务器，包括数据库表建立模块和数据合并模块，所述数据库表建立模块用于根据用户设置的配置文件建立与所述配置文件对应的数据库表；所述数据合并模块用于在各个分布式节点将计算结果信息上报后将数据库表中的数据合并。
其中，所述数据合并服务器还包括计算结果统计模块，用于判断所述各个分布式节点是否全部将计算结果信息上报。
其中，所述数据合并服务器还包括中间数据存储模块，用于在数据合并之前存储数据库表。
通过本发明实施例的技术方案用户只需要根据接口标准编写配置文件，系统就会自动进行数据合并，隐藏了分布式计算中的数据合并细节，减轻了用户的工作量。
附图说明
图1为本发明实施例分布式计算数据合并系统结构图；
图2为本发明实施例分布式计算数据合并方法的流程图；
图3为本发明实施例另一种分布式计算数据合并方法的流程图。
具体实施方式
本发明实施例利用数据库做平台与本发明实施例相结合，封装了分布式计算的数据合并的具体细节。用户只需要根据通过预先定义的标准编写配置文件，本发明就会自动进行数据合并，只需要简单的几个步骤就能完成以前需要几百行代码才能完成的工作。
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述：
如图1所示，为本发明实施例分布式计算数据合并系统结构图。
该分布式计算数据合并系统包括至少一个分布式节点2和数据合并服务器1，数据合并服务器1用于根据用户设置的配置文件建立与该配置文件对应的数据库表，并在各个分布式节点2将计算结果信息上报后将数据库表中的数据合并；分布式节点2用于在完成分布式计算任务后将计算结果信息插入数据合并服务器1中的数据库表。
通过该分布式计算数据合并系统将计算结果合并的过程如下：
首先，根据数据合并过程需要用到的方式方法订立数据合并接口的标准，该标准规范了不同的分布式计算的应用，用户使用这个标准就可以通过本发明处理不同的分布式计算的应用，不需要在各个分布式应用上重复编写代码。用户根据此标准编写相应的配置文件，该配置文件根据分布式计算的任务分割和任务计算步骤的情况设置，包括根据分布任务分割情况建立数据表名、字段名、数据插入方式和合并方式；还包括记录最大数量、错误处理方式、最大错误记录数和记录保存方式；并且可根据需要进行扩充。其中，数据插入方式是指插入数据库的方式，可采用直接插入或间接插入；记录保存方式是指以数据库方式保存，还是以远程网络文件或本地磁盘文件的方式保存。
数据合并服务器1读取设置的配置文件，根据预定的数据合并接口标准分析该配置文件，得到需要合并的数据表名、字段名、数据插入方式和合并方式及记录最大数量、错误处理方式、最大错误记录数和记录保存方式等用户配置的信息；利用数据合并服务器1上的数据库根据这些信息建立数据库表，以用户配置的数据表名命名该数据库表，并记录用户配置的数据合并方式。
各个分布式节点2在完成分布式计算任务之后，自动调用本发明提供的接口将计算结果信息插入该数据库表中，其中计算结果信息包括分布式任务ID，分布式配置项名称和计算结果，该计算结果信息的各个部分采用ASCII码分隔，例如用\5分隔。
数据合并服务器1根据记录的用户配置的数据合并方式对上述数据库表进行合并，该合并操作利用数据库实现；在该合并操作完成后根据用户的配置文件将最后合并结果导出，以数据库表的方式、远程网络文件或本地磁盘文件的方式保存。对于数据合并的方式用户可以选择数据库支持的所有合并操作，例如对数据表中的某个字段分组，对某个字段进行加合，对某个字段求最大值等。
其中，数据合并服务器1包括数据库表建立模块11和数据合并模块12，数据库表建立模块11用于根据用户设置的配置文件建立与该配置文件对应的数据库表；数据合并模块12用于在各个分布式节点2将计算结果信息上报后将数据库表中的数据合并。
其中，数据合并服务器1还包括计算结果统计模块13和中间数据存储模块14，计算结果统计模块13用于判断各个分布式节点2是否全部将计算结果信息上报；中间数据存储模块14用于在数据合并之前存储数据库表。
如图2所示，为本发明实施例分布式计算数据合并方法的流程图，包括以下步骤：
步骤201，根据分布式计算任务分割的情况设置配置文件，该配置文件根据分布式计算的任务分割和任务计算步骤的情况设置，包括根据分布任务分割情况建立数据表名、字段名、数据插入方式和合并方式；还包括记录最大数量、错误处理方式、最大错误记录数和记录保存方式；并且该配置文件信息可根据需要进行扩充。其中，数据插入方式是指插入数据库的方式，可采用直接插入或间接插入；记录保存方式是指以数据库方式保存，还是以远程网络文件或本地磁盘文件的方式保存。
步骤202，数据合并服务器将所述配置文件导入，并建立与该配置文件对应的数据库表。数据合并服务器读取设置的配置文件，根据预定的数据合并接口标准分析该配置文件，得到需要合并的数据表名、字段名、数据插入方式和合并方式及记录最大数量、错误处理方式、最大错误记录数和记录保存方式等用户配置的信息；利用数据合并服务器上的数据库根据这些信息建立数据库表，以用户配置的数据表名命名该数据库表，并记录用户配置的数据合并方式。
步骤203，各个分布式节点完成分布式计算任务后将计算结果信息插入所述数据库表。各个分布式节点在完成分布式计算任务之后，自动调用本发明提供的接口将计算结果信息插入该数据库表中，其中计算结果信息包括分布式任务ID，分布式配置项名称和计算结果，该计算结果信息的各个部分采用ASCII码分隔，例如用\5分隔。
步骤204，数据合并服务器将数据库表中的数据合并。数据合并服务器根据记录的用户配置的数据合并方式对上述数据库表进行合并，该合并操作利用数据库实现；在该合并操作完成后根据用户的配置文件将最后合并结果导出，以数据库表的方式、远程网络文件或本地磁盘文件的方式保存。对于数据合并的方式用户可以选择数据库支持的所有合并操作，例如对数据表中的某个字段分组，对某个字段进行加合，对某个字段求最大值等。
如图3所示，为本发明实施例另一种分布式计算数据合并方法的流程图，包括以下步骤：
步骤301，根据数据合并过程需要用到的方式方法订立数据合并接口的标准，该标准规范了不同的分布式计算的应用，用户使用这个标准就可以通过本发明处理不同的分布式计算的应用，不需要在各个分布式应用上重复编写代码。该标准对于本发明实施例的分布式计算数据合并方法不是必须的，但是通过制定本标准可以使本发明实施例可以针对所有分布式计算的应用。
create mergedata table_name
(
  field1_name field1_type field1_class，
  field2_name field2_type field2_class
)
[limit n]
[maxerror n]
[directload]
[globalfile/localfile]
其中，field为字段是根据分布式计算数据合并之前的任务分割情况设定的；Limit是指记录按照从大到小排列后的最大的数量；Maxerror是指插入数据库中允许的最大错误记录数；Directlad是指插入数据库的方式，直接还是非直接方式；Globalfile/localfile：是指记录保存的方式，是以数据库的方式，还是Globalfile(远程网络文件)的方式或者localfile(本地磁盘文件)的方式。本发明实施例还可以根据用户的需要，对上述数据合并接口的标准进行扩充。
步骤302，根据分布式计算任务分割的情况设置配置文件。以下为本实施例中用户根据自身要求设置的配置文件。
CREATE mergedata ANALOG_RES_SUMMARY_DAILY
(
     PROFILE_ID       NUMBER    key，
     REPORT_TIME      NUMBER    key，
     PAGEVIEW         NUMBER    order，
     VISITS           NUMBER    order，
     AVER_VISIT_LEN   NUMBER    order，
     UNIQ_VISITOR     NUMBER    order，
     VISIT1_VISITOR   NUMBER    order，
     PAGEVIEW1_VISIT  NUMBER    order
)
limit 1
maxerrors 1
directload
localfile；
步骤303，数据合并服务器将所述配置文件导入，并建立与该配置文件对应的数据库表。数据合并服务器读取设置的配置文件，根据预定的数据合并接口标准分析该配置文件，得到需要合并的数据表名、字段名、数据插入方式和合并方式及记录最大数量、错误处理方式、最大错误记录数和记录保存方式等用户配置的信息；利用数据合并服务器上的数据库根据这些信息建立数据库表，以用户配置的数据表名命名该数据库表，并记录用户配置的数据合并方式。
根据上述用户根据自身要求设置的配置文件，我们可以得到以下信息：上述配置文件中根据任务分割的情况，任务计算的结果应当有8个字段，分别为profile_id、report_time、pageview，visits、aver_visit_len、quiq_visitor、visit1_visitor和pageview1_visit；不限制结果数；直接的方式进行数据导入；允许的最大错误是1；ANALOG_RES_SUMMARY_DAILY为其数据表名；导出方式为本地磁盘文件。根据上述用户设置的配置文件，Field1_class指出了合并方式，在本例中是以profile_id和report_time的field_class是key，其他字段的field_class为order，就是指以profile_id和report_time为关键字，求这些字段page_view，visits，aver_visit_len，uniq_visitor，visit1_vistor，pageview1_visit的和。
根据以上信息，数据合并服务器调用数据库，在数据库上创建包含以上信息的数据库表，并将上述合并方式保存。
步骤304，各个分布式节点完成分布式计算任务后将计算结果信息插入所述数据库表。各个分布式节点在完成分布式计算任务之后，自动调用本发明提供的接口将计算结果信息插入该数据库表中，其中计算结果信息包括需要插入的数据表名和计算结果等用户配置信息，该计算结果信息的各个部分采用  ASCII码分隔。例如上例中上报的信息有数据表名ANALOG_RES_SUMMARY_DAILY，以及插入的数据“2\520070214\5100\550\523\524\512\548”，该插入的数据以ASCII码5分隔，就是指插入的数据为profile_id＝2、report_time＝20070214、pageview＝100、visits＝50、aver_visit_len＝23、quiq_visitor＝24、visit1_visitor＝12、pageview1_visit＝48。
步骤305，数据合并服务器将数据库表中的数据合并。如用户设定的合并方式为在profile_id和report_time相同的情况下合并pageview、visits、aver_visit_len、quiq_visitor、visit1_visitor、pageview1_visit这六个字段，数据合并服务器调用数据库根据上述合并方式将数据合并，并将合并结果导出成文件在本地磁盘文件上保存。
本发明实施例通过数据合并服务器和分布式节点对合并数据的自动处理，隐藏了分布式计算中数据合并的细节，减轻了用户的工作量。因此用户不需要去了解分布式计算中数据合并的细节，也不需要针对各个不同的应用方式编写代码。通过本发明实施例只需要简单的几个步骤就能完成以前需要几百行代码才能完成的工作。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1. 一种分布式计算数据合并方法，其特征在于，包括以下步骤：
根据分布式计算任务分割的情况设置配置文件；
数据合并服务器将所述配置文件导入，并建立与所述配置文件对应的数据库表；
各个分布式节点完成分布式计算任务后将计算结果信息插入所述数据库表；
所述数据合并服务器将数据库表中的数据合并。
2. 如权利要求1所述分布式计算数据合并方法，其特征在于，在所述数据合并服务器将数据库表中的数据合并之后，还包括以下步骤：
将所述数据合并结果导出成文件。
3. 如权利要求1所述分布式计算数据合并方法，其特征在于，所述根据分布式计算任务分割的情况设置配置文件具体包括：需要合并数据表名、字段名、数据插入方式和合并方式。
4. 如权利要求3所述分布式计算数据合并方法，其特征在于，所述将数据库表中的数据合并具体包括：根据所述配置文件中的合并方式对数据库中字段进行处理。
5. 如权利要求3所述分布式计算数据合并方法，其特征在于，所述根据分布式计算任务分割的情况设置配置文件具体还包括：记录最大数量、错误处理方式、最大错误记录数和记录保存方式。
6. 如权利要求3所述分布式计算数据合并方法，其特征在于，所述各个分布式节点将计算结果信息插入所述数据库表，具体包括以下步骤：
所述分布式节点根据所述合并数据表名将计算结果插入所述数据库表。
7. 如权利要求1所述分布式计算数据合并方法，其特征在于，所述计算结果信息包括：分布式任务ID，分布式配置项名称和计算结果。
8. 如权利要求7所述分布式计算数据合并方法，其特征在于，所述计算结果信息以ASCII码分隔。
9. 一种分布式计算数据合并系统，其特征在于，包括至少一个分布式节点和数据合并服务器，
所述数据合并服务器，用于根据用户设置的配置文件建立与所述配置文件对应的数据库表，并在各个分布式节点将计算结果信息上报后将数据库表中的数据合并；
所述分布式节点，用于在完成分布式计算任务后将计算结果信息插入所述数据库表。
10. 如权利要求9所述分布式计算数据合并系统，其特征在于，所述数据合并服务器包括数据库表建立模块和数据合并模块，
所述数据库表建立模块用于根据用户设置的配置文件建立与所述配置文件对应的数据库表；
所述数据合并模块用于在各个分布式节点将计算结果信息上报后将数据库表中的数据合并。
11. 如权利要求10所述分布式计算数据合并系统，其特征在于，所述数据合并服务器还包括计算结果统计模块，用于判断所述各个分布式节点是否全部将计算结果信息上报。
12. 如权利要求10所述分布式计算数据合并系统，其特征在于，所述数据合并服务器还包括中间数据存储模块，用于在数据合并之前存储数据库表。
13. 一种数据合并服务器，其特征在于，包括数据库表建立模块和数据合并模块，
所述数据库表建立模块用于根据用户设置的配置文件建立与所述配置文件对应的数据库表；
所述数据合并模块用于在各个分布式节点将计算结果信息上报后将数据库表中的数据合并。
14. 如权利要求13所述数据合并服务器，其特征在于，还包括计算结果统计模块，用于判断所述各个分布式节点是否全部将计算结果信息上报。
15. 如权利要求13所述数据合并服务器，其特征在于，还包括中间数据存储模块，用于在数据合并之前存储数据库表。
CN200710090995.5A 2007-03-30 2007-03-30 一种分布式计算数据合并方法、系统及其装置 Expired - Fee Related CN101276364B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN200710090995.5A CN101276364B (zh) 2007-03-30 2007-03-30 一种分布式计算数据合并方法、系统及其装置
TW097100577A TWI476608B (zh) 2007-03-30 2008-01-07 A distributed computing data merging method, system and device thereof
JP2010501266A JP5298117B2 (ja) 2007-03-30 2008-03-28 分散コンピューティングにおけるデータマージング
US12/158,689 US8463822B2 (en) 2007-03-30 2008-03-28 Data merging in distributed computing
PCT/US2008/058732 WO2008121862A1 (en) 2007-03-30 2008-03-28 Data merging in distributed computing
EP08744662A EP2132625A4 (en) 2007-03-30 2008-03-28 DATA FORWARDING IN DISTRIBUTED DATA ENTRY
HK08114080.4A HK1120891A1 (en) 2007-03-30 2008-12-30 Method and system of distributed computing data merging and apparatus thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200710090995.5A CN101276364B (zh) 2007-03-30 2007-03-30 一种分布式计算数据合并方法、系统及其装置

Publications (2)

Publication Number Publication Date
CN101276364A true CN101276364A (zh) 2008-10-01
CN101276364B CN101276364B (zh) 2010-12-22

Family

ID=39808688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200710090995.5A Expired - Fee Related CN101276364B (zh) 2007-03-30 2007-03-30 一种分布式计算数据合并方法、系统及其装置

Country Status (7)

Country Link
US (1) US8463822B2 (zh)
EP (1) EP2132625A4 (zh)
JP (1) JP5298117B2 (zh)
CN (1) CN101276364B (zh)
HK (1) HK1120891A1 (zh)
TW (1) TWI476608B (zh)
WO (1) WO2008121862A1 (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101908075A (zh) * 2010-08-17 2010-12-08 上海云数信息科技有限公司 基于sql的并行计算系统及方法
CN101916281A (zh) * 2010-08-17 2010-12-15 上海云数信息科技有限公司 并行计算系统及去重计数方法
CN102385507A (zh) * 2010-08-27 2012-03-21 卡斯柯信号有限公司 用于自动生成布尔代数的多机信息处理方法及装置
CN102521234A (zh) * 2010-10-28 2012-06-27 微软公司 在线数据库的分区
CN102917009A (zh) * 2012-09-06 2013-02-06 中南民族大学 一种基于云计算技术的股票数据采集和存储方法和系统
CN102096685B (zh) * 2009-12-11 2013-04-17 阿里巴巴集团控股有限公司 分布式数据同步到数据仓库的方法及装置
CN103136217A (zh) * 2011-11-24 2013-06-05 阿里巴巴集团控股有限公司 一种分布式数据流处理方法及其系统
CN103500408A (zh) * 2013-10-17 2014-01-08 浪潮(北京)电子信息产业有限公司 一种处理电子商务数据的方法和云计算系统
CN104106055A (zh) * 2011-12-12 2014-10-15 智能保险装置有限公司 分布式存储和任务网络中的分布式计算
CN106066881A (zh) * 2016-05-31 2016-11-02 深圳市永兴元科技有限公司 数据处理方法及装置
CN106161487A (zh) * 2015-03-23 2016-11-23 多媒体影像解决方案有限公司 服务器的信息处理方法
CN103136217B (zh) * 2011-11-24 2016-12-14 阿里巴巴集团控股有限公司 一种分布式数据流处理方法及其系统
CN106708873A (zh) * 2015-11-16 2017-05-24 北京国双科技有限公司 数据整合方法和装置
CN108038239A (zh) * 2017-12-27 2018-05-15 中科鼎富（北京）科技发展有限公司 一种异构数据源规范化处理方法、装置及服务器
CN110113387A (zh) * 2019-04-17 2019-08-09 深圳前海微众银行股份有限公司 一种基于分布式批量处理系统的处理方法、装置及系统
CN114143320A (zh) * 2021-09-01 2022-03-04 浪潮云信息技术股份公司 一种基于分布式数据库的数据网关方法及系统

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9996572B2 (en) 2008-10-24 2018-06-12 Microsoft Technology Licensing, Llc Partition management in a partitioned, scalable, and available structured storage
CN102214236B (zh) * 2011-06-30 2013-10-23 北京新媒传信科技有限公司 一种海量数据处理方法和系统
US8533804B2 (en) 2011-09-23 2013-09-10 Loyal3 Holdings, Inc. User login with redirect to home network
US8468129B2 (en) 2011-09-23 2013-06-18 Loyal3 Holdings, Inc. Asynchronous replication of databases of peer networks
US20140304713A1 (en) * 2011-11-23 2014-10-09 Telefonaktiebolaget L M Ericsson (pulb) Method and apparatus for distributed processing tasks
US9430286B2 (en) * 2011-12-12 2016-08-30 International Business Machines Corporation Authorizing distributed task processing in a distributed storage network
US9294482B2 (en) 2013-07-25 2016-03-22 Oracle International Corporation External platform extensions in a multi-tenant environment
US10462158B2 (en) * 2014-03-19 2019-10-29 Nippon Telegraph And Telephone Corporation URL selection method, URL selection system, URL selection device, and URL selection program
US10552079B2 (en) 2017-01-18 2020-02-04 International Business Machines Corporation Planning of data segment merge for distributed storage system
US10380191B2 (en) * 2017-01-26 2019-08-13 Sap Se Adaptable application variants
CN108415894B (zh) * 2018-03-15 2021-01-05 平安科技（深圳）有限公司 报表数据初始化方法、装置、计算机设备及存储介质
US11132681B2 (en) 2018-07-06 2021-09-28 At&T Intellectual Property I, L.P. Services for entity trust conveyances
US10802872B2 (en) * 2018-09-12 2020-10-13 At&T Intellectual Property I, L.P. Task delegation and cooperation for automated assistants
US11481186B2 (en) 2018-10-25 2022-10-25 At&T Intellectual Property I, L.P. Automated assistant context and protocol
US20200142669A1 (en) * 2018-11-06 2020-05-07 International Business Machines Corporation Controlling storage accesses for merge operations
CN111726390B (zh) * 2020-05-06 2022-11-25 上海融客软件科技有限公司 基于Teamcenter的接口数据交互方法、装置、设备及存储介质
CN111625586A (zh) * 2020-05-27 2020-09-04 北京思特奇信息技术股份有限公司 一种通用业务数据的导入方法和系统
CN112231293B (zh) * 2020-09-14 2024-07-19 杭州数梦工场科技有限公司 文件读取方法、装置、电子设备和存储介质
CN113220703A (zh) * 2021-05-31 2021-08-06 普瑞纯证医疗科技(广州)有限公司 一种基于大数据平台更新医疗数据的方法、服务器和系统
CN114510490B (zh) * 2022-04-18 2022-08-02 北京宝兰德软件股份有限公司 提升数据库数据插入性能的方法和装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6556988B2 (en) * 1993-01-20 2003-04-29 Hitachi, Ltd. Database management apparatus and query operation therefor, including processing plural database operation requests based on key range of hash code
US5742759A (en) 1995-08-18 1998-04-21 Sun Microsystems, Inc. Method and system for facilitating access control to system resources in a distributed computer system
US5909542A (en) * 1996-11-20 1999-06-01 Cfi Proservices, Inc. Distributed computing system for executing intercommunicating applications programs
US5996012A (en) * 1996-12-10 1999-11-30 International Business Machines Corporation Application development process for use in a distributed computer enterprise environment
GB2327783A (en) * 1997-07-26 1999-02-03 Ibm Remotely assessing which of the software modules installed in a server are active
US6092213A (en) * 1997-09-30 2000-07-18 Tandem Computers Incorporated Fault tolerant method of maintaining and distributing configuration information in a distributed processing system
US6732111B2 (en) * 1998-03-03 2004-05-04 Siebel Systems, Inc. Method, apparatus, system, and program product for attaching files and other objects to a partially replicated database
EP1107108A1 (en) * 1999-12-09 2001-06-13 Hewlett-Packard Company, A Delaware Corporation System and method for managing the configuration of hierarchically networked data processing devices
CN1232914C (zh) 2000-04-26 2005-12-21 计算机合作者思维公司 在分布计算机系统中保持数据完整性的方法与设备
AU2001261089B2 (en) * 2000-04-27 2005-02-24 Webfeat, Inc. Method and system for retrieving search results from multiple disparate databases
US6879984B2 (en) * 2000-10-05 2005-04-12 Clareos, Inc. Analytical database system that models data to speed up and simplify data analysis
EP1367518A1 (en) * 2001-03-06 2003-12-03 Matsushita Electric Industrial Co., Ltd. Advertisement distribution system
US6947986B1 (en) * 2001-05-08 2005-09-20 Networks Associates Technology, Inc. System and method for providing web-based remote security application client administration in a distributed computing environment
US6917929B2 (en) * 2001-07-16 2005-07-12 Sun Microsystems, Inc. Configuration for a storage network
GB2377775A (en) * 2001-07-18 2003-01-22 Ibm Distributing programs to processing units in a network using information on the capabilities of the units
US8249885B2 (en) * 2001-08-08 2012-08-21 Gary Charles Berkowitz Knowledge-based e-catalog procurement system and method
US6728704B2 (en) * 2001-08-27 2004-04-27 Verity, Inc. Method and apparatus for merging result lists from multiple search engines
US7171672B2 (en) * 2002-04-24 2007-01-30 Telefonaktie Bolaget Lm Ericsson (Publ) Distributed application proxy generator
US7076508B2 (en) * 2002-08-12 2006-07-11 International Business Machines Corporation Method, system, and program for merging log entries from multiple recovery log files
US7240059B2 (en) * 2002-11-14 2007-07-03 Seisint, Inc. System and method for configuring a parallel-processing database system
JPWO2004084095A1 (ja) 2003-03-18 2006-06-22 富士通株式会社 情報検索システム，情報検索方法，情報検索装置，情報検索プログラムおよび当該プログラムを記録したコンピュータ読取可能な記録媒体
WO2004097677A1 (en) * 2003-04-28 2004-11-11 International Business Machines Corporation Automatic data consolidation
US7228308B2 (en) * 2003-11-12 2007-06-05 International Business Machines Corporation Method and system for direct linkage of a relational database table for data preparation
US7412494B2 (en) * 2004-02-27 2008-08-12 Sap Ag Merging partial query results into a single result
US8321591B2 (en) * 2004-09-30 2012-11-27 Rockwell Automation Technologies, Inc. Directory structure in distributed data driven architecture environment
US7624163B2 (en) * 2004-10-21 2009-11-24 Apple Inc. Automatic configuration information generation for distributed computing environment
US7890507B2 (en) * 2005-02-25 2011-02-15 International Business Machines Corporation System and method of joining data obtained from horizontally and vertically partitioned heterogeneous data stores using string-based location transparent search expressions
JP2006236123A (ja) * 2005-02-25 2006-09-07 Fujitsu Ltd ジョブ分散プログラム、ジョブ分散方法およびジョブ分散装置
US8386469B2 (en) * 2006-02-16 2013-02-26 Mobile Content Networks, Inc. Method and system for determining relevant sources, querying and merging results from multiple content sources

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096685B (zh) * 2009-12-11 2013-04-17 阿里巴巴集团控股有限公司 分布式数据同步到数据仓库的方法及装置
CN101916281B (zh) * 2010-08-17 2012-12-19 上海云数信息科技有限公司 并行计算系统及去重计数方法
CN101916281A (zh) * 2010-08-17 2010-12-15 上海云数信息科技有限公司 并行计算系统及去重计数方法
CN101908075A (zh) * 2010-08-17 2010-12-08 上海云数信息科技有限公司 基于sql的并行计算系统及方法
CN102385507B (zh) * 2010-08-27 2014-12-24 卡斯柯信号有限公司 用于自动生成布尔代数的多机信息处理方法及装置
CN102385507A (zh) * 2010-08-27 2012-03-21 卡斯柯信号有限公司 用于自动生成布尔代数的多机信息处理方法及装置
US9372882B2 (en) 2010-10-28 2016-06-21 Microsoft Technology Licensing, Llc Partitioning online databases
US8805784B2 (en) 2010-10-28 2014-08-12 Microsoft Corporation Partitioning online databases
CN102521234B (zh) * 2010-10-28 2014-12-17 微软公司 在线数据库的分区
CN102521234A (zh) * 2010-10-28 2012-06-27 微软公司 在线数据库的分区
CN103136217A (zh) * 2011-11-24 2013-06-05 阿里巴巴集团控股有限公司 一种分布式数据流处理方法及其系统
CN103136217B (zh) * 2011-11-24 2016-12-14 阿里巴巴集团控股有限公司 一种分布式数据流处理方法及其系统
CN104106055A (zh) * 2011-12-12 2014-10-15 智能保险装置有限公司 分布式存储和任务网络中的分布式计算
CN104106055B (zh) * 2011-12-12 2016-12-28 国际商业机器公司 数据任务的分布式计算方法和分散存储模块
CN102917009B (zh) * 2012-09-06 2015-08-19 中南民族大学 一种基于云计算技术的股票数据采集和存储方法和系统
CN102917009A (zh) * 2012-09-06 2013-02-06 中南民族大学 一种基于云计算技术的股票数据采集和存储方法和系统
CN103500408A (zh) * 2013-10-17 2014-01-08 浪潮(北京)电子信息产业有限公司 一种处理电子商务数据的方法和云计算系统
CN106161487A (zh) * 2015-03-23 2016-11-23 多媒体影像解决方案有限公司 服务器的信息处理方法
CN106708873A (zh) * 2015-11-16 2017-05-24 北京国双科技有限公司 数据整合方法和装置
CN106066881A (zh) * 2016-05-31 2016-11-02 深圳市永兴元科技有限公司 数据处理方法及装置
CN106066881B (zh) * 2016-05-31 2019-10-22 深圳市永兴元科技股份有限公司 数据处理方法及装置
CN108038239A (zh) * 2017-12-27 2018-05-15 中科鼎富（北京）科技发展有限公司 一种异构数据源规范化处理方法、装置及服务器
CN110113387A (zh) * 2019-04-17 2019-08-09 深圳前海微众银行股份有限公司 一种基于分布式批量处理系统的处理方法、装置及系统
WO2020211579A1 (zh) * 2019-04-17 2020-10-22 深圳前海微众银行股份有限公司 一种基于分布式批量处理系统的处理方法、装置及系统
CN114143320A (zh) * 2021-09-01 2022-03-04 浪潮云信息技术股份公司 一种基于分布式数据库的数据网关方法及系统

Also Published As

Publication number Publication date
US8463822B2 (en) 2013-06-11
EP2132625A1 (en) 2009-12-16
US20100223297A1 (en) 2010-09-02
JP5298117B2 (ja) 2013-09-25
HK1120891A1 (en) 2009-04-09
TW200931285A (en) 2009-07-16
WO2008121862A1 (en) 2008-10-09
JP2010524060A (ja) 2010-07-15
TWI476608B (zh) 2015-03-11
CN101276364B (zh) 2010-12-22
EP2132625A4 (en) 2012-08-08

Similar Documents

Publication Publication Date Title
CN101276364B (zh) 一种分布式计算数据合并方法、系统及其装置
CN108053311A (zh) 审核贷款申请的方法、装置、设备及计算机可读存储介质
CN101504672B (zh) 一种动态配置实体数据表的方法和系统
CN110032594B (zh) 可定制化的多源数据库的数据抽取方法、装置及存储介质
CN108153719A (zh) 合并电子表格的方法和装置
CN104537301B (zh) 应用的登录方法、装置及移动终端
WO2002042865A3 (en) Method and system for centrally organizing transactional information in a network environment
CN107483381A (zh) 关联账户的监控方法及装置
CN106802928B (zh) 电网历史数据管理方法及其系统
CN109005167B (zh) 一种认证数据的处理方法、装置、服务器与存储介质
CN111651522B (zh) 一种数据同步方法及装置
KR20140031429A (ko) 아이템 추천 시스템과 방법 및 이를 지원하는 장치
CN101980190A (zh) 一种业务数据快速入库的方法和装置
CN105868955A (zh) 日历中统计事件的方法及装置
CN106888264A (zh) 一种数据交换方法和装置
CN102339305A (zh) 基于偏序关系日志的数据库集群故障恢复方法
CN102681883B (zh) 一种媒体资产检索浏览系统中的资源调用的方法及系统
CN115953119A (zh) 表单权限管理方法、装置、存储介质及电子设备
CN109800265A (zh) 数据加载方法、装置、设备及计算机可读存储介质
CN116739524A (zh) 业务流程设置方法、装置、设备、存储介质及程序产品
CN106250243B (zh) 基于轮询处理模式的银行系统应用的处理方法及装置
CN115344633A (zh) 数据处理方法、装置、设备和存储介质
CN108509513B (zh) 平台客户数据回流方法、电子装置、设备及存储介质
CN113205421A (zh) 理财产品的核算方法及装置
CN106775854B (zh) 一种生成配置文件的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1120891

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1120891

Country of ref document: HK

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211109

Address after: Room 554, floor 5, building 3, No. 969, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province

Patentee after: TAOBAO (CHINA) SOFTWARE CO.,LTD.

Address before: Cayman Islands Grand Cayman capital building, a four storey No. 847 mailbox

Patentee before: ALIBABA GROUP HOLDING Ltd.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20101222