CN102479225A - 一种分布式数据分析和处理方法及系统 - Google Patents

一种分布式数据分析和处理方法及系统 Download PDF

Info

Publication number
CN102479225A
CN102479225A CN2010105683923A CN201010568392A CN102479225A CN 102479225 A CN102479225 A CN 102479225A CN 2010105683923 A CN2010105683923 A CN 2010105683923A CN 201010568392 A CN201010568392 A CN 201010568392A CN 102479225 A CN102479225 A CN 102479225A
Authority
CN
China
Prior art keywords
script
server
load balancing
carry out
source code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010105683923A
Other languages
English (en)
Other versions
CN102479225B (zh
Inventor
曾健
陈刚
梅松
梁宇
赵勇
徐苛杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Group Sichuan Co Ltd
Original Assignee
China Mobile Group Sichuan Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Group Sichuan Co Ltd filed Critical China Mobile Group Sichuan Co Ltd
Priority to CN201010568392.3A priority Critical patent/CN102479225B/zh
Publication of CN102479225A publication Critical patent/CN102479225A/zh
Application granted granted Critical
Publication of CN102479225B publication Critical patent/CN102479225B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Multi Processors (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种分布式数据分析和处理方法，包括如下步骤：A、负载分担服务器向脚本服务器发送获取可执行对象脚本的请求，脚本服务器判断是否找到可执行对象脚本，若是执行步骤C；否则执行步骤B；B、脚本服务器从数据库主机读取脚本源代码，编译所述脚本源代码得到可执行对象脚本；C、负载分担服务器从负载分担服务器获取到可执行对象脚本，负载分担服务器调用脚本对象的入口方法，执行可执行对象脚本所定义的数据采集、清理、统计、分析、处理类功能代码；D、负载分担服务器将执行所述可执行对象脚本的处理结果通过远程数据库连接回送到数据库主机。本发明还提出一种分布式数据分析和处理系统。

Description

一种分布式数据分析和处理方法及系统
技术领域
本发明涉及数据分析处理及数据库技术领域，尤其涉及一种分布式数据分析和处理方法及系统。
背景技术
现有的联机分析处理(OLAP)过程常采用集中数据处理的方式，数据库资源存在比较严重的争用现象，数据采集、清理、分析和执行环节已经成为瓶颈，延长了结果数据的生成周期。
图1为现有的联机分析处理(OLAP)类数据处理系统的一个简单示意图。该系统包括数据库主机101和三个Web服务器，分别为Web服务器102、Web服务器103和Web服务器104。
图2所示为现有的联机分析处理(OLAP)类数据处理流程，包括如下步骤：
步骤201：多个Web服务器采集用于联机分析处理的各类原始数据，并将所述原始数据汇总到数据库主机；
步骤202：数据库主机执行统计口径对采集到的原始数据进行加工，生成下一步结算所需的各类基础指标数据；
步骤203：数据库主机根据系统配置的联机分析处理业务规则计算中间结果，同时生成联机分析处理报表的基础数据；
步骤204：数据库主机保存联机分析处理数据的统计结果，在收到查询请求后，将联机分析处理结果数据输出。
其中，步骤202和步骤203涉及数据库操作，要求很高的吞吐量，执行时会占用大量数据库资源。
可以看出，现有技术中存在如下问题：
数据库主机的处理能力成为联机分析数据处理的瓶颈，延长了统计分析结果的生成周期；而与此同时，系统中低负荷计算资源(如WEB服务器)存在较长的资源空闲时段，但却不能分担数据库主机的负载。
发明内容
本发明提供了一种分布式数据分析和处理方法及系统，可以网络上的计算资源分担数据库主机的负载，缩短联机分析处理数据的生成周期。
本发明实施例提出一种分布式数据分析和处理方法，包括如下步骤：
A、负载分担服务器向脚本服务器发送获取可执行对象脚本的请求，脚本服务器判断是否找到可执行对象脚本，若是执行步骤C；否则执行步骤B；
B、脚本服务器从数据库主机读取脚本源代码，编译所述脚本源代码得到可执行对象脚本；
C、负载分担服务器从负载分担服务器获取到可执行对象脚本，负载分担服务器调用脚本对象的入口方法，执行可执行对象脚本所定义的数据采集、清理、统计、分析、处理类功能代码；
D、负载分担服务器将执行所述可执行对象脚本的处理结果通过远程数据库连接回送到数据库主机。
较佳地，步骤B所述编译脚本源代码得到可执行对象脚本进一步包括：将所得到的可执行对象脚本加入脚本服务器的高速缓存中。
较佳地，所述脚本源代码采用与数据库类型无关的采集、统计、分析、处理类脚本源代码语言生成。
较佳地，步骤A所述负载分担服务器从脚本服务器获取可执行对象脚本为：负载分担服务器从脚本服务器的高速缓存中获取可执行对象脚本。
较佳地，该方法进一步包括：脚本服务器对可执行对象脚本的调度、分发、执行和结果汇总状态进行详细的跟踪和记录，并对异常情况进行处理。
较佳地，步骤B所述编译所述脚本源代码得到可执行对象脚本包括：脚本服务器根据配置的具体调度执行策略对脚本源代码进行拆分后编译，生成多条可执行对象子脚本，把具备并行处理条件的可执行对象子脚本分组，生成任务执行组；并将不同的任务执行组调度到不同的负载分担服务器。
较佳地，所述不同的任务执行组调度到不同的负载分担服务器包括：
脚本服务器根据负载分担服务器的空闲时间段配置情况，在计算资源空闲时把任务执行组调度指定的负载分担服务器执行。
本发明实施例还提出一种分布式数据分析和处理系统，该系统包括数据库主机，脚本服务器和多个负载分担服务器；
所述脚本服务器用于接收来自负载分担服务器的获取可执行对象脚本的请求，判断是否找到可执行对象脚本，若未找到，从数据库主机读取脚本源代码，编译所述脚本源代码得到可执行对象脚本；
所述负载分担服务器用于从负载分担服务器获取到可执行对象脚本，调用脚本对象的入口方法，执行可执行对象脚本所定义的数据采集、清理、统计、分析、处理类功能代码；并将将执行所述可执行对象脚本的处理结果通过远程数据库连接回送到数据库主机。
较佳地，所述脚本服务器上的可执行对象脚本保存在脚本服务器的高速缓存中。
较佳地，所述脚本源代码采用与数据库类型无关的采集、统计、分析、处理类脚本源代码语言生成。
较佳地，所述脚本服务器进一步用于：对可执行对象脚本的调度、分发、执行和结果汇总状态进行详细的跟踪和记录，并对异常情况进行处理。
较佳地，所述脚本服务器进一步包括：
拆分编译模块，用于根据配置的具体调度执行策略对脚本源代码进行拆分后编译，生成多条可执行对象子脚本；
分组模块，用于将具备并行处理条件的可执行对象子脚本分组，生成任务执行组；
调度模块，用于将不同的任务执行组调度到不同的负载分担服务器。
较佳地，所述调度模块进一步用于根据负载分担服务器的空闲时间段配置情况，在计算资源空闲时把任务执行组调度指定的负载分担服务器执行。
从以上技术方案可以看出，通过在数据采集和统计口径环节采用分布式数据处理方法，让空闲计算资源在资源空闲时段分担数据库主机的负载，提高系统整体并发处理能力，缩短总体分析处理结构生成周期。本发明还具有如下进一步的技术效果：在负载分担数据库主机上为提高数据吞吐量进行专门的优化，能够缩短数据处理时间；数据采集、处理、分析、统计规则用统一的脚本语言实现，通过提供专用的语言特性来简化配置、提高执行效率。
附图说明
图1为现有的联机分析类数据处理系统的示意图；
图2为现有的联机分析类数据处理流程图；
图3为本发明实施例提出的分布式数据分析和处理系统示意图；
图4为本发明实施例提出的分布式数据分析和处理流程图。
具体实施方式
采用分布式数据处理技术需满足两个条件：一是要能够提取出可分布的处理单元，二是要能将分布式处理的结果进行汇总以得到最终结果。
大部分联机分析类系统的数据采集、分析和处理这三个步骤正好满足这两个条件。首先，大多联机分析处理数据库脚本的执行顺序没有强线性依赖关系；因此，大多联机分析处理数据库脚本(采集、清理、分析、处理等)可以根据具体的业务规则进行细粒度的拆分实现分布式执行，最后将结果进行汇总。
通过在负载分担数据库和主数据库之间建立远程数据库连接，主数据库的结果数据表可以映射成负载分担数据库中的远程表，因此在脚本回送处理结果用简单的SQL语句即可实现。
本发明实施例提出的分布式数据处理方法及系统的架构如图3所示，与虚线框标出的现有的联机分析类数据处理系统相比，增加了脚本服务器305和负载分段服务器(306，307)。脚本服务器305与数据库主机301及负载分担服务器(306、307)之间建立网络连接(粗实线条表示)，脚本服务器305上部署脚本后台服务程序，负责脚本的编译、调度和执行。负载分担服务器上安装数据库以执行数据处理脚本中的SQL语句，并与主数据库建立远程数据连接(虚线条表示)，用于回送数据处理结果到数据库主机301。
本发明实施例提出的分布式分布式数据分析和处理流程如图4所示，包括如下步骤：
步骤401：负载分担服务器从脚本服务器的高速缓存获取可执行对象；
步骤402：脚本服务器判断是否找到可执行对象，若是执行步骤405；否则执行步骤403；
步骤403：脚本服务器从数据库主机读取脚本源代码；
步骤404：脚本服务器编译脚本源代码并将其加入代码高速缓存，同时向负载分担服务器返回可执行对象；
步骤405：负载分担服务器调用脚本对象的入口方法，执行脚本所定义的数据采集、分析、处理、统计规则代码。
步骤406：负载分担服务器将执行脚本的处理结果通过远程数据库连接回送到主数据库的结果表中。
脚本源代码保存在数据库，在执行时刻动态编译成可执行代码；
为减少代码编译时间，系统提供了高效的可执行对象缓存机制。
系统提供多任务处理能力，能够根据业务需要对脚本进行分组，任务执行组内的脚本可并行或串行执行，任务执行组之间可级联执行；
脚本服务器305可以根据配置的具体调度执行策略(如：按业务涉及地域、时间段、特定业务类型等)对脚本源代码进行拆分后编译，生成多条可执行对象子脚本。然后把具备并行处理条件的可执行对象子脚本分组，生成任务执行组。每个任务执行组包括至少一个可执行对象子脚本，不同任务执行组之间的可执行对象子脚本没有逻辑的依赖关系，可以进行并行处理。
不同的任务执行组可以被调度到不同的负载分担服务器上并行执行。在同一任务执行组内，负载分担服务器可根据多条可执行对象子脚本之间的执行依赖关系，选择并行或串行执行。
系统能定时调度脚本在指定的时间执行；
脚本服务器305可以根据多个计算资源(306、307负载分担服务器)的空闲时间段配置情况，在计算资源空闲时把任务执行组调度指定的负载分担服务器执行，实现计算资源的分时复用，提高负载分担服务器的利用率。
系统对脚本中所有的脚本任务执行情况进行详细记录，为安全审计和性能分析提供详细数据；
脚本服务器305对调度脚本任务的调度、分发、执行和结果汇总状态进行详细的跟踪和记录，并对异常情况进行处理。
脚本服务器305可以和数据库主机301复用。
负载分担服务器306、307可以为多台，同时可以由web服务器、老旧空闲设备或第三方系统的空闲设备承担；负载分担服务器306、307也可以和本系统的web服务器(如302、303、304)复用。
为简化脚本编写和提高开发效率，专门为常用的数据处理需求定义语言特性。基于.NET平台的动态语言特性，采用动态编译技术实现了download、merge等用于数据采集的语言关键字，将繁琐的数据下载、合并、建索引、验证等操作由系统提供的函数库完成，为用户提供声明式编程的便利。
由于数据库平台的差异，一些数据处理中常用的，如清空数据表、删除数据表、数据表改名、判断表或索引是否存在等操作，均有语法上的不同。脚本语言中提供了统一的函数来屏蔽这些差异，提高了脚本在不同数据库之间的可移植性。
本发明实施例还提出一种分布式数据分析和处理系统，该系统包括数据库主机，脚本服务器和多个负载分担服务器；
所述脚本服务器用于接收来自负载分担服务器的获取可执行对象脚本的请求，判断是否找到可执行对象脚本，若未找到，从数据库主机读取脚本源代码，编译所述脚本源代码得到可执行对象脚本；
所述负载分担服务器用于从负载分担服务器获取到可执行对象脚本，调用脚本对象的入口方法，执行可执行对象脚本所定义的数据采集、清理、统计、分析、处理类功能代码；并将将执行所述可执行对象脚本的处理结果通过远程数据库连接回送到数据库主机。
较佳地，所述脚本服务器上的可执行对象脚本保存在脚本服务器的高速缓存中。
较佳地，所述脚本源代码采用与数据库类型无关的采集、统计、分析、处理类脚本源代码语言生成。
较佳地，所述脚本服务器进一步用于：对可执行对象脚本的调度、分发、执行和结果汇总状态进行详细的跟踪和记录，并对异常情况进行处理。
较佳地，所述脚本服务器进一步包括：
拆分编译模块，用于根据配置的具体调度执行策略对脚本源代码进行拆分后编译，生成多条可执行对象子脚本；
分组模块，用于将具备并行处理条件的可执行对象子脚本分组，生成任务执行组；
调度模块，用于将不同的任务执行组调度到不同的负载分担服务器。
较佳地，所述调度模块进一步用于根据负载分担服务器的空闲时间段配置情况，在计算资源空闲时把任务执行组调度指定的负载分担服务器执行。
采用分布式处理方法能有效地分担主数据库的负载。采用本发明的分布式酬金结算系统，以一个地市为例，每个月采集的数据量加上执行统计口径所需数据库存储空间约100GB，而结果数据不超过100MB。每个月执行统计口径时间为2到4个小时，结果数据的回送时间不超过5分钟。相对于整个分布式处理所带来的资源节省，回送数据的开销几乎可以忽略不计。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (13)

1.一种分布式数据分析和处理方法，其特征在于，包括如下步骤：
A、负载分担服务器向脚本服务器发送获取可执行对象脚本的请求，脚本服务器判断是否找到可执行对象脚本，若是执行步骤C；否则执行步骤B；
B、脚本服务器从数据库主机读取脚本源代码，编译所述脚本源代码得到可执行对象脚本；
C、负载分担服务器从负载分担服务器获取到可执行对象脚本，负载分担服务器调用脚本对象的入口方法，执行可执行对象脚本所定义的数据采集、清理、统计、分析、处理类功能代码；
D、负载分担服务器将执行所述可执行对象脚本的处理结果通过远程数据库连接回送到数据库主机。
2.根据权利要求1所述的方法，其特征在于，步骤B所述编译脚本源代码得到可执行对象脚本进一步包括：将所得到的可执行对象脚本加入脚本服务器的高速缓存中。
3.根据权利要求1所述的方法，其特征在于，所述脚本源代码采用与数据库类型无关的采集、统计、分析、处理类脚本源代码语言生成。
4.根据权利要求2所述的方法，其特征在于，步骤A所述负载分担服务器从脚本服务器获取可执行对象脚本为：负载分担服务器从脚本服务器的高速缓存中获取可执行对象脚本。
5.根据权利要求1所述的方法，其特征在于，该方法进一步包括：脚本服务器对可执行对象脚本的调度、分发、执行和结果汇总状态进行详细的跟踪和记录，并对异常情况进行处理。
6.根据权利要求1所述的方法，其特征在于，步骤B所述编译所述脚本源代码得到可执行对象脚本包括：脚本服务器根据配置的具体调度执行策略对脚本源代码进行拆分后编译，生成多条可执行对象子脚本，把具备并行处理条件的可执行对象子脚本分组，生成任务执行组；并将不同的任务执行组调度到不同的负载分担服务器。
7.根据权利要求6所述的方法，其特征在于，所述不同的任务执行组调度到不同的负载分担服务器包括：
脚本服务器根据负载分担服务器的空闲时间段配置情况，在计算资源空闲时把任务执行组调度指定的负载分担服务器执行。
8.一种分布式数据分析和处理系统，其特征在于，该系统包括数据库主机，脚本服务器和多个负载分担服务器；
所述脚本服务器用于接收来自负载分担服务器的获取可执行对象脚本的请求，判断是否找到可执行对象脚本，若未找到，从数据库主机读取脚本源代码，编译所述脚本源代码得到可执行对象脚本；
所述负载分担服务器用于从负载分担服务器获取到可执行对象脚本，调用脚本对象的入口方法，执行可执行对象脚本所定义的数据采集、清理、统计、分析、处理类功能代码；并将将执行所述可执行对象脚本的处理结果通过远程数据库连接回送到数据库主机。
9.根据权利要求8所述的系统，其特征在于，所述脚本服务器上的可执行对象脚本保存在脚本服务器的高速缓存中。
10.根据权利要求8所述的系统，其特征在于，所述脚本源代码采用与数据库类型无关的采集、统计、分析、处理类脚本源代码语言生成。
11.根据权利要求8所述的系统，其特征在于，所述脚本服务器进一步用于：对可执行对象脚本的调度、分发、执行和结果汇总状态进行详细的跟踪和记录，并对异常情况进行处理。
12.根据权利要求8所述的系统，其特征在于，所述脚本服务器进一步包括：
拆分编译模块，用于根据配置的具体调度执行策略对脚本源代码进行拆分后编译，生成多条可执行对象子脚本；
分组模块，用于将具备并行处理条件的可执行对象子脚本分组，生成任务执行组；
调度模块，用于将不同的任务执行组调度到不同的负载分担服务器。
13.根据权利要求12所述的系统，其特征在于，所述调度模块进一步用于根据负载分担服务器的空闲时间段配置情况，在计算资源空闲时把任务执行组调度指定的负载分担服务器执行。
CN201010568392.3A 2010-11-26 2010-11-26 一种分布式数据分析和处理方法及系统 Active CN102479225B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201010568392.3A CN102479225B (zh) 2010-11-26 2010-11-26 一种分布式数据分析和处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010568392.3A CN102479225B (zh) 2010-11-26 2010-11-26 一种分布式数据分析和处理方法及系统

Publications (2)

Publication Number Publication Date
CN102479225A true CN102479225A (zh) 2012-05-30
CN102479225B CN102479225B (zh) 2014-05-07

Family

ID=46091873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010568392.3A Active CN102479225B (zh) 2010-11-26 2010-11-26 一种分布式数据分析和处理方法及系统

Country Status (1)

Country Link
CN (1) CN102479225B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103677752A (zh) * 2012-09-19 2014-03-26 腾讯科技（深圳）有限公司 基于分布式数据的并发处理方法和系统
CN103678425A (zh) * 2012-09-26 2014-03-26 Sap股份公司 多系统的集成分析
CN104750469A (zh) * 2013-12-30 2015-07-01 中国银联股份有限公司 源代码统计分析方法和系统
CN105760207A (zh) * 2016-03-14 2016-07-13 青岛海信移动通信技术股份有限公司 一种基于云计算平台的编译方法、装置及系统
CN106021492A (zh) * 2016-05-20 2016-10-12 浪潮软件集团有限公司 一种对表格数据进行转存的方法及装置
CN106156115A (zh) * 2015-04-07 2016-11-23 中国移动通信集团云南有限公司 一种资源调度方法及装置
CN106250199A (zh) * 2016-07-26 2016-12-21 北京北森云计算股份有限公司 一种多语言云编译的动态微服务调用方法及装置
CN106293941A (zh) * 2016-08-09 2017-01-04 上海新炬网络信息技术有限公司 一种数据库系统资源的分配方法
CN107368500A (zh) * 2016-05-13 2017-11-21 北京京东尚科信息技术有限公司 数据抽取方法及系统
CN107872351A (zh) * 2017-11-23 2018-04-03 苏州优圣美智能系统有限公司 一种数据采集系统及采集方法
CN108268546A (zh) * 2016-12-30 2018-07-10 中国移动通信集团黑龙江有限公司 一种优化数据库的方法及装置
CN109388405A (zh) * 2018-10-25 2019-02-26 北京大米未来科技有限公司 一种任务处理方法、装置、电子设备及介质
CN109492017A (zh) * 2018-09-18 2019-03-19 平安科技（深圳）有限公司 业务信息查询处理方法、系统、计算机设备和存储介质
WO2022047635A1 (zh) * 2020-09-01 2022-03-10 苏州铭冠软件科技有限公司 一种轨道交通网络系统ip地址复用方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1399209A (zh) * 2001-07-20 2003-02-26 华为技术有限公司 一种并行处理分布式数据库的方法和装置
CN1835453A (zh) * 2005-03-16 2006-09-20 华为技术有限公司 一种实现分布式系统中负载分担的方法
US20070174292A1 (en) * 2006-01-26 2007-07-26 Wen-Syan Li Autonomic recommendation and placement of materialized query tables for load distribution
US20070203910A1 (en) * 2006-02-13 2007-08-30 Xkoto Inc. Method and System for Load Balancing a Distributed Database
CN101093454A (zh) * 2007-08-14 2007-12-26 金蝶软件（中国）有限公司 一种在分布式系统中执行sql脚本文件的方法和装置
CN101371238A (zh) * 2005-03-24 2009-02-18 阿卡迈技术有限公司 按需分布式计算系统
CN101499095A (zh) * 2009-03-11 2009-08-05 南京联创科技股份有限公司 用于数据共享平台的构建缓冲的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1399209A (zh) * 2001-07-20 2003-02-26 华为技术有限公司 一种并行处理分布式数据库的方法和装置
CN1835453A (zh) * 2005-03-16 2006-09-20 华为技术有限公司 一种实现分布式系统中负载分担的方法
CN101371238A (zh) * 2005-03-24 2009-02-18 阿卡迈技术有限公司 按需分布式计算系统
US20070174292A1 (en) * 2006-01-26 2007-07-26 Wen-Syan Li Autonomic recommendation and placement of materialized query tables for load distribution
US20070203910A1 (en) * 2006-02-13 2007-08-30 Xkoto Inc. Method and System for Load Balancing a Distributed Database
CN101093454A (zh) * 2007-08-14 2007-12-26 金蝶软件（中国）有限公司 一种在分布式系统中执行sql脚本文件的方法和装置
CN101499095A (zh) * 2009-03-11 2009-08-05 南京联创科技股份有限公司 用于数据共享平台的构建缓冲的方法

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103677752B (zh) * 2012-09-19 2017-02-08 腾讯科技（深圳）有限公司 基于分布式数据的并发处理方法和系统
CN103677752A (zh) * 2012-09-19 2014-03-26 腾讯科技（深圳）有限公司 基于分布式数据的并发处理方法和系统
CN103678425A (zh) * 2012-09-26 2014-03-26 Sap股份公司 多系统的集成分析
CN103678425B (zh) * 2012-09-26 2019-03-15 Sap欧洲公司 多系统的集成分析
CN104750469A (zh) * 2013-12-30 2015-07-01 中国银联股份有限公司 源代码统计分析方法和系统
CN104750469B (zh) * 2013-12-30 2018-01-02 中国银联股份有限公司 源代码统计分析方法和系统
CN106156115A (zh) * 2015-04-07 2016-11-23 中国移动通信集团云南有限公司 一种资源调度方法及装置
CN106156115B (zh) * 2015-04-07 2019-09-27 中国移动通信集团云南有限公司 一种资源调度方法及装置
CN105760207A (zh) * 2016-03-14 2016-07-13 青岛海信移动通信技术股份有限公司 一种基于云计算平台的编译方法、装置及系统
CN107368500A (zh) * 2016-05-13 2017-11-21 北京京东尚科信息技术有限公司 数据抽取方法及系统
CN106021492A (zh) * 2016-05-20 2016-10-12 浪潮软件集团有限公司 一种对表格数据进行转存的方法及装置
CN106250199B (zh) * 2016-07-26 2019-06-21 北京北森云计算股份有限公司 一种多语言云编译的动态微服务调用方法及装置
CN106250199A (zh) * 2016-07-26 2016-12-21 北京北森云计算股份有限公司 一种多语言云编译的动态微服务调用方法及装置
CN106293941A (zh) * 2016-08-09 2017-01-04 上海新炬网络信息技术有限公司 一种数据库系统资源的分配方法
CN108268546A (zh) * 2016-12-30 2018-07-10 中国移动通信集团黑龙江有限公司 一种优化数据库的方法及装置
CN108268546B (zh) * 2016-12-30 2022-05-10 中国移动通信集团黑龙江有限公司 一种优化数据库的方法及装置
CN107872351A (zh) * 2017-11-23 2018-04-03 苏州优圣美智能系统有限公司 一种数据采集系统及采集方法
CN107872351B (zh) * 2017-11-23 2021-09-17 苏州优圣美智能系统有限公司 一种数据采集系统及采集方法
CN109492017A (zh) * 2018-09-18 2019-03-19 平安科技（深圳）有限公司 业务信息查询处理方法、系统、计算机设备和存储介质
CN109492017B (zh) * 2018-09-18 2024-01-12 平安科技（深圳）有限公司 业务信息查询处理方法、系统、计算机设备和存储介质
CN109388405A (zh) * 2018-10-25 2019-02-26 北京大米未来科技有限公司 一种任务处理方法、装置、电子设备及介质
WO2022047635A1 (zh) * 2020-09-01 2022-03-10 苏州铭冠软件科技有限公司 一种轨道交通网络系统ip地址复用方法

Also Published As

Publication number Publication date
CN102479225B (zh) 2014-05-07

Similar Documents

Publication Publication Date Title
CN102479225B (zh) 一种分布式数据分析和处理方法及系统
Sethi et al. Presto: SQL on everything
Jia et al. A distributed multi-gpu system for fast graph processing
US10437573B2 (en) General purpose distributed data parallel computing using a high level language
Zhou et al. SCOPE: parallel databases meet MapReduce
He et al. Comet: batched stream processing for data intensive distributed computing
CN100451989C (zh) 软件测试系统及测试方法
CN101183371B (zh) 一种快速完成大数据处理的方法和报表系统
Bajaber et al. Big data 2.0 processing systems: Taxonomy and open challenges
CN103631870B (zh) 一种用于大规模分布式数据处理的系统及其方法
CN102663114A (zh) 面向并发olap的数据库查询处理方法
CN107103064B (zh) 数据统计方法及装置
US20120078975A1 (en) Data processing system and method
CN104620239A (zh) 自适应查询优化
CN102799622A (zh) 基于MapReduce扩展框架的分布式SQL查询方法
CN104778188A (zh) 一种分布式设备日志采集方法
WO2003071447A2 (en) Adaptive acceleration of retrieval queries
CN102193811B (zh) 消除内存访问冲突的编译装置及其实现方法
CN102508709A (zh) 购供售一体化电能量采集与监控系统中基于分布式缓存的采集任务调度方法
CN101593203A (zh) 带有前处理和后处理的数据库复合查询系统及方法
JP2014525640A (ja) 並列処理開発環境の拡張
CN101944113B (zh) 一种基于云计算系统的智能数据采集系统
CN102483700A (zh) 基于动态二进制重写器架构的轻量级服务
CN108509453B (zh) 一种信息处理方法及装置
CN104424018A (zh) 分布式计算事务处理方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant