CN105808361B - 一种并行数据处理方法及系统 - Google Patents

一种并行数据处理方法及系统 Download PDF

Info

Publication number
CN105808361B
CN105808361B CN201610118727.9A CN201610118727A CN105808361B CN 105808361 B CN105808361 B CN 105808361B CN 201610118727 A CN201610118727 A CN 201610118727A CN 105808361 B CN105808361 B CN 105808361B
Authority
CN
China
Prior art keywords
data
mps
preset
receiving end
transmitting terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610118727.9A
Other languages
English (en)
Other versions
CN105808361A (zh
Inventor
朱喻
孟永吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Eoe Data Technology Co Ltd
Original Assignee
Dalian Eoe Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Eoe Data Technology Co Ltd filed Critical Dalian Eoe Data Technology Co Ltd
Publication of CN105808361A publication Critical patent/CN105808361A/zh
Application granted granted Critical
Publication of CN105808361B publication Critical patent/CN105808361B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/543—User-generated data transfer, e.g. clipboards, dynamic data exchange [DDE], object linking and embedding [OLE]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application

Abstract

本发明实施例涉及数据处理技术领域，提供了一种并行数据处理方法及系统，该方法包括：发送端根据预设条件对待处理数据进行划分，得到多个数据块；发送端对每一数据块进行MPS编码，得到MPS数据包；发送端将编码后的多个MPS数据包通过并行的多个信道发送到接收端；接收端根据预设数据结构解析每一MPS数据包，得到每一MPS数据包对应的结构化数据。本发明提供的并行数据处理方法及系统可以实现海量的业务数据的快速、准确的传输和处理，提升业务的作业效率。

Description

一种并行数据处理方法及系统
技术领域
本发明涉及数据处理技术领域，尤其涉及一种并行数据处理方法及系统。
背景技术
随着信息化社会的飞速发展，人类对信息处理能力的要求越来越高，不仅石油勘探、气象预报、航天国防、科学研究等需求高性能计算机，而且金融、政府信息化、教育、企业、网络游戏等更广泛的领域对高性能数据处理的需求迅猛增长。
但是，现有的数据处理方法在具体应用中，对海量的业务数据进行数据处理的速度和效率很低，需要几个小时甚至更多。因此，如何提供一种可以根据用户的需求，快速、准确地实现海量业务数据处理方法是目前业界亟待解决的需要课题。
发明内容
鉴于上述问题，本发明提出了一种并行数据处理方法及系统，实现了海量业务数据的快速、准确的传输和处理，提升业务的作业效率。
本发明实施例提供了一种并行数据处理方法，该方法包括：
发送端根据预设条件对待处理数据进行划分，得到多个数据块；
发送端对每一数据块进行MPS编码，得到MPS数据包；
发送端将编码后的多个MPS数据包通过并行的多个信道发送到接收端；
接收端根据预设数据结构解析每一MPS数据包，得到每一MPS数据包对应的结构化数据。
可选地，所述发送端根据预设条件对待处理数据进行划分之前，所述方法还包括：
发送端根据预设数据模型对所述待处理数据进行数据优化。
可选地，所述预设数据结构为树形计算数据结构；
相应地，所述接收端根据预设数据结构解析每一MPS数据包，进一步包括：
根据数据内容将数据从每一MPS数据包中取出，并存放在对应的树形计算数据结构的相应节点上，得到每一MPS数据包对应的树。
可选地，所述MPS数据包中包括所述预设数据模型中目标函数和约束矩阵对应的第一MPS数据和所述预设数据模型中右边项和路径对应的第二MPS数据；
相应地，所述接收端根据预设数据结构解析每一MPS数据包，进一步包括：
根据数据内容将数据从第一MPS数据中取出，并存放在对应的树形计算数据结构的相应节点上；
根据数据内容将数据从第二MPS数据中取出，得到右边项数据和路径信息；
遍历所述树形计算数据结构，根据所述路径信息匹配所述右边项数据对应的节点，并将右边项数据存放在匹配的节点上。
可选地，所述方法还包括：
接收端将各个MPS数据包对应的结构化数据向并行的多个处理设备中每一处理设备发布。
可选地，所述方法还包括：
每一处理设备根据预设的任务分配信息从所述结构化数据中提取相应的结构化数据块，并对提取的结构化数据块进行处理。
可选地，所述方法还包括：
每一处理设备实时监测各个处理设备的忙闲状态，并根据各个处理设备的忙闲状态动态调度每一处理设备的任务。
本发明实施例提供了一种并行数据处理系统，该系统包括发送端和接收端；
发送端，用于根据预设条件对待处理数据进行划分，得到多个数据块，对每一数据块进行MPS编码，得到MPS数据包；
发送端，还用于将编码后的多个MPS数据包通过并行的多个信道发送到接收端；
接收端，用于根据预设数据结构解析每一MPS数据包，得到每一MPS数据包对应的结构化数据。
可选地，所述发送端，还用于在根据预设条件对待处理数据进行划分之前，根据预设数据模型对所述待处理数据进行数据优化，其中，所述预设数据结构为树形计算数据结构；
相应地，所述接收端，具体用于根据数据内容将数据从每一MPS数据包中取出，并存放在对应的树形计算数据结构的相应节点上，得到每一MPS数据包对应的树。
可选地，所述系统还包括并行的多个处理设备；
所述接收端，还用于将各个MPS数据包对应的结构化数据向并行的多个处理设备中每一处理设备发布；
每一处理设备，用于根据预设的任务分配信息从所述结构化数据中提取相应的结构化数据块，并对提取的结构化数据块进行处理。
本发明提供的并行数据处理方法及系统，发送端根据预设条件对待处理数据进行划分，得到多个数据块，并对每一数据块进行MPS编码，将编码后的多个MPS数据包通过并行的多个信道发送到接收端，以使接收端根据预设数据结构解析每一MPS数据包，得到每一MPS数据包对应的结构化数据，本发明通过在不同信道上传输的不同数据块，实现海量业务数据的并行传输，有效地提高了数据传输和处理的速度，提升业务的作业效率。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明一个实施例提出的并行数据处理方法的流程图；
图2为本发明实施例提出的根据优化模板为数据优化处理模型指定数据源的实现原理图；
图3为本发明实施例提出的树形计算数据结构的示意图；
图4为本发明实施例提出的数据优化处理系统中数据发布的实现原理图；
图5为本发明实施例多个计算节点的任务分配示意图；
图6为本发明实施例中提出的任务动态调度的第一示意图；
图7为本发明实施例中提出的任务动态调度的第二示意图；
图8为本发明一个实施例提出的并行数据处理系统的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
图1为本发明一个实施例提出的并行数据处理方法的流程图。
参照图1，本发明实施例提出的并行数据处理方法，具体包括以下步骤：
步骤S11、发送端根据预设条件对待处理数据进行划分，得到多个数据块。
步骤S12、发送端对每一数据块进行MPS编码，得到MPS数据包。
本步骤中，发送端将待处理数据进行划分得到的每一数据块进行MPS编码，生成MPS数据格式的数据块，得到MPS数据包。
其中，MPS数据格式为国际上通用的用于表达线性优化模型的模型数据存储格式与传输格式。其中，MPS数据格式中包括：1、文件名称；2、模型数据中变量的维度数，行的维度数；3、所有的行；4、某个变量在某行中的系数：根据模型数据库中运输路径表V-DATA_DETAIL生成；5、右边项：根据模型数据库中右边项表TB_RIGHTSIDE生成；6、结束标识。
步骤S13、发送端将编码后的多个MPS数据包通过并行的多个信道发送到接收端。
步骤S14、接收端根据预设数据结构解析每一MPS数据包，得到每一MPS数据包对应的结构化数据。
本发明实施例提供的并行数据处理方法，通过在不同信道上传输的不同数据块，实现海量业务数据的并行传输，有效地提高了数据传输和处理的速度，提升业务的作业效率。
在本发明的一个可选实施例中，所述步骤发送端根据预设条件对待处理数据进行划分之前，所述方法还包括以下步骤：发送端根据预设数据模型对所述待处理数据进行数据优化。
为了解决现有的人工数据标准化方式存在的工作耗时费力，而且不准确的问题，在本发明实施例中，所述方法还包括对所述待处理数据进行标准化处理的步骤。
需要说明的是，标准化处理，具体为对待处理业务数据中因来源多样化造成的不标准或不规范的数据进行标准化处理，包括标识符统一编码与统一命名等。在实际应用中，由于业务本身复杂、近似，基础表不准确、不全，业务表填写的五花八门或空值或填错，仅字面无法判断是新的业务对象或是基础表已有的某个对象。而且，数据来源多样，不同表、同一加油站的编码不同，同一表、同一加油站的编码也不同。无法根据编码来确定加油站名称，仅能依靠销售单位和不规范的名称进行比对，例如，抚顺石化有三个炼厂，抚顺石化公司石油二厂、石油三厂、储运厂，其实都是一个炼油厂。
在实际应用中，发送端通过根据预设数据模型设置数据优化模板，具体的，所述优化模板用于指定优化处理模型中每一个参数与模型数据库表格的对应关系。利用优化模板将待处理业务数据转换成模型数据，并保存在模型数据库中。
在一个具体实施例中，优化模板根据数据库中的数据，定义了数据的静态规模，例如，635个油库，78000多个加油站，80多个油品。但实际业务当中，参与优化的对象可能没有这么多。需要根据每日业务的真实需要，挑选不同的数据子集参与计算。模型数据库用于保存这样的数据子集。由于庞大的业务规模，即时这个子集的长度，也足以满足数据优化处理的需求。
本发明实施例，解决了待处理业务数据的存储形式无法与满足数据处理模型的存储要求的问题。
在一个具体示例中，预设数据模型由目标函数，约束矩阵和右边项三个部分组成，具体如下：
Max(C1X1+C2X2+…+CiXi)
A11X1+A12X2+…+A1iX2≥B1
A21X2+A22X2+…+A2iX2≤B2
……
……
Ai1Xi+Ai2X2+…+AiiXi≤Bi
其中，Max(C1X1+C2X2+…+CiXi)为目标函数，B1、B2…Bi为右边项，A11X1+A12X2+…+A1iX2、A21X2+A22X2+…+A2iX2…Ai1Xi+Ai2X2+…+AiiXi为约束矩阵。
根据优化模板为预设数据模型指定数据源的实现原理，如图2所示，以燃油的调度业务为例进行说明，最终得到的存储在模型数据库中的数据子集如表1所示：
表1模型数据库中的数据子集
油库 加油站 油品 区域 需求 运能 费率
1 1 92# 江苏 101 150 25
1 2 92# 江苏 208 250 25
1 3 92# 江苏 106 150 26
1 6 92# 江苏 118 150 26
2 2 柴油 江苏 120 150 23
2 3 柴油 江苏 125 150 22
2 4 柴油 江苏 190 150 22
在本发明的一个可选实施例中，所述预设数据结构为树形计算数据结构。在具体示例中，以燃油的调度业务为例进行说明，在不同信道上传输的不同数据块，具体的，在哪个信道上传输哪个数据块，可根据实际应用需求确定。燃油调度业务数据是根据不同的省份被切分成不同的MPS数据块向计算集群传输，每个传输信道都会产生一棵完整的树，但树中的数据仅仅是整个数据集合的一部分。对应的树形计算数据结构如图3所示。
进一步地，所述接收端根据预设数据结构解析每一MPS数据包，进一步包括：
根据数据内容将数据从每一MPS数据包中取出，并存放在对应的树形计算数据结构的相应节点上，得到每一MPS数据包对应的树。
具体的，所述MPS数据包中包括所述预设数据模型中目标函数和约束矩阵对应的第一MPS数据和所述预设数据模型中右边项和路径对应的第二MPS数据；
相应地，所述接收端根据预设数据结构解析每一MPS数据包，进一步包括：
根据数据内容将数据从第一MPS数据中取出，并存放在对应的树形计算数据结构的相应节点上；
根据数据内容将数据从第二MPS数据中取出，得到右边项数据和路径信息；
遍历所述树形计算数据结构，根据所述路径信息匹配所述右边项数据对应的节点，并将右边项数据存放在匹配的节点上。
由于MPS格式要求右边项单独存储与传输，因此产生了合并右边项与右边项行对齐的问题。为例解决上述技术问题，本发明实施例中，第一批传输的数据是目标函数和约束矩阵的相应数据，经过解析后已经形成了树形计算数据。第二批传输的数据是右边项数据。然后通过遍历整个计算数据树，找到约束矩阵的每一个数据块所对应的右边项向量，并根据路径匹配右边项的位置。
在具体实施例中，第一MPS数据的内容如表2所示，第二MPS数据的内容如表3所示：
表2第一MPS数据的内容
油库 加油站 油品 区域 需求 运能 费率
1 1 92# 江苏 101 150 25
1 2 92# 江苏 208 250 25
表3第二MPS数据的内容
右边项 路径
B1 江苏-加油站1-汽油-92#
B2 江苏-加油站1-油库1
B3 江苏-加油站1
B4 江苏-加油站2-汽油-92#
… …
在本发明的一个可选实施例中，所述方法还包括接收端将各个MPS数据包对应的结构化数据向并行的多个处理设备中每一处理设备发布的步骤。
本实施例中，右边项传输并完成存储后，每个传输信道的接收端保存了一棵完整的计算数据树，但树中的数据仅仅是整个数据集合的一部分。计算数据发布，是将计算数据从传输信道接收端，如图4所示，通过MPI的远地存储窗口，向所有处理设备发布，这是一个简单拷贝的过程。并行的多个处理设备中每一处理设备都将收到来自所接收端的计算数据树拷贝，处理设备就地将这些计算数据树整合成为完整的计算数据全集。
在一个具体示例中，所述处理设备可以为计算节点。
在本发明的一个可选实施例中，所述方法还包括：每一处理设备根据预设的任务分配信息从所述结构化数据中提取相应的结构化数据块，并对提取的结构化数据块进行处理。
在一个具体实施例中，每个处理设备上由人工指定了不同省份的任务排队处理，多个计算节点并行处理，如图5所示，这种任务划分称为静态划分。
需要说明的是，任务静态划分是在计算方案中完成的，根据预设的任务分配信息实现。计算方案是对并行计算任务及其相关数据的描述。计算任务被分为串行任务S和并行任务P两类。每个任务都需要指定与任务关联的数据。其中，将关联数据与任务结合在一起的过程叫做装配。
在本发明的一个可选实施例中，所述方法还包括：每一处理设备实时监测各个处理设备的忙闲状态，并根据各个处理设备的忙闲状态动态调度每一处理设备的任务。
需要说明的是，任务的动态调度是在计算过程中根据处理设备的忙闲状态由调度线程自动完成的。
本发明实施例中，每个处理设备都保存数据全集，以方便任务动态调度时，任何一个任务调度到任何一个处理设备上，都可以找到关联的数据。
在一个具体示例中，如图6-7所示，P4处理设备的任务已经完成，P1处理设备上的任务还在排队等待处理，则辽宁省数据被从P1处理设备调度到P4处理设备上，P4处理设备上的数据进行了重新装配。
图8为本发明一个实施例提出的并行数据处理系统的结构示意图。
参照图8，本发明实施例提供的并行数据处理系统，包括发送端100和接收端200，其中：
所述发送端100，用于根据预设条件对待处理数据进行划分，得到多个数据块，对每一数据块进行MPS编码，得到MPS数据包；
所述发送端100，还用于将编码后的多个MPS数据包通过并行的多个信道发送到接收端；
所述接收端200，用于根据预设数据结构解析每一MPS数据包，得到每一MPS数据包对应的结构化数据。
在本发明的一个可选实施例中，所述发送端100，还用于在根据预设条件对待处理数据进行划分之前，根据预设数据模型对所述待处理数据进行数据优化，其中，所述预设数据结构为树形计算数据结构；
相应地，所述接收端200，具体用于根据数据内容将数据从每一MPS数据包中取出，并存放在对应的树形计算数据结构的相应节点上，得到每一MPS数据包对应的树。
在本发明的一个可选实施例中，所述系统还包括附图中未示出的并行的多个处理设备；
所述接收端200，还用于将各个MPS数据包对应的结构化数据向并行的多个处理设备中每一处理设备发布；
每一处理设备，用于根据预设的任务分配信息从所述结构化数据中提取相应的结构化数据块，并对提取的结构化数据块进行处理。
综上所述，本发明实施例提供的并行数据处理方法及系统，发送端根据预设条件对待处理数据进行划分，得到多个数据块，并对每一数据块进行MPS编码，将编码后的多个MPS数据包通过并行的多个信道发送到接收端，以使接收端根据预设数据结构解析每一MPS数据包，得到每一MPS数据包对应的结构化数据，本发明通过在不同信道上传输的不同数据块，实现海量业务数据的并行传输，有效地提高了数据传输和处理的速度，提升业务的作业效率。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
本领域技术人员可以理解附图只是一个优选实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的单元可以合并为一个单元，也可以进一步拆分成多个子模块。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种并行数据处理方法，其特征在于，该方法包括：
发送端根据预设条件对待处理数据进行划分，得到多个数据块；
发送端对每一数据块进行MPS编码，生成MPS数据格式的数据块，得到MPS数据包；
发送端将编码后的多个MPS数据包通过并行的多个信道发送到接收端；
接收端根据预设数据结构解析每一MPS数据包，得到每一MPS数据包对应的结构化数据；
其中，所述MPS数据格式为用于表达线性优化模型的模型数据存储格式与传输格式。
2.根据权利要求1所述的方法，其特征在于，所述发送端根据预设条件对待处理数据进行划分之前，所述方法还包括：
发送端根据预设数据模型对所述待处理数据进行数据优化。
3.根据权利要求2所述的方法，其特征在于，所述预设数据结构为树形计算数据结构；
相应地，所述接收端根据预设数据结构解析每一MPS数据包，进一步包括：
根据数据内容将数据从每一MPS数据包中取出，并存放在对应的树形计算数据结构的相应节点上，得到每一MPS数据包对应的树。
4.根据权利要求3所述的方法，其特征在于，所述MPS数据包中包括所述预设数据模型中目标函数和约束矩阵对应的第一MPS数据和所述预设数据模型中右边项和路径对应的第二MPS数据；
相应地，所述接收端根据预设数据结构解析每一MPS数据包，进一步包括：
根据数据内容将数据从第一MPS数据中取出，并存放在对应的树形计算数据结构的相应节点上；
根据数据内容将数据从第二MPS数据中取出，得到右边项数据和路径信息；
遍历所述树形计算数据结构，根据所述路径信息匹配所述右边项数据对应的节点，并将右边项数据存放在匹配的节点上。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：
接收端将各个MPS数据包对应的结构化数据向并行的多个处理设备中每一处理设备发布。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
每一处理设备根据预设的任务分配信息从所述结构化数据中提取相应的结构化数据块，并对提取的结构化数据块进行处理。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
每一处理设备实时监测各个处理设备的忙闲状态，并根据各个处理设备的忙闲状态动态调度每一处理设备的任务。
8.一种并行数据处理系统，其特征在于，该系统包括发送端和接收端；
发送端，用于根据预设条件对待处理数据进行划分，得到多个数据块，对每一数据块进行MPS编码，生成MPS数据格式的数据块，得到MPS数据包；
发送端，还用于将编码后的多个MPS数据包通过并行的多个信道发送到接收端；
接收端，用于根据预设数据结构解析每一MPS数据包，得到每一MPS数据包对应的结构化数据；
其中，所述MPS数据格式为用于表达线性优化模型的模型数据存储格式与传输格式。
9.根据权利要求8所述的系统，其特征在于，所述发送端，还用于在根据预设条件对待处理数据进行划分之前，根据预设数据模型对所述待处理数据进行数据优化，其中，所述预设数据结构为树形计算数据结构；
相应地，所述接收端，具体用于根据数据内容将数据从每一MPS数据包中取出，并存放在对应的树形计算数据结构的相应节点上，得到每一MPS数据包对应的树。
10.根据权利要求8或9所述的系统，其特征在于，所述系统还包括并行的多个处理设备；
所述接收端，还用于将各个MPS数据包对应的结构化数据向并行的多个处理设备中每一处理设备发布；
每一处理设备，用于根据预设的任务分配信息从所述结构化数据中提取相应的结构化数据块，并对提取的结构化数据块进行处理。
CN201610118727.9A 2016-01-20 2016-03-01 一种并行数据处理方法及系统 Active CN105808361B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2016100390798 2016-01-20
CN201610039079 2016-01-20

Publications (2)

Publication Number Publication Date
CN105808361A CN105808361A (zh) 2016-07-27
CN105808361B true CN105808361B (zh) 2019-01-29

Family

ID=56386789

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610115318.3A Active CN105787597B (zh) 2016-01-20 2016-03-01 一种数据优化处理系统
CN201610118727.9A Active CN105808361B (zh) 2016-01-20 2016-03-01 一种并行数据处理方法及系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201610115318.3A Active CN105787597B (zh) 2016-01-20 2016-03-01 一种数据优化处理系统

Country Status (1)

Country Link
CN (2) CN105787597B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106444760A (zh) * 2016-10-14 2017-02-22 郑宏伟 一种水面无人驾驶航行器解密及数据处理系统
CN108573366B (zh) * 2017-03-09 2021-09-17 派衍信息科技(苏州)有限公司 一种nav模拟计算处理系统
CN114024959A (zh) * 2020-12-14 2022-02-08 北京八分量信息科技有限公司 一种通过优化节点通讯来实现快速验证的方法
CN113115037B (zh) * 2021-06-15 2021-09-14 深圳市中鹏教育科技股份有限公司 一种在线教育方法、系统、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101969402A (zh) * 2010-10-18 2011-02-09 浪潮集团山东通用软件有限公司 基于并行处理的数据交换方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1834235A1 (en) * 2004-12-30 2007-09-19 Koninklijke Philips Electronics N.V. Data-processing arrangement
US8542727B2 (en) * 2007-12-31 2013-09-24 Intel Corporation Systems and apparatuses for performing CABAC parallel encoding and decoding
CN102402554A (zh) * 2010-09-19 2012-04-04 百度在线网络技术（北京）有限公司 一种用于推广账户数据优化的方法与设备
CN102055795A (zh) * 2010-11-04 2011-05-11 天津曙光计算机产业有限公司 一种分布式文件系统元数据管理方法
US8666149B2 (en) * 2012-08-01 2014-03-04 Chevron U.S.A. Inc. Method for editing a multi-point facies simulation
US9121971B2 (en) * 2012-08-01 2015-09-01 Chevron U.S.A. Inc. Hybrid method of combining multipoint statistic and object-based methods for creating reservoir property models
CN103440244A (zh) * 2013-07-12 2013-12-11 广东电子工业研究院有限公司 一种大数据存储优化方法
CN104635682B (zh) * 2014-12-24 2015-10-21 西安交通大学 一种物联网嵌入式mps测控方法及网络系统装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101969402A (zh) * 2010-10-18 2011-02-09 浪潮集团山东通用软件有限公司 基于并行处理的数据交换方法

Also Published As

Publication number Publication date
CN105787597A (zh) 2016-07-20
CN105808361A (zh) 2016-07-27
CN105787597B (zh) 2019-12-06

Similar Documents

Publication Publication Date Title
US10698891B2 (en) MxN dispatching in large scale distributed system
CN107145586B (zh) 一种基于电力营销数据的标签产出方法和装置
CN105808361B (zh) 一种并行数据处理方法及系统
Yang et al. A system architecture for manufacturing process analysis based on big data and process mining techniques
CN107515878B (zh) 一种数据索引的管理方法及装置
CN104317789B (zh) 构建乘客社交网络的方法
US10565022B2 (en) Systems for parallel processing of datasets with dynamic skew compensation
US10331156B2 (en) System and method for big data geographic information system discovery
CN104317928A (zh) 一种基于分布式数据库的业务etl方法及系统
CN106126601A (zh) 一种社保大数据分布式预处理方法及系统
CN104935658A (zh) 一种银行任务分配方法及装置
CN105677763A (zh) 一种基于Hadoop的图像质量评估系统
CN110390607A (zh) 基于科目指标体系的目标成本测算方法、系统和计算机可读存储介质
CN105786941B (zh) 一种信息挖掘方法和装置
CN111784047A (zh) 一种季节因子的计算方法及相关装置
CN105308579B (zh) 系列数据并行分析基础设施及其并行分散处理方法
CN104834730A (zh) 数据分析系统和方法
CN110555448B (zh) 一种细分派件区域的方法和系统
CN103577583A (zh) 从大数据中高效计算用户数的方法
CN107679097B (zh) 一种分布式数据处理方法、系统和存储介质
US10699298B2 (en) Method and system for selecting a highest value digital content
CN110895591A (zh) 一种定位自提点的方法和装置
CN113010542A (zh) 业务数据处理方法、装置、计算机设备及存储介质
CN112100177A (zh) 数据存储方法、装置、计算机设备及存储介质
Adam et al. A big data prediction framework for weather forecast using MapReduce algorithm

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant