CN103488699A - 基于内存数据网格的数据处理装置和方法 - Google Patents

基于内存数据网格的数据处理装置和方法 Download PDF

Info

Publication number
CN103488699A
CN103488699A CN201310397217.6A CN201310397217A CN103488699A CN 103488699 A CN103488699 A CN 103488699A CN 201310397217 A CN201310397217 A CN 201310397217A CN 103488699 A CN103488699 A CN 103488699A
Authority
CN
China
Prior art keywords
data
grid
result
internal storage
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310397217.6A
Other languages
English (en)
Inventor
王海文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yonyou Software Co Ltd
Original Assignee
Yonyou Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yonyou Software Co Ltd filed Critical Yonyou Software Co Ltd
Priority to CN201310397217.6A priority Critical patent/CN103488699A/zh
Publication of CN103488699A publication Critical patent/CN103488699A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G06F16/986—Document structures and storage, e.g. HTML extensions

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于内存数据网格的数据处理装置和一种基于内存数据网格的数据处理方法，其中，所述装置包括：数据加载模块，用于将数据库中待处理的数据加载至内存数据网格中；数据划分模块，用于将加载至内存数据网格中的数据按照数据之间的关联性划分为至少一个数据集合；数据处理模块，用于将每个数据集合分别交由内存数据网格中的不同网格节点进行处理，并将每个数据集合的处理结果返回至所述数据库。通过本发明的技术方案，可以将加载至内存数据网格中待处理的数据分为多个数据集合，以便于内存数据网格中的不同网络节点分别进行处理，从而提高了数据处理的效率，同时减小了单个处理器进行处理的负载压力，缩减了数据处理的响应时间。

Description

基于内存数据网格的数据处理装置和方法
技术领域
本发明涉及计算机技术领域，具体而言，涉及一种基于内存数据网格的数据处理装置和一种基于内存数据网格的数据处理方法。
背景技术
内存数据网格（IMDG）是一种面向广域网上内存资源共享的新型网格系统。它的主要目标是在物理内存不足的情况下，提高内存密集型应用或IO密集型应用的系统性能。内存数据网格被视为处理迅速、多样和大数据量的大数据的一种方式。将数据存储到内存中，并使其分布到多个服务器上，该方法的目的是更容易获取数据、改进其可扩展性和更好地进行数据分析。
集团ERP（Enterprise Resource Planning，企业资源计划）系统具有数据量巨大，处理过程复杂耗时的特点。系统的数据量一般能够达到几十个G，甚至达到T的量级。同时由于ERP系统中有许多核心的算法，逻辑都相当复杂，涉及到的数据量巨大，因此计算耗时较长，传统的软件算法结构出现操作响应时间长，服务器负载压力大，瓶颈资源争用、网络传输压力巨大等问题。
目前，相关技术中并没有有效的技术方案来解决集团ERP系统中遇到的上述技术问题。
发明内容
本发明正是基于上述技术问题至少之一，提出了一种基于内存数据网格的数据处理方案，可以将加载至内存数据网格中待处理的大量数据分为多个小的数据集合，以便于内存数据网格中的不同网络节点分别进行处理，从而提高了数据处理的效率，同时减小了单个处理器进行处理的负载压力，缩减了数据处理的响应时间。
有鉴于此，本发明提出了一种基于内存数据网格的数据处理装置，包括：数据加载模块，用于将数据库中待处理的数据加载至内存数据网格中；数据划分模块，用于将加载至所述内存数据网格中的数据按照数据之间的关联性划分为至少一个数据集合；数据处理模块，用于将所述至少一个数据集合中的每个数据集合分别交由所述内存数据网格中的不同网格节点进行处理，并将所述每个数据集合的处理结果返回至所述数据库。
在该技术方案中，通过将数据库中待处理的数据加载至内存数据网格中，使得待处理的数据能够在数据处理之前一次性地全部加载至内存数据网格中，避免了在进行计算时，再分批地从数据库中加载数据到内存数据网格中导致的网络延时，减少了数据计算等待的时间，确保了计算过程的实时性。
通过将加载至内存数据网格中的数据按照数据之间的关联性分为至少一个数据集合，并将每个数据集合交由内存数据网格中的不同网格节点进行处理，可以将加载至内存数据网格中待处理的大量数据分为多个小的数据集合，以便于内存数据网格中的不同网络节点分别进行处理，由于多个小的数据集合在内存数据网格中的不同网络节点是并行处理的，因此加快了数据处理的速度，同时由于将待处理的大量数据分为多个小的数据集合分别进行处理，减小了单个处理器进行处理的负载压力，缩减了数据处理的响应时间。比如，在MRP（Material Requirement planning，物料需求计划）系统中，可以将其中一层的物料分为多个批次，以一个批次为一个计算单元交由不同的网格节点进行处理，由于网格节点之间是并行处理的，因此提高了数据处理的效率。
在上述技术方案中，优选地，所述数据处理模块还包括：结果合并模块，用于在所述每个数据集合都被处理完成之后，将所述每个数据集合的处理结果进行合并；所述数据处理模块，还用于将所述数据的处理结果返回至所述数据库。
在该技术方案中，由于从数据库中加载数据时，是将待处理的数据一次性加载至内存数据网格中的，因此通过在每个数据集合都处理完成之后，将每个数据集合的处理结果进行合并，并将合并后的处理结果返回至数据库，使得返回至数据库中的处理结果是加载至内存数据网格中待处理数据整体的处理结果，避免了将多个小的数据集合的处理结果分别返回至数据库中而造成数据结果的分散性，同时，由于将合并后的处理结果返回至数据库，减少了对数据库的访问次数，降低了数据库的访问压力。
在上述技术方案中，优选地，所述数据处理模块还包括：监测模块，用于对所述每个数据集合的处理过程进行监测；所述结果合并模块，还用于在所述监测模块监测到所述每个数据集合都被处理完成之后，将所述每个数据结合的处理结果进行合并。
在该技术方案中，由于网格节点的处理能力和处理速度可能不同，和/或不同数据集合中的数据量不同，因此每个网格节点对每个数据集合的处理时间可能不同，因此会出现有些数据集合已经完成处理，但是有些数据集合正在处理的情况，如果盲目地将数据集合处理的结果进行合并，可能合并后的处理结果并不包含其中一个或多个数据集合的处理结果，将会导致数据处理结果的不完整性，另一方面，可能多个数据集合都已完成处理，但是系统仍处于等待合并处理结果的状态。因此通过对每个数据集合的处理过程进行监测，能够确保及时得到所有数据集合处理完成的消息，并在获知所有的数据集合都处理完成之后将每个数据集合的处理结果进行合并，提高了对处理结果合并时机的准确性，优化了系统的性能。
在上述技术方案中，优选地，所述数据处理模块还包括：持久化处理模块，用于对所述处理结果进行持久化处理；所述数据处理模块，还用于将经过所述持久化处理模块处理后的所述处理结果返回至所述数据库。
在该技术方案中，数据持久化是将内存中的数据模块转换为存储模型的过程，通过对处理结果进行持久化处理，使得数据对应的程序代码重用性强，并且可以提高程序代码的可读性，同时数据持久化可以对系统进行自动优化，减少对数据库的访问量，从而可以提高系统运行的效率。
在上述技术方案中，优选地，所述待处理的数据包括：企业资源计划系统中的数据。
在该技术方案中，由于企业资源计划（ERP）系统中的数据量巨大，处理过程复杂耗时，而通过将ERP系统中的数据划分为多个小的数据集合交由内存数据网格中的不同的网格节点分别进行处理，能够确保ERP系统在大数据量、高并发、低速网络的条件下，实现最短的响应时间和稳定的吞吐率。
根据本发明的另一方面，还提出了一种基于内存数据网格的数据处理方法，包括：步骤202，将数据库中待处理的数据加载至内存数据网格中；步骤204，将加载至所述内存数据网格中的数据按照数据之间的关联性划分为至少一个数据集合；步骤206，将所述至少一个数据集合中的每个数据集合分别交由所述内存数据网格中的不同网格节点进行处理，并将所述每个数据集合的处理结果返回至所述数据库。
在该技术方案中，通过将数据库中待处理的数据加载至内存数据网格中，使得待处理的数据能够在数据处理之前一次性地全部加载至内存数据网格中，避免了在进行计算时，再分批地从数据库中加载数据到内存数据网格中导致的网络延时，减少了数据计算等待的时间，确保了计算过程的实时性。
通过将加载至内存数据网格中的数据按照数据之间的关联性分为至少一个数据集合，并将每个数据集合交由内存数据网格中的不同网格节点进行处理，可以将加载至内存数据网格中待处理的大量数据分为多个小的数据集合，以便于内存数据网格中的不同网络节点分别进行处理，由于多个小的数据集合在内存数据网格中的不同网络节点是并行处理的，因此加快了数据处理的速度，同时由于将待处理的大量数据分为多个小的数据集合分别进行处理，减小了单个处理器进行处理的负载压力，缩减了数据处理的响应时间。比如，在MRP（Material Requirement planning，物料需求计划）系统中，可以将其中一层的物料分为多个批次，以一个批次为一个计算单元交由不同的网格节点进行处理，由于网格节点之间是并行处理的，因此提高了数据处理的效率。
在上述技术方案中，优选地，所述步骤206还包括：在所述每个数据集合都被处理完成之后，将所述每个数据集合的处理结果进行合并，得到所述数据的处理结果；将所述数据的处理结果返回至所述数据库。
在该技术方案中，由于从数据库中加载数据时，是将待处理的数据一次性加载至内存数据网格中的，因此通过在每个数据集合都处理完成之后，将每个数据集合的处理结果进行合并，并将合并后的处理结果返回至数据库，使得返回至数据库中的处理结果是加载至内存数据网格中待处理数据整体的处理结果，避免了将多个小的数据集合的处理结果分别返回至数据库中而造成数据结果的分散性，同时，由于将合并后的处理结果返回至数据库，减少了对数据库的访问次数，降低了数据库的访问压力。
在上述技术方案中，优选地，所述步骤206还包括：对所述每个数据集合的处理过程进行监测；当监测到所述每个数据集合都被处理完成之后，将所述每个数据集合的处理结果进行合并。
在该技术方案中，由于网格节点的处理能力和处理速度可能不同，和/或不同数据集合中的数据量不同，因此每个网格节点对每个数据集合的处理时间可能不同，因此会出现有些数据集合已经完成处理，但是有些数据集合正在处理的情况，如果盲目地将数据集合处理的结果进行合并，可能合并后的处理结果并不包含其中一个或多个数据集合的处理结果，将会导致数据处理结果的不完整性，另一方面，可能多个数据集合都已完成处理，但是系统仍处于等待合并处理结果的状态。因此通过对每个数据集合的处理过程进行监测，能够确保及时得到所有数据集合处理完成的消息，并在获知所有的数据集合都处理完成之后将每个数据集合的处理结果进行合并，提高了对处理结果合并时机的准确性，优化了系统的性能。
在上述技术方案中，优选地，所述步骤206还包括：对所述处理结果进行持久化处理，将经过持久化处理之后的所述处理结果返回至所述数据库。
在该技术方案中，数据持久化是将内存中的数据模块转换为存储模型的过程，通过对处理结果进行持久化处理，使得数据对应的程序代码重用性强，并且可以提高程序代码的可读性，同时数据持久化可以对系统进行自动优化，减少对数据库的访问量，从而可以提高系统运行的效率。
在上述技术方案中，优选地，所述待处理的数据包括：企业资源计划系统中的数据。
在该技术方案中，由于企业资源计划（ERP）系统中的数据量巨大，处理过程复杂耗时，而通过将ERP系统中的数据划分为多个小的数据集合交由内存数据网格中的不同的网格节点分别进行处理，能够确保ERP系统在大数据量、高并发、低速网络的条件下，实现最短的响应时间和稳定的吞吐率。
通过以上技术方案，可以将加载至内存数据网格中待处理的大量数据分为多个小的数据集合，以便于内存数据网格中的不同网络节点分别进行处理，从而提高了数据处理的效率，同时减小了单个处理器进行处理的负载压力，缩减了数据处理的响应时间。
附图说明
图1示出了根据本发明的实施例的基于内存数据网格的数据处理装置的示意框图；
图2示出了根据本发明的实施例的基于内存数据网格的数据处理方法的示意流程图；
图3示出了根据本发明的一个实施例的物料需求计划的处理方法的示意流程图；
图4示出了根据本发明的另一个实施例的物料需求计划处理方法的示意流程图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了根据本发明的实施例的基于内存数据网格的数据处理装置的示意框图。
如图1所示，根据本发明的实施例的基于内存数据网格的数据处理装置100，包括：数据加载模块102，用于将数据库中待处理的数据加载至内存数据网格中；数据划分模块104，用于将加载至所述内存数据网格中的数据按照数据之间的关联性划分为至少一个数据集合；数据处理模块106，用于将所述至少一个数据集合中的每个数据集合分别交由所述内存数据网格中的不同网格节点进行处理，并将所述每个数据集合的处理结果返回至所述数据库。
在该技术方案中，通过将数据库中待处理的数据加载至内存数据网格中，使得待处理的数据能够在数据处理之前一次性地全部加载至内存数据网格中，避免了在进行计算时，再分批地从数据库中加载数据到内存数据网格中导致的网络延时，减少了数据计算等待的时间，确保了计算过程的实时性。
通过将加载至内存数据网格中的数据按照数据之间的关联性分为至少一个数据集合，并将每个数据集合交由内存数据网格中的不同网格节点进行处理，可以将加载至内存数据网格中待处理的大量数据分为多个小的数据集合，以便于内存数据网格中的不同网络节点分别进行处理，由于多个小的数据集合在内存数据网格中的不同网络节点是并行处理的，因此加快了数据处理的速度，同时由于将待处理的大量数据分为多个小的数据集合分别进行处理，减小了单个处理器进行处理的负载压力，缩减了数据处理的响应时间。比如，在MRP（Material Requirement planning，物料需求计划）系统中，可以将其中一层的物料分为多个批次，以一个批次为一个计算单元交由不同的网格节点进行处理，由于网格节点之间是并行处理的，因此提高了数据处理的效率。
在上述技术方案中，优选地，所述数据处理模块106还包括：结果合并模块1062，用于在所述每个数据集合都被处理完成之后，将所述每个数据集合的处理结果进行合并；所述数据处理模块106，还用于将所述数据的处理结果返回至所述数据库。
在该技术方案中，由于从数据库中加载数据时，是将待处理的数据一次性加载至内存数据网格中的，因此通过在每个数据集合都处理完成之后，将每个数据集合的处理结果进行合并，并将合并后的处理结果返回至数据库，使得返回至数据库中的处理结果是加载至内存数据网格中待处理数据整体的处理结果，避免了将多个小的数据集合的处理结果分别返回至数据库中而造成数据结果的分散性，同时，由于将合并后的处理结果返回至数据库，减少了对数据库的访问次数，降低了数据库的访问压力。
在上述技术方案中，优选地，所述数据处理模块106还包括：监测模块1064，用于对所述每个数据集合的处理过程进行监测；所述结果合并模块1062，还用于在所述监测模块1064监测到所述每个数据集合都被处理完成之后，将所述每个数据结合的处理结果进行合并。
在该技术方案中，由于网格节点的处理能力和处理速度可能不同，和/或不同数据集合中的数据量不同，因此每个网格节点对每个数据集合的处理时间可能不同，因此会出现有些数据集合已经完成处理，但是有些数据集合正在处理的情况，如果盲目地将数据集合处理的结果进行合并，可能合并后的处理结果并不包含其中一个或多个数据集合的处理结果，将会导致数据处理结果的不完整性，另一方面，可能多个数据集合都已完成处理，但是系统仍处于等待合并处理结果的状态。因此通过对每个数据集合的处理过程进行监测，能够确保及时得到所有数据集合处理完成的消息，并在获知所有的数据集合都处理完成之后将每个数据集合的处理结果进行合并，提高了对处理结果合并时机的准确性，优化了系统的性能。
在上述技术方案中，优选地，所述数据处理模块106还包括：持久化处理模块1066，用于对所述处理结果进行持久化处理；所述数据处理模块106，还用于将经过所述持久化处理模块1066处理后的所述处理结果返回至所述数据库。
在该技术方案中，数据持久化是将内存中的数据模块转换为存储模型的过程，通过对处理结果进行持久化处理，使得数据对应的程序代码重用性强，并且可以提高程序代码的可读性，同时数据持久化可以对系统进行自动优化，减少对数据库的访问量，从而可以提高系统运行的效率。
在上述技术方案中，优选地，所述待处理的数据包括：企业资源计划系统中的数据。
在该技术方案中，由于企业资源计划（ERP）系统中的数据量巨大，处理过程复杂耗时，而通过将ERP系统中的数据划分为多个小的数据集合交由内存数据网格中的不同的网格节点分别进行处理，能够确保ERP系统在大数据量、高并发、低速网络的条件下，实现最短的响应时间和稳定的吞吐率。
图2示出了根据本发明的实施例的基于内存数据网格的数据处理方法的示意流程图。
如图2所示，根据本发明的实施例的基于内存数据网格的数据处理方法，包括：步骤202，将数据库中待处理的数据加载至内存数据网格中；步骤204，将加载至所述内存数据网格中的数据按照数据之间的关联性划分为至少一个数据集合；步骤206，将所述至少一个数据集合中的每个数据集合分别交由所述内存数据网格中的不同网格节点进行处理，并将所述每个数据集合的处理结果返回至所述数据库。
在该技术方案中，通过将数据库中待处理的数据加载至内存数据网格中，使得待处理的数据能够在数据处理之前一次性地全部加载至内存数据网格中，避免了在进行计算时，再分批地从数据库中加载数据到内存数据网格中导致的网络延时，减少了数据计算等待的时间，确保了计算过程的实时性。
通过将加载至内存数据网格中的数据按照数据之间的关联性分为至少一个数据集合，并将每个数据集合交由内存数据网格中的不同网格节点进行处理，可以将加载至内存数据网格中待处理的大量数据分为多个小的数据集合，以便于内存数据网格中的不同网络节点分别进行处理，由于多个小的数据集合在内存数据网格中的不同网络节点是并行处理的，因此加快了数据处理的速度，同时由于将待处理的大量数据分为多个小的数据集合分别进行处理，减小了单个处理器进行处理的负载压力，缩减了数据处理的响应时间。比如，在MRP（Material Requirement planning，物料需求计划）系统中，可以将其中一层的物料分为多个批次，以一个批次为一个计算单元交由不同的网格节点进行处理，由于网格节点之间是并行处理的，因此提高了数据处理的效率。
在上述技术方案中，优选地，所述步骤206还包括：在所述每个数据集合都被处理完成之后，将所述每个数据集合的处理结果进行合并，得到所述数据的处理结果；将所述数据的处理结果返回至所述数据库。
在该技术方案中，由于从数据库中加载数据时，是将待处理的数据一次性加载至内存数据网格中的，因此通过在每个数据集合都处理完成之后，将每个数据集合的处理结果进行合并，并将合并后的处理结果返回至数据库，使得返回至数据库中的处理结果是加载至内存数据网格中待处理数据整体的处理结果，避免了将多个小的数据集合的处理结果分别返回至数据库中而造成数据结果的分散性，同时，由于将合并后的处理结果返回至数据库，减少了对数据库的访问次数，降低了数据库的访问压力。
在上述技术方案中，优选地，所述步骤206还包括：对所述每个数据集合的处理过程进行监测；当监测到所述每个数据集合都被处理完成之后，将所述每个数据集合的处理结果进行合并。
在该技术方案中，由于网格节点的处理能力和处理速度可能不同，和/或不同数据集合中的数据量不同，因此每个网格节点对每个数据集合的处理时间可能不同，因此会出现有些数据集合已经完成处理，但是有些数据集合正在处理的情况，如果盲目地将数据集合处理的结果进行合并，可能合并后的处理结果并不包含其中一个或多个数据集合的处理结果，将会导致数据处理结果的不完整性，另一方面，可能多个数据集合都已完成处理，但是系统仍处于等待合并处理结果的状态。因此通过对每个数据集合的处理过程进行监测，能够确保及时得到所有数据集合处理完成的消息，并在获知所有的数据集合都处理完成之后将每个数据集合的处理结果进行合并，提高了对处理结果合并时机的准确性，优化了系统的性能。
在上述技术方案中，优选地，所述步骤206还包括：对所述处理结果进行持久化处理，将经过持久化处理之后的所述处理结果返回至所述数据库。
在该技术方案中，数据持久化是将内存中的数据模块转换为存储模型的过程，通过对处理结果进行持久化处理，使得数据对应的程序代码重用性强，并且可以提高程序代码的可读性，同时数据持久化可以对系统进行自动优化，减少对数据库的访问量，从而可以提高系统运行的效率。
在上述技术方案中，优选地，所述待处理的数据包括：企业资源计划系统中的数据。
在该技术方案中，由于企业资源计划（ERP）系统中的数据量巨大，处理过程复杂耗时，而通过将ERP系统中的数据划分为多个小的数据集合交由内存数据网格中的不同的网格节点分别进行处理，能够确保ERP系统在大数据量、高并发、低速网络的条件下，实现最短的响应时间和稳定的吞吐率。
下面结合图3至图4，以物料需求计划的处理方法详细说明本发明的技术方案。
图3示出了根据本发明的一个实施例的物料需求计划的处理方法的示意流程图。
如图3所示，根据本发明的一个实施例的物料需求计划的处理方法，包括：
步骤302，获取需要运算的物料范围，即指定待处理的数据。
步骤304，对物料集合进行分层，由于物料需求计划是由最终产品分层展开到原材料，多层进行计算，在其中一层物料计算完成之后，继续进行下一层物料的需求计划。
步骤306，对每层物料进行分批，针对每一层待处理的物料，分为多个批次，分别进行处理。
步骤308，指定第一批物料。
步骤310，获取物料需求和供给。
步骤312，得到下一个物料进行需求平衡计算。
步骤314，创建物料计划订单。
针对每一层中的每一批次的物料，都执行步骤310至步骤312。
步骤316，在所有批次的物料都计算完成之后，返回步骤306计算下一层物料。
图4示出了根据本发明的另一个实施例的物料需求计划处理方法的示意流程图。
如图4所示，根据本发明的另一个实施例的物料需求计划处理方法，包括：
步骤402，获取需要运算的物料范围，即指定待处理的数据。
在确定需要运算的物料范围之后，将数据库416中的所有物料需求和供给信息加载至内存数据网格中的网格节点418中，以下的处理过程都是在内存数据网格中进行处理。
步骤404，获取所有物料的所有需求和供给。
步骤406，对物料集合进行分层，由于物料需求计划是由最终产品分层展开到原材料，多层进行计算，在其中一层物料计算完成之后，继续进行下一层物料的需求计划。
步骤408，对每层物料进行分批，针对每一层待处理的物料，分为多个批次，分别进行处理。
步骤410，对于同一层物料的不同批次分别进行任务封装，每个批次对应于一个任务，在任务封装完成之后，交由内存数据网格中的不同网格节点进行处理，如图中所示，将第一批物料的计算任务交由网格节点420进行计算，将第二批物料的计算任务交由网格节点422进行计算，将第n批物料的计算任务交由网格节点424进行计算，在计算完成之后，对所有网格节点的处理结果进行合并，并进行数据持久化处理之后，返回至数据库416中。
步骤412，任务状态监视器用于对每层中的所有批次的任务进行监视，在监视到所有批次的任务都完成之后，执行步骤414。
步骤414，所有批次的物料计算完成之后，返回步骤408继续计算下一层物料。
图3至图4详细介绍了根据本发明的技术方案对物料需求计划的处理方法。由于本发明的技术方案是基于内存数据网格对数据进行的并行处理，并且在数据计算之前将所有待处理的数据都加载至内存数据网格中，因此可以减少处理过程中对数据库访问及数据的交互，此外，通过内存网格来执行计算及数据库访问、持久化等操作，提高了整个处理过程的效率。
本领域的技术人员应该理解，对于企业资源计划ERP系统中大多数的核心计算都可以利用本发明的技术方案进行实现，以解决传统ERP系统中严重的性能问题。对于其他系统中的数据处理也可以使用本申请技术方案的处理方法进行处理，任何与本申请技术方案中提到的数据处理方法相关的技术方案，都应在本申请的保护范围之内。
以上结合附图详细说明了本发明的技术方案，考虑到在ERP系统中，由于许多核心的算法的逻辑都相当复杂，涉及到的数据量巨大，因此计算耗时较长，传统的软件算法结构出现操作响应时间长，服务器负载压力大，瓶颈资源争用、网络传输压力巨大等问题。本发明提出了一种基于内存数据网格的数据处理方案，可以将加载至内存数据网格中待处理的大量数据分为多个小的数据集合，以便于内存数据网格中的不同网络节点分别进行处理，从而提高了数据处理的效率，同时减小了单个处理器进行处理的负载压力，缩减了数据处理的响应时间。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于内存数据网格的数据处理装置，其特征在于，包括：
数据加载模块，用于将数据库中待处理的数据加载至内存数据网格中；
数据划分模块，用于将加载至所述内存数据网格中的数据按照数据之间的关联性划分为至少一个数据集合；
数据处理模块，用于将所述至少一个数据集合中的每个数据集合分别交由所述内存数据网格中的不同网格节点进行处理，并将所述每个数据集合的处理结果返回至所述数据库。
2.根据权利要求1所述的基于内存数据网格的数据处理装置，其特征在于，所述数据处理模块包括：结果合并模块，用于在所述每个数据集合都被处理完成之后，将所述每个数据集合的处理结果进行合并；
所述数据处理模块，还用于将所述数据的处理结果返回至所述数据库。
3.根据权利要求2所述的基于内存数据网格的数据处理装置，其特征在于，所述数据处理模块还包括：监测模块，用于对所述每个数据集合的处理过程进行监测；
所述结果合并模块，还用于在所述监测模块监测到所述每个数据集合都被处理完成之后，将所述每个数据结合的处理结果进行合并。
4.根据权利要求1至3中任一项所述的基于内存数据网格的数据处理装置，其特征在于，所述数据处理模块还包括：持久化处理模块，用于对所述处理结果进行持久化处理；
所述数据处理模块，还用于将经过所述持久化处理模块处理后的所述处理结果返回至所述数据库。
5.根据权利要求1至3中任一项所述的基于内存数据网格的数据处理装置，其特征在于，所述待处理的数据包括：企业资源计划系统中的数据。
6.一种基于内存数据网格的数据处理方法，其特征在于，包括：
步骤202，将数据库中待处理的数据加载至内存数据网格中；
步骤204，将加载至所述内存数据网格中的数据按照数据之间的关联性划分为至少一个数据集合；
步骤206，将所述至少一个数据集合中的每个数据集合分别交由所述内存数据网格中的不同网格节点进行处理，并将所述每个数据集合的处理结果返回至所述数据库。
7.根据权利要求6所述的基于内存数据网格的数据处理方法，其特征在于，所述步骤206还包括：
在所述每个数据集合都被处理完成之后，将所述每个数据集合的处理结果进行合并，得到所述数据的处理结果；
将所述数据的处理结果返回至所述数据库。
8.根据权利要求7所述的基于内存数据网格的数据处理方法，其特征在于，所述步骤206还包括：
对所述每个数据集合的处理过程进行监测；
当监测到所述每个数据集合都被处理完成之后，将所述每个数据集合的处理结果进行合并。
9.根据权利要求6至8中任一项所述的基于内存数据网格的数据处理方法，其特征在于，所述步骤206还包括：
对所述处理结果进行持久化处理，将经过持久化处理之后的所述处理结果返回至所述数据库。
10.根据权利要求6至8中任一项所述的基于内存数据网格的数据处理方法，其特征在于，所述待处理的数据包括：企业资源计划系统中的数据。
CN201310397217.6A 2013-09-04 2013-09-04 基于内存数据网格的数据处理装置和方法 Pending CN103488699A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310397217.6A CN103488699A (zh) 2013-09-04 2013-09-04 基于内存数据网格的数据处理装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310397217.6A CN103488699A (zh) 2013-09-04 2013-09-04 基于内存数据网格的数据处理装置和方法

Publications (1)

Publication Number Publication Date
CN103488699A true CN103488699A (zh) 2014-01-01

Family

ID=49828925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310397217.6A Pending CN103488699A (zh) 2013-09-04 2013-09-04 基于内存数据网格的数据处理装置和方法

Country Status (1)

Country Link
CN (1) CN103488699A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104636199A (zh) * 2015-03-13 2015-05-20 华存数据信息技术有限公司 一种基于分布式内存计算的大数据实时处理系统及方法
CN106293960A (zh) * 2016-07-27 2017-01-04 福建富士通信息软件有限公司 一种基于strom和内存网格实现数据转换的方法及系统
CN110851282A (zh) * 2019-11-14 2020-02-28 北京东方通科技股份有限公司 一种基于内存网格的分布式数据计算方法及系统
CN111125072A (zh) * 2019-11-25 2020-05-08 金蝶软件（中国）有限公司 数据处理方法、erp系统、计算机设备及计算机存储介质
CN111291059A (zh) * 2020-05-12 2020-06-16 北京东方通科技股份有限公司 基于内存数据网格的数据处理方法
CN112698957A (zh) * 2021-02-02 2021-04-23 北京东方通科技股份有限公司 一种基于内存数据网格的数据处理方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6009455A (en) * 1998-04-20 1999-12-28 Doyle; John F. Distributed computation utilizing idle networked computers
CN1294710A (zh) * 1998-11-18 2001-05-09 Saga软件有限公司 可扩充的分布企业应用集成系统
CN101187931A (zh) * 2007-12-12 2008-05-28 浙江大学 分布式文件系统多文件副本的管理方法
CN101478567A (zh) * 2009-01-09 2009-07-08 南京联创科技股份有限公司 基于网格划分的内存管理方法
WO2011018646A1 (en) * 2009-08-12 2011-02-17 New Technology/Enterprise Limited Distributed transaction processing for in memory data grids
US20130090906A1 (en) * 2011-10-11 2013-04-11 Saudi Arabian Oil Company High performance and grid computing with quality of service control

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6009455A (en) * 1998-04-20 1999-12-28 Doyle; John F. Distributed computation utilizing idle networked computers
CN1294710A (zh) * 1998-11-18 2001-05-09 Saga软件有限公司 可扩充的分布企业应用集成系统
CN101187931A (zh) * 2007-12-12 2008-05-28 浙江大学 分布式文件系统多文件副本的管理方法
CN101478567A (zh) * 2009-01-09 2009-07-08 南京联创科技股份有限公司 基于网格划分的内存管理方法
WO2011018646A1 (en) * 2009-08-12 2011-02-17 New Technology/Enterprise Limited Distributed transaction processing for in memory data grids
US20130090906A1 (en) * 2011-10-11 2013-04-11 Saudi Arabian Oil Company High performance and grid computing with quality of service control

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104636199A (zh) * 2015-03-13 2015-05-20 华存数据信息技术有限公司 一种基于分布式内存计算的大数据实时处理系统及方法
CN106293960A (zh) * 2016-07-27 2017-01-04 福建富士通信息软件有限公司 一种基于strom和内存网格实现数据转换的方法及系统
CN106293960B (zh) * 2016-07-27 2019-10-25 中电福富信息科技有限公司 一种基于strom和内存网格实现数据转换的方法及系统
CN110851282A (zh) * 2019-11-14 2020-02-28 北京东方通科技股份有限公司 一种基于内存网格的分布式数据计算方法及系统
CN111125072A (zh) * 2019-11-25 2020-05-08 金蝶软件（中国）有限公司 数据处理方法、erp系统、计算机设备及计算机存储介质
CN111291059A (zh) * 2020-05-12 2020-06-16 北京东方通科技股份有限公司 基于内存数据网格的数据处理方法
CN112698957A (zh) * 2021-02-02 2021-04-23 北京东方通科技股份有限公司 一种基于内存数据网格的数据处理方法及系统
CN112698957B (zh) * 2021-02-02 2024-02-20 北京东方通科技股份有限公司 一种基于内存数据网格的数据处理方法及系统

Similar Documents

Publication Publication Date Title
CN103488699A (zh) 基于内存数据网格的数据处理装置和方法
CN107710200A (zh) 用于并行化smp数据库中的基于散列的运算符的系统和方法
US20200073830A1 (en) Method, apparatus, and system for an architecture for machine learning acceleration
WO2002003258A1 (en) Method and apparatus for heterogeneous distributed computation
CN108920153A (zh) 一种基于负载预测的Docker容器动态调度方法
CN114356587B (zh) 算力任务跨区域调度方法、系统及设备
CN113900810A (zh) 分布式图处理方法、系统及存储介质
Ataie et al. Modeling and evaluation of dispatching policies in IaaS cloud data centers using SANs
CN1783121A (zh) 用于执行设计自动化的方法和系统
Li et al. FSimGP^ 2: An efficient fault simulator with GPGPU
CN104281636A (zh) 海量报表数据并发分布式处理方法
Zhou et al. Task-binding based branch-and-bound algorithm for NoC mapping
Liu et al. KubFBS: A fine‐grained and balance‐aware scheduling system for deep learning tasks based on kubernetes
Cheng et al. An adaptive computation framework of distributed deep learning models for internet-of-things applications
CN113656370B (zh) 电力量测系统数据处理方法、装置和计算机设备
CN108388498A (zh) 内存中计算的功率建模方法及功率管理方法
CN101299758B (zh) 一种大规模事件处理的规则群组系统及处理方法
Dobler et al. Design and implementation of a parallel queue-based traffic flow simulation
Lin et al. A multi-centric model of resource and capability management in cloud simulation
CN104298617B (zh) 一种numa平台中非核部件数据流缓冲管理的优化方法及系统
US11966783B1 (en) Real time scheduling using expected application resource usage
Sun et al. RS-pCloud: a peer-to-peer based edge-cloud system for fast remote sensing image processing
CN110502332A (zh) 一种服务器高可用的架构方法
CN117112145B (zh) 训练模型分配方法、装置、计算机设备和存储介质
Du et al. Research on edge service composition method based on BAS algorithm

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100094 Haidian District North Road, Beijing, No. 68

Applicant after: Yonyou Network Technology Co., Ltd.

Address before: 100094 Beijing city Haidian District North Road No. 68, UFIDA Software Park

Applicant before: UFIDA Software Co., Ltd.

COR Change of bibliographic data
RJ01 Rejection of invention patent application after publication

Application publication date: 20140101

RJ01 Rejection of invention patent application after publication