CN112698957A - 一种基于内存数据网格的数据处理方法及系统 - Google Patents

一种基于内存数据网格的数据处理方法及系统 Download PDF

Info

Publication number
CN112698957A
CN112698957A CN202110138455.XA CN202110138455A CN112698957A CN 112698957 A CN112698957 A CN 112698957A CN 202110138455 A CN202110138455 A CN 202110138455A CN 112698957 A CN112698957 A CN 112698957A
Authority
CN
China
Prior art keywords
data
task
processing
node
storage position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110138455.XA
Other languages
English (en)
Other versions
CN112698957B (zh
Inventor
李蕾
于洋
张春林
李利军
李春青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tongtech Co Ltd
Original Assignee
Beijing Tongtech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tongtech Co Ltd filed Critical Beijing Tongtech Co Ltd
Priority to CN202110138455.XA priority Critical patent/CN112698957B/zh
Publication of CN112698957A publication Critical patent/CN112698957A/zh
Application granted granted Critical
Publication of CN112698957B publication Critical patent/CN112698957B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于内存数据网格的数据处理方法及系统，其中，方法包括：获取待处理数据；解析待处理数据，获取多个数据处理任务；对内存数据网格上的处理节点进行筛选，获取多个任务节点；数据处理任务与任务节点一一对应；将数据处理任务在内存数据网格的第一存储位置的第一存储位置信息以及预设的用于接收数据处理任务的处理结果的第二存储位置的第二存储位置信息发送至对任务节点。本发明基于内存数据网格的数据处理方法，将待处理数据细分为多个处理任务，以内存数据网格内的处理节点与处理任务进行适配，提高处理数据的速度。

Description

一种基于内存数据网格的数据处理方法及系统
技术领域
本发明涉及数据处理技术领域，特别涉及一种基于内存数据网格的数据处理方法及系统。
背景技术
目前，内存数据网格IMDG是内存数据库，它的主要目标是在物理内存不足的情况下，提高内存密集型应用或IO密集型应用的系统性能，内存数据网格被视为处理迅速、多样和大数据量的大数据的一种方式，将数据存储到内存中，并使其分布到多个服务器上。
为了使内存数据网格具有更广的应用前景，如何提高基于内存数据网格的数据处理的速度，是亟需解决的技术问题。
发明内容
本发明目的之一在于提供了一种基于内存数据网格的数据处理方法，将待处理数据细分为多个处理任务，以内存数据网格内的处理节点与处理任务进行适配，提高处理数据的速度。
本发明实施例中提供的一种基于内存数据网格的数据处理方法，包括：
获取待处理数据；解析待处理数据，获取多个数据处理任务；
对内存数据网格上的处理节点进行筛选，获取多个任务节点；数据处理任务与任务节点一一对应；
将数据处理任务在内存数据网格的第一存储位置的第一存储位置信息以及预设的用于接收数据处理任务的处理结果的第二存储位置的第二存储位置信息发送至对应的任务节点。
优选的，对内存数据网格上的处理节点进行筛选，获取多个任务节点，包括：
获取内存数据网格上处理节点的状态；
获取当前状态为空闲的处理节点的处理性能；
解析数据处理任务，确定对应的处理能力需求；
基于处理能力需求与处理节点的处理性能的匹配，确定数据处理任务对应的任务节点；
和/或，
获取数据处理任务的数据来源的第一位置信息；
获取处理节点的第二位置信息；
基于第一位置信息与第二位置信息进行匹配，确定数据处理任务对应的任务节点；
其中，处理性能包括：处理的数据类型、处理数据的速度、历史数据处理任务达成率和处理节点的稳定性其中一种或多种结合；
处理节点的稳定性通过如下步骤确定：
检测当前处理节点的运行参数，将运行参数代入预先建立的预测模型中确定处理节点出现异常的概率值；根据概率值确定处理节点的稳定性；
预测模型包括：基于大量的历史节点监测报告的不同运行参数建立多个判定向量，及一一对应于判定向量的多个预测值；预测值为处理节点出现异常的概率值；
将运行参数代入预先建立的预测模型中确定处理节点出现异常的概率值，包括：
对运行参数进行特征提取，获得检测向量；
计算检测向量与每个判定向量的相似度，计算公式如下：
Figure 987042DEST_PATH_IMAGE001
；
其中，
Figure 700920DEST_PATH_IMAGE002
为检测向量与第
Figure 11815DEST_PATH_IMAGE003
个判定向量的相似度；
Figure 938183DEST_PATH_IMAGE004
为检测向量的第
Figure 486976DEST_PATH_IMAGE005
个元素值；
Figure 856909DEST_PATH_IMAGE006
为第
Figure 655100DEST_PATH_IMAGE003
个判定向量的第
Figure 588421DEST_PATH_IMAGE005
个元素值；以相似度值最大的判定向量对应的预测值确定当前 处理节点的稳定值，基于稳定值表示处理节点的稳定性；稳定值计算公式如下：
Figure 54038DEST_PATH_IMAGE007
;
其中，
Figure 578560DEST_PATH_IMAGE008
为相似度值最大的判定向量对应的预测值，
Figure 67310DEST_PATH_IMAGE009
为稳定值。
优选的，将数据处理任务在内存数据网格的第一存储位置的第一存储位置信息以及预设的用于接收数据处理任务的处理结果的第二存储位置的第二存储位置信息发送至对应的任务节点，包括：
遍历存储数据网格内的存储节点，获取与数据来源的第一传输时间和与处理节点的第二传输时间的和值最小的存储节点作为第一存储位置；
获取第一存储位置的存储容量，当第一存储位置存储完数据处理任务后的剩余存储容量大于等于预估的处理结果大小时，将第一存储为位置同样作为存储处理结果的第二存储位置；当第一存储位置存储完数据处理任务后的剩余存储容量小于预估的处理结果大小时，将与数据来源的第一传输时间和与处理节点的第二传输时间的和值第二小的存储节点作为第二存储位置。
优选的，在将数据处理任务存储至第一存储位置前，计算数据处理任务的第一哈希值；
将第一哈希值在发送第一存储位置和第二存储位置至对应的任务节点时进行同步发送，发送给任务节点；
任务节点在读取数据处理任务后，采用第一哈希值对数据处理任务进行验证；
当处理节点验证通过后，处理数据处理任务，生成处理结果；
计算处理结果的第二哈希值，待处理数据的数据来源在获取存储在第二存储位置的数据时，同步获取第二哈希值；
数据来源基于第二哈希值对获取的第二存储位置的数据进行验证，当验证不通过时，发送重启数据处理任务的第一指令；
接收到第一指令时，重新对处理节点筛选确定任务节点，将数据处理任务在内存数据网格的第一存储位置以及预设的用于接收数据处理任务的处理结果的第二存储位置发送至重新筛选后的任务节点；
和/或，
在将数据处理任务存储至第一存储位置时，将数据处理任务基于预设规则进行分块，并将分块后的分块数据存储至第一存储位置的不连续的存储单元中；获取各个存储单元的地址；将地址按照其存储的分块数据的顺序排列形成地址串，在将第一存储位置发送至任务节点时，同步发送地址串；
其中，预设规则包括：
将数据处理任务均分为N个分块数据；将分块数据按照在数据处理任务中的顺序进行编号；将每个分块数据再次均分为M位数据组；提取每个分块数据的第H位的数据组进行排序，提取排序后K个数据组放置到排序的数据组前端；然后按照分块数据的编号，依次将调整后的排序数据组放回到分块数据的第H位中。
优选的，基于内存数据网格的数据处理方法，还包括：
每隔一第一预设时间对第二存储位置进行问询，确定第二存储位置的状态；当第二存储位置的状态为在前一次问询后至此次问询期间未发生任务节点的数据存储时，再次对处理节点筛选确定任务节点，将数据处理任务在内存数据网格的第一存储位置以及预设的用于接收数据处理任务的处理结果的第二存储位置发送至再次筛选后的任务节点；再次筛选后的任务节点基于第一存储位置的数据处理任务和第二存储位置的现有处理结果进行接力处理；
和/或，
每隔一第二预设时间对任务节点进行问询，获取任务节点的运行参数，基于运行参数确定任务节点的稳定性；当任务节点的稳定性低于预设阈值时，再次对处理节点筛选确定任务节点，将数据处理任务在内存数据网格的第一存储位置以及预设的用于接收数据处理任务的处理结果的第二存储位置发送至再次筛选后的任务节点；再次筛选后的任务节点基于第一存储位置的数据处理任务和第二存储位置的现有处理结果进行接力处理。
本发明还提供一种基于内存数据网格的数据处理系统，包括：
数据处理任务生成模块，用于获取待处理数据；解析待处理数据，获取多个数据处理任务；
任务节点确定模块，用于对内存数据网格上的处理节点进行筛选，获取多个任务节点；数据处理任务与任务节点一一对应；
任务分配模块，用于将数据处理任务在内存数据网格的第一存储位置的第一存储位置信息以及预设的用于接收数据处理任务的处理结果的第二存储位置的第二存储位置信息发送至对应的任务节点。
优选的，任务节点确定模块执行如下操作：
获取内存数据网格上处理节点的状态；
获取当前状态为空闲的处理节点的处理性能；
解析数据处理任务，确定对应的处理能力需求；
基于处理能力需求与处理节点的处理性能的匹配，确定数据处理任务对应的任务节点；
和/或，
获取数据处理任务的数据来源的第一位置信息；
获取处理节点的第二位置信息；
基于第一位置信息与第二位置信息进行匹配，确定数据处理任务对应的任务节点；
其中，处理性能包括：处理的数据类型、处理数据的速度、历史数据处理任务达成率和处理节点的稳定性其中一种或多种结合；
处理节点的稳定性通过如下步骤确定：
检测当前处理节点的运行参数，将运行参数代入预先建立的预测模型中确定处理节点出现异常的概率值；根据概率值确定处理节点的稳定性；
预测模型包括：基于大量的历史节点监测报告的不同运行参数建立多个判定向量，及一一对应于判定向量的多个预测值；预测值为处理节点出现异常的概率值；
将运行参数代入预先建立的预测模型中确定处理节点出现异常的概率值，包括：
对运行参数进行特征提取，获得检测向量；
计算检测向量与每个判定向量的相似度，计算公式如下：
Figure 351792DEST_PATH_IMAGE001
；
其中，
Figure 406336DEST_PATH_IMAGE002
为检测向量与第
Figure 570601DEST_PATH_IMAGE003
个判定向量的相似度；
Figure 608964DEST_PATH_IMAGE004
为检测向量的第
Figure 415246DEST_PATH_IMAGE005
个元素值；
Figure 793138DEST_PATH_IMAGE006
为第
Figure 672845DEST_PATH_IMAGE003
个判定向量的第
Figure 932925DEST_PATH_IMAGE005
个元素值；以相似度值最大的判定向量对应的预测值确定当前 处理节点的稳定值，基于稳定值表示处理节点的稳定性；稳定值计算公式如下：
Figure 746160DEST_PATH_IMAGE007
;
其中，
Figure 40875DEST_PATH_IMAGE008
为相似度值最大的判定向量对应的预测值，
Figure 343680DEST_PATH_IMAGE009
为稳定值。
优选的，任务分配模块执行如下操作：
遍历存储数据网格内的存储节点，获取与数据来源的第一传输时间和与处理节点的第二传输时间的和值最小的存储节点作为第一存储位置；
获取第一存储位置的存储容量，当第一存储位置存储完数据处理任务后的剩余存储容量大于等于预估的处理结果大小时，将第一存储为位置同样作为存储处理结果的第二存储位置；当第一存储位置存储完数据处理任务后的剩余存储容量小于预估的处理结果大小时，将与数据来源的第一传输时间和与处理节点的第二传输时间的和值第二小的存储节点作为第二存储位置。
优选的，任务分配模块还执行如下操作：
在将数据处理任务存储至第一存储位置前，计算数据处理任务的第一哈希值；
将第一哈希值在发送第一存储位置和第二存储位置至对应的任务节点时进行同步发送，发送给任务节点；
任务节点在读取数据处理任务后，采用第一哈希值对数据处理任务进行验证；
当处理节点验证通过后，处理数据处理任务，生成处理结果；
计算处理结果的第二哈希值，待处理数据的数据来源在获取存储在第二存储位置的数据时，同步获取第二哈希值；
数据来源基于第二哈希值对获取的第二存储位置的数据进行验证，当验证不通过时，发送重启数据处理任务的第一指令；
接收到第一指令时，重新对处理节点筛选确定任务节点，将数据处理任务在内存数据网格的第一存储位置以及预设的用于接收数据处理任务的处理结果的第二存储位置发送至重新筛选后的任务节点；
和/或，
在将数据处理任务存储至第一存储位置时，将数据处理任务基于预设规则进行分块，并将分块后的分块数据存储至第一存储位置的不连续的存储单元中；获取各个存储单元的地址；将地址按照其存储的分块数据的顺序排列形成地址串，在将第一存储位置发送至任务节点时，同步发送地址串；
其中，预设规则包括：
将数据处理任务均分为N个分块数据；将分块数据按照在数据处理任务中的顺序进行编号；将每个分块数据再次均分为M位数据组；提取每个分块数据的第H位的数据组进行排序，提取排序后K个数据组放置到排序的数据组前端；然后按照分块数据的编号，依次将调整后的排序数据组放回到分块数据的第H位中。
优选的，基于内存数据网格的数据处理系统，还包括：
监控模块，用于监控任务节点处理任务的情况；
监控模块执行如下操作：
每隔一第一预设时间对第二存储位置进行问询，确定第二存储位置的状态；当第二存储位置的状态为在前一次问询后至此次问询期间未发生任务节点的数据存储时，再次对处理节点筛选确定任务节点，将数据处理任务在内存数据网格的第一存储位置以及预设的用于接收数据处理任务的处理结果的第二存储位置发送至再次筛选后的任务节点；再次筛选后的任务节点基于第一存储位置的数据处理任务和第二存储位置的现有处理结果进行接力处理；
和/或，
每隔一第二预设时间对任务节点进行问询，获取任务节点的运行参数，基于运行参数确定任务节点的稳定性；当任务节点的稳定性低于预设阈值时，再次对处理节点筛选确定任务节点，将数据处理任务在内存数据网格的第一存储位置以及预设的用于接收数据处理任务的处理结果的第二存储位置发送至再次筛选后的任务节点；再次筛选后的任务节点基于第一存储位置的数据处理任务和第二存储位置的现有处理结果进行接力处理。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。
本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
在附图中：
图1为本发明实施例中一种基于内存数据网格的数据处理方法的示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明实施例提供了一种基于内存数据网格的数据处理方法，如图1所示，包括：
步骤S1：获取待处理数据；解析待处理数据，获取多个数据处理任务；
步骤S2：对内存数据网格上的处理节点进行筛选，获取多个任务节点；数据处理任务与任务节点一一对应；
步骤S3：将数据处理任务在内存数据网格的第一存储位置的第一存储位置信息以及预设的用于接收数据处理任务的处理结果的第二存储位置的第二存储位置信息发送至对应的任务节点。
上述技术方案的工作原理及有益效果为：
在获取待处理数据后，对待处理数据进行预处理，将待处理数据细分为多个数据处理任务，并对数据处理任务进行评估，确定需要的处理算力等，然后对当前在内存数据网格上的处理节点进行筛选，为每一个数据处理任务确定最适宜的处理节点为该数据处理任务的任务节点；任务节点从内存数据网格的第一存储位置获取数据处理任务进行处理并将处理结果存储至内存数据网格的第二存储位置中，方便提供待处理数据的数据来源提取数据处理结果并整合。
本发明的基于内存数据网格的数据处理方法，将待处理数据细分为多个处理任务，以内存数据网格内的处理节点与处理任务进行适配，提高处理数据的速度。
在一个实施例中，对内存数据网格上的处理节点进行筛选，获取多个任务节点，包括：
获取内存数据网格上处理节点的状态；
获取当前状态为空闲的处理节点的处理性能；
解析数据处理任务，确定对应的处理能力需求；
基于处理能力需求与处理节点的处理性能的匹配，确定数据处理任务对应的任务节点；
和/或，
获取数据处理任务的数据来源的第一位置信息；
获取处理节点的第二位置信息；
基于第一位置信息与第二位置信息进行匹配，确定数据处理任务对应的任务节点；
其中，处理性能包括：处理的数据类型、处理数据的速度、历史数据处理任务达成率和处理节点的稳定性其中一种或多种结合；
处理节点的稳定性通过如下步骤确定：
检测当前处理节点的运行参数，将运行参数代入预先建立的预测模型中确定处理节点出现异常的概率值；根据概率值确定处理节点的稳定性；例如，运行参数包括：电压、电流、内阻、温度、处理数据的速度、当前连接到节点的用户数、当前连接到节点的用户数的下载速度和上传速度、当前处理的任务的数量及任务占用的资源量、最大容许处理数据的总量、最大容许连接的用户数量等，在具体实施时，运行参数可以采用列举的一种参数或多种参数结合的方式；
预测模型包括：基于大量的历史节点监测报告的不同运行参数建立多个判定向量，及一一对应于判定向量的多个预测值；预测值为处理节点出现异常的概率值；
将运行参数代入预先建立的预测模型中确定处理节点出现异常的概率值，包括：
对运行参数进行特征提取，获得检测向量；
计算检测向量与每个判定向量的相似度，计算公式如下：
Figure 576210DEST_PATH_IMAGE001
；
其中，
Figure 193136DEST_PATH_IMAGE002
为检测向量与第
Figure 342357DEST_PATH_IMAGE003
个判定向量的相似度；
Figure 816064DEST_PATH_IMAGE004
为检测向量的第
Figure 988419DEST_PATH_IMAGE005
个元素值；
Figure 205774DEST_PATH_IMAGE006
为第
Figure 960235DEST_PATH_IMAGE003
个判定向量的第
Figure 808105DEST_PATH_IMAGE005
个元素值；以相似度值最大的判定向量对应的预测值确定当前 处理节点的稳定值，基于稳定值表示处理节点的稳定性；稳定值计算公式如下：
Figure 530073DEST_PATH_IMAGE007
;
其中，
Figure 285540DEST_PATH_IMAGE008
为相似度值最大的判定向量对应的预测值，
Figure 81457DEST_PATH_IMAGE009
为稳定值。
上述技术方案的工作原理及有益效果为：
在对处理节点进行筛选时主要考虑两个方面，第一、处理节点的处理性能要满足数据处理任务的处理能力的需求，例如数据节点处理数据的格式要与数据处理任务的格式相符，算力要大于数据处理任务的需求算力，历史处理数据的达成率是否满足数据处理任务的预设要求，处理节点的稳定性是否满足数据处理任务的预设稳定性要求等；第二、处理节点与数据来源的位置尽可能靠近，保证数据的传输链路尽可能短，减少数据在传输过程中风险；其中，数据处理任务的预设稳定性要求和对于处理节点的任务达成率可以由待处理数据的数据来源进行设置输入。
其中，处理节点的稳定性主要根据当前处理节点的运行参数代入基于处理节点的历史运行数据建立的预测模型中预测出出现异常的概率值确定；通过运行参数可以全面了解处理节点的运行情况，实现准确预测异常出现的概率，进而确定处理节点的稳定性，从而保证数据处理任务的准时准确的完成。
在一个实施例中，将数据处理任务在内存数据网格的第一存储位置的第一存储位置信息以及预设的用于接收数据处理任务的处理结果的第二存储位置的第二存储位置信息发送至对应的任务节点，包括：
遍历存储数据网格内的存储节点，获取与数据来源的第一传输时间和与处理节点的第二传输时间的和值最小的存储节点作为第一存储位置；
获取第一存储位置的存储容量，当第一存储位置存储完数据处理任务后的剩余存储容量大于等于预估的处理结果大小时，将第一存储为位置同样作为存储处理结果的第二存储位置；当第一存储位置存储完数据处理任务后的剩余存储容量小于预估的处理结果大小时，将与数据来源的第一传输时间和与处理节点的第二传输时间的和值第二小的存储节点作为第二存储位置。
上述技术方案的工作原理及有益效果为：
以与数据来源的第一传输时间和与处理节点的第二传输时间的和值最小的存储节点作为第一存储位置，实现了数据传输时间最小，降低任务处理的速度在数据传输方面的损耗。
并且当第一存储位置在存储完数据处理任务时还能存储处理结果，就直接将第一存储位置作为存储处理结果的第二存储位置；当不满足时，将与数据来源的第一传输时间和与处理节点的第二传输时间的和值第二小的存储节点作为第二存储位置。
在一个实施例中，在将数据处理任务存储至第一存储位置前，计算数据处理任务的第一哈希值；
将第一哈希值在发送第一存储位置和第二存储位置至对应的任务节点时进行同步发送，发送给任务节点；
任务节点在读取数据处理任务后，采用第一哈希值对数据处理任务进行验证；
当处理节点验证通过后，处理数据处理任务，生成处理结果；
计算处理结果的第二哈希值，待处理数据的数据来源在获取存储在第二存储位置的数据时，同步获取第二哈希值；
数据来源基于第二哈希值对获取的第二存储位置的数据进行验证，当验证不通过时，发送重启数据处理任务的第一指令；
接收到第一指令时，重新对处理节点筛选确定任务节点，将数据处理任务在内存数据网格的第一存储位置以及预设的用于接收数据处理任务的处理结果的第二存储位置发送至重新筛选后的任务节点；
和/或，
在将数据处理任务存储至第一存储位置时，将数据处理任务基于预设规则进行分块，并将分块后的分块数据存储至第一存储位置的不连续的存储单元中；获取各个存储单元的地址；将地址按照其存储的分块数据的顺序排列形成地址串，在将第一存储位置发送至任务节点时，同步发送地址串；
其中，预设规则包括：
将数据处理任务均分为N个分块数据；将分块数据按照在数据处理任务中的顺序进行编号；将每个分块数据再次均分为M位数据组；提取每个分块数据的第H位的数据组进行排序，提取排序后K个数据组放置到排序的数据组前端；然后按照分块数据的编号，依次将调整后的排序数据组放回到分块数据的第H位中。
上述技术方案的工作原理及有益效果为：
为了保证待处理数据在处理过程中数据安全，采用两个方面进行保证，第一方面，通过任务节点在获取数据处理任务时采用第一哈希值对数据处理任务进行验证，通过数据来源在获取处理结果时采用第二哈希值对处理结果进行验证；第二方面，通过对数据处理任务的数据进行预设规则的处理，实现保证数据安全性。
在一个实施例中，基于内存数据网格的数据处理方法，还包括：
每隔一第一预设时间对第二存储位置进行问询，确定第二存储位置的状态；当第二存储位置的状态为在前一次问询后至此次问询期间未发生任务节点的数据存储时，再次对处理节点筛选确定任务节点，将数据处理任务在内存数据网格的第一存储位置以及预设的用于接收数据处理任务的处理结果的第二存储位置发送至再次筛选后的任务节点；再次筛选后的任务节点基于第一存储位置的数据处理任务和第二存储位置的现有处理结果进行接力处理；
和/或，
每隔一第二预设时间对任务节点进行问询，获取任务节点的运行参数，基于运行参数确定任务节点的稳定性；当任务节点的稳定性低于预设阈值时，再次对处理节点筛选确定任务节点，将数据处理任务在内存数据网格的第一存储位置以及预设的用于接收数据处理任务的处理结果的第二存储位置发送至再次筛选后的任务节点；再次筛选后的任务节点基于第一存储位置的数据处理任务和第二存储位置的现有处理结果进行接力处理。
上述技术方案的工作原理及有益效果为：
对任务节点处理数据处理任务进行监控，保证数据处理任务的快速完成，监控可以从两个方面着手，一、第二存储位置的处理结果的存储情况，当存储情况异常时筛选出其他任务节点接替继续处理，保证数据处理任务的完成；第二、任务节点的稳定性，通过实时采集任务节点的运行参数；当表示稳定性的稳定值低于预设阈值时，替换任务节点继续执行任务。
本发明还提供一种基于内存数据网格的数据处理系统，包括：
数据处理任务生成模块，用于获取待处理数据；解析待处理数据，获取多个数据处理任务；
任务节点确定模块，用于对内存数据网格上的处理节点进行筛选，获取多个任务节点；数据处理任务与任务节点一一对应；
任务分配模块，用于将数据处理任务在内存数据网格的第一存储位置的第一存储位置信息以及预设的用于接收数据处理任务的处理结果的第二存储位置的第一存储位置信息发送至对应的任务节点。
上述技术方案的工作原理及有益效果为：
在获取待处理数据后，对待处理数据进行预处理，将待处理数据细分为多个数据处理任务，并对数据处理任务进行评估，确定需要的处理算力等，然后对当前在内存数据网格上的处理节点进行筛选，为每一个数据处理任务确定最适宜的处理节点为该数据处理任务的任务节点；任务节点从内存数据网格的第一存储位置获取数据处理任务进行处理并将处理结果存储至内存数据网格的第二存储位置中，方便提供待处理数据的数据来源提取数据处理结果并整合。
本发明的基于内存数据网格的数据处理系统，将待处理数据细分为多个处理任务，以内存数据网格内的处理节点与处理任务进行适配，提高处理数据的速度。
在一个实施例中，任务节点确定模块执行如下操作：
获取内存数据网格上处理节点的状态；
获取当前状态为空闲的处理节点的处理性能；
解析数据处理任务，确定对应的处理能力需求；
基于处理能力需求与处理节点的处理性能的匹配，确定数据处理任务对应的任务节点；
和/或，
获取数据处理任务的数据来源的第一位置信息；
获取处理节点的第二位置信息；
基于第一位置信息与第二位置信息进行匹配，确定数据处理任务对应的任务节点；
其中，处理性能包括：处理的数据类型、处理数据的速度、历史数据处理任务达成率和处理节点的稳定性其中一种或多种结合；
处理节点的稳定性通过如下步骤确定：
检测当前处理节点的运行参数，将运行参数代入预先建立的预测模型中确定处理节点出现异常的概率值；根据概率值确定处理节点的稳定性；例如，运行参数包括：电压、电流、内阻、温度、处理数据的速度、当前连接到节点的用户数、当前连接到节点的用户数的下载速度和上传速度、当前处理的任务的数量及任务占用的资源量、最大容许处理数据的总量、最大容许连接的用户数量等，在具体实施时，运行参数可以采用列举的一种参数或多种参数结合的方式；
预测模型包括：基于大量的历史节点监测报告的不同运行参数建立多个判定向量，及一一对应于判定向量的多个预测值；预测值为处理节点出现异常的概率值；
将运行参数代入预先建立的预测模型中确定处理节点出现异常的概率值，包括：
对运行参数进行特征提取，获得检测向量；
计算检测向量与每个判定向量的相似度，计算公式如下：
Figure 896967DEST_PATH_IMAGE001
；
其中，
Figure 856963DEST_PATH_IMAGE002
为检测向量与第
Figure 619383DEST_PATH_IMAGE003
个判定向量的相似度；
Figure 332124DEST_PATH_IMAGE004
为检测向量的第
Figure 318535DEST_PATH_IMAGE005
个元素值；
Figure 952778DEST_PATH_IMAGE006
为第
Figure 315627DEST_PATH_IMAGE003
个判定向量的第
Figure 902116DEST_PATH_IMAGE005
个元素值；以相似度值最大的判定向量对应的预测值确定当前 处理节点的稳定值，基于稳定值表示处理节点的稳定性；稳定值计算公式如下：
Figure 997110DEST_PATH_IMAGE007
;
其中，
Figure 915388DEST_PATH_IMAGE008
为相似度值最大的判定向量对应的预测值，
Figure 81927DEST_PATH_IMAGE009
为稳定值。
上述技术方案的工作原理及有益效果为：
在对处理节点进行筛选时主要考虑两个方面，第一、处理节点的处理性能要满足数据处理任务的处理能力的需求，例如数据节点处理数据的格式要与数据处理任务的格式相符，算力要大于数据处理任务的需求算力，历史处理数据的达成率是否满足数据处理任务的预设要求，处理节点的稳定性是否满足数据处理任务的预设稳定性要求等；第二、处理节点与数据来源的位置尽可能靠近，保证数据的传输链路尽可能短，减少数据在传输过程中风险；其中，数据处理任务的预设稳定性要求和对于处理节点的任务达成率可以由待处理数据的数据来源进行设置输入。
其中，处理节点的稳定性主要根据当前处理节点的运行参数代入基于处理节点的历史运行数据建立的预测模型中预测出出现异常的概率值确定；通过运行参数可以全面了解处理节点的运行情况，实现准确预测异常出现的概率，进而确定处理节点的稳定性，从而保证数据处理任务的准时准确的完成。
在一个实施例中，任务分配模块执行如下操作：
遍历存储数据网格内的存储节点，获取与数据来源的第一传输时间和与处理节点的第二传输时间的和值最小的存储节点作为第一存储位置；
获取第一存储位置的存储容量，当第一存储位置存储完数据处理任务后的剩余存储容量大于等于预估的处理结果大小时，将第一存储为位置同样作为存储处理结果的第二存储位置；当第一存储位置存储完数据处理任务后的剩余存储容量小于预估的处理结果大小时，将与数据来源的第一传输时间和与处理节点的第二传输时间的和值第二小的存储节点作为第二存储位置。
上述技术方案的工作原理及有益效果为：
以与数据来源的第一传输时间和与处理节点的第二传输时间的和值最小的存储节点作为第一存储位置，实现了数据传输时间最小，降低任务处理的速度在数据传输方面的损耗。
并且当第一存储位置在存储完数据处理任务时还能存储处理结果，就直接将第一存储位置作为存储处理结果的第二存储位置；当不满足是，将与数据来源的第一传输时间和与处理节点的第二传输时间的和值第二小的存储节点作为第二存储位置。
在一个实施例中，任务分配模块还执行如下操作：
在将数据处理任务存储至第一存储位置前，计算数据处理任务的第一哈希值；
将第一哈希值在发送第一存储位置和第二存储位置至对应的任务节点时进行同步发送，发送给任务节点；
任务节点在读取数据处理任务后，采用第一哈希值对数据处理任务进行验证；
当处理节点验证通过后，处理数据处理任务，生成处理结果；
计算处理结果的第二哈希值，待处理数据的数据来源在获取存储在第二存储位置的数据时，同步获取第二哈希值；
数据来源基于第二哈希值对获取的第二存储位置的数据进行验证，当验证不通过时，发送重启数据处理任务的第一指令；
接收到第一指令时，重新对处理节点筛选确定任务节点，将数据处理任务在内存数据网格的第一存储位置以及预设的用于接收数据处理任务的处理结果的第二存储位置发送至重新筛选后的任务节点；
和/或，
在将数据处理任务存储至第一存储位置时，将数据处理任务基于预设规则进行分块，并将分块后的分块数据存储至第一存储位置的不连续的存储单元中；获取各个存储单元的地址；将地址按照其存储的分块数据的顺序排列形成地址串，在将第一存储位置发送至任务节点时，同步发送地址串；
其中，预设规则包括：
将数据处理任务均分为N个分块数据；将分块数据按照在数据处理任务中的顺序进行编号；将每个分块数据再次均分为M位数据组；提取每个分块数据的第H位的数据组进行排序，提取排序后K个数据组放置到排序的数据组前端；然后按照分块数据的编号，依次将调整后的排序数据组放回到分块数据的第H位中。
上述技术方案的工作原理及有益效果为：
为了保证待处理数据在处理过程中数据安全，采用两个方面进行保证，第一方面，通过任务节点在获取数据处理任务时采用第一哈希值对数据处理任务进行验证，通过数据来源在获取处理结果时采用第二哈希值对处理结果进行验证；第二方面，通过对数据处理任务的数据进行预设规则的处理，实现保证数据安全性。
在一个实施例中，基于内存数据网格的数据处理系统，还包括：
监控模块，用于监控任务节点处理任务的情况；
监控模块执行如下操作：
每隔一第一预设时间对第二存储位置进行问询，确定第二存储位置的状态；当第二存储位置的状态为在前一次问询后至此次问询期间未发生任务节点的数据存储时，再次对处理节点筛选确定任务节点，将数据处理任务在内存数据网格的第一存储位置以及预设的用于接收数据处理任务的处理结果的第二存储位置发送至再次筛选后的任务节点；再次筛选后的任务节点基于第一存储位置的数据处理任务和第二存储位置的现有处理结果进行接力处理；
和/或，
每隔一第二预设时间对任务节点进行问询，获取任务节点的运行参数，基于运行参数确定任务节点的稳定性；当任务节点的稳定性低于预设阈值时，再次对处理节点筛选确定任务节点，将数据处理任务在内存数据网格的第一存储位置以及预设的用于接收数据处理任务的处理结果的第二存储位置发送至再次筛选后的任务节点；再次筛选后的任务节点基于第一存储位置的数据处理任务和第二存储位置的现有处理结果进行接力处理。
上述技术方案的工作原理及有益效果为：
对任务节点处理数据处理任务进行监控，保证数据处理任务的快速完成，监控可以从两个方面着手，一、第二存储位置的处理结果的存储情况，当存储情况异常时筛选出其他任务节点接替继续处理，保证数据处理任务的完成；第二、任务节点的稳定性，通过实时采集任务节点的运行参数；当表示稳定性的稳定值低于预设阈值时，替换任务节点继续执行任务。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。
这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于内存数据网格的数据处理方法，其特征在于，包括：
获取待处理数据；解析所述待处理数据，获取多个数据处理任务；
对内存数据网格上的处理节点进行筛选，获取多个任务节点；所述数据处理任务与所述任务节点一一对应；
将所述数据处理任务在所述内存数据网格的第一存储位置的第一存储位置信息以及预设的用于接收所述数据处理任务的处理结果的第二存储位置的第二存储位置信息发送至对应的所述任务节点。
2.如权利要求1所述的基于内存数据网格的数据处理方法，其特征在于；所述对内存数据网格上的处理节点进行筛选，获取多个任务节点，包括：
获取内存数据网格上处理节点的状态；
获取当前状态为空闲的所述处理节点的处理性能；
解析所述数据处理任务，确定对应的处理能力需求；
基于所述处理能力需求与所述处理节点的处理性能的匹配，确定所述数据处理任务对应的所述任务节点；
和/或，
获取所述数据处理任务的数据来源的第一位置信息；
获取所述处理节点的第二位置信息；
基于所述第一位置信息与所述第二位置信息进行匹配，确定所述数据处理任务对应的所述任务节点；
其中，所述处理性能包括：处理的数据类型、处理数据的速度、历史数据处理任务达成率和处理节点的稳定性其中一种或多种结合；
所述处理节点的稳定性通过如下步骤确定：
检测当前所述处理节点的运行参数，将所述运行参数代入预先建立的预测模型中确定所述处理节点出现异常的概率值；根据所述概率值确定所述处理节点的稳定性；
所述预测模型包括：基于大量的历史节点监测报告的不同运行参数建立多个判定向量，及一一对应于所述判定向量的多个预测值；所述预测值为所述处理节点出现异常的概率值；
所述将所述运行参数代入预先建立的预测模型中确定所述处理节点出现异常的概率值，包括：
对所述运行参数进行特征提取，获得检测向量；
计算检测向量与每个所述判定向量的相似度，计算公式如下：
Figure 592904DEST_PATH_IMAGE001
；
其中，
Figure 988114DEST_PATH_IMAGE002
为所述检测向量与第
Figure 536907DEST_PATH_IMAGE003
个所述判定向量的相似度；
Figure 687265DEST_PATH_IMAGE004
为所述检测向量的第
Figure 954299DEST_PATH_IMAGE005
个元素值；
Figure 153199DEST_PATH_IMAGE006
为第
Figure 618815DEST_PATH_IMAGE003
个所述判定向量的第
Figure 877758DEST_PATH_IMAGE005
个元素值；以所述相似度值最大的所述判定 向量对应的所述预测值确定当前所述处理节点的稳定值，基于所述稳定值表示所述处理节 点的稳定性；所述稳定值计算公式如下：
Figure 632088DEST_PATH_IMAGE007
;
其中，
Figure 932881DEST_PATH_IMAGE008
为所述相似度值最大的所述判定向量对应的所述预测值，
Figure 456266DEST_PATH_IMAGE009
为所述稳 定值。
3.如权利要求1所述的基于内存数据网格的数据处理方法，其特征在于；所述将所述数据处理任务在所述内存数据网格的第一存储位置的第一存储位置信息以及预设的用于接收所述数据处理任务的处理结果的第二存储位置的第二存储位置信息发送至对应的所述任务节点，包括：
遍历存储数据网格内的存储节点，获取与数据来源的第一传输时间和与所述处理节点的第二传输时间的和值最小的所述存储节点作为所述第一存储位置；
获取所述第一存储位置的存储容量，当所述第一存储位置存储完所述数据处理任务后的剩余存储容量大于等于预估的处理结果大小时，将所述第一存储为位置同样作为存储所述处理结果的第二存储位置；当所述第一存储位置存储完所述数据处理任务后的剩余存储容量小于预估的所述处理结果大小时，将与所述数据来源的第一传输时间和与所述处理节点的第二传输时间的和值第二小的所述存储节点作为所述第二存储位置。
4.如权利要求1所述的基于内存数据网格的数据处理方法，其特征在于，在将所述数据处理任务存储至第一存储位置前，计算所述数据处理任务的第一哈希值；
将所述第一哈希值在发送所述第一存储位置和所述第二存储位置至对应的所述任务节点时进行同步发送，发送给所述任务节点；
所述任务节点在读取所述数据处理任务后，采用所述第一哈希值对所述数据处理任务进行验证；
当所述处理节点验证通过后，处理所述数据处理任务，生成处理结果；
计算所述处理结果的第二哈希值，所述待处理数据的数据来源在获取存储在所述第二存储位置的数据时，同步获取所述第二哈希值；
所述数据来源基于所述第二哈希值对获取的所述第二存储位置的数据进行验证，当验证不通过时，发送重启所述数据处理任务的第一指令；
接收到所述第一指令时，重新对所述处理节点筛选确定所述任务节点，将所述数据处理任务在所述内存数据网格的第一存储位置以及预设的用于接收所述数据处理任务的处理结果的第二存储位置发送至重新筛选后的所述任务节点；
和/或，
在将所述数据处理任务存储至第一存储位置时，将所述数据处理任务基于预设规则进行分块，并将分块后的分块数据存储至所述第一存储位置的不连续的存储单元中；获取各个所述存储单元的地址；将所述地址按照其存储的分块数据的顺序排列形成地址串，在将所述第一存储位置发送至所述任务节点时，同步发送所述地址串；
其中，预设规则包括：
将所述数据处理任务均分为N个分块数据；将分块数据按照在所述数据处理任务中的顺序进行编号；将每个所述分块数据再次均分为M位数据组；提取每个所述分块数据的第H位的数据组进行排序，提取排序后K个数据组放置到排序的数据组前端；然后按照所述分块数据的编号，依次将调整后的排序数据组放回到所述分块数据的第H位中。
5.如权利要求1所述的基于内存数据网格的数据处理方法，其特征在于；还包括：
每隔一第一预设时间对所述第二存储位置进行问询，确定所述第二存储位置的状态；当所述第二存储位置的状态为在前一次问询后至此次问询期间未发生所述任务节点的数据存储时，再次对所述处理节点筛选确定所述任务节点，将所述数据处理任务在所述内存数据网格的第一存储位置以及预设的用于接收所述数据处理任务的处理结果的第二存储位置发送至再次筛选后的所述任务节点；再次筛选后的任务节点基于所述第一存储位置的所述数据处理任务和所述第二存储位置的现有所述处理结果进行接力处理；
和/或，
每隔一第二预设时间对所述任务节点进行问询，获取所述任务节点的运行参数，基于所述运行参数确定所述任务节点的稳定性；当所述任务节点的稳定性低于预设阈值时，再次对所述处理节点筛选确定所述任务节点，将所述数据处理任务在所述内存数据网格的第一存储位置以及预设的用于接收所述数据处理任务的处理结果的第二存储位置发送至再次筛选后的所述任务节点；再次筛选后的任务节点基于所述第一存储位置的所述数据处理任务和所述第二存储位置的现有所述处理结果进行接力处理。
6.一种基于内存数据网格的数据处理系统，其特征在于，包括：
数据处理任务生成模块，用于获取待处理数据；解析所述待处理数据，获取多个数据处理任务；
任务节点确定模块，用于对内存数据网格上的处理节点进行筛选，获取多个任务节点；所述数据处理任务与所述任务节点一一对应；
任务分配模块，用于将所述数据处理任务在所述内存数据网格的第一存储位置的第一存储位置信息以及预设的用于接收所述数据处理任务的处理结果的第二存储位置的第二存储位置信息发送至对应的所述任务节点。
7.如权利要求6所述的基于内存数据网格的数据处理系统，其特征在于；所述任务节点确定模块执行如下操作：
获取内存数据网格上处理节点的状态；
获取当前状态为空闲的所述处理节点的处理性能；
解析所述数据处理任务，确定对应的处理能力需求；
基于所述处理能力需求与所述处理节点的处理性能的匹配，确定所述数据处理任务对应的所述任务节点；
和/或，
获取所述数据处理任务的数据来源的第一位置信息；
获取所述处理节点的第二位置信息；
基于所述第一位置信息与所述第二位置信息进行匹配，确定所述数据处理任务对应的所述任务节点；
其中，所述处理性能包括：处理的数据类型、处理数据的速度、历史数据处理任务达成率和处理节点的稳定性其中一种或多种结合；
所述处理节点的稳定性通过如下步骤确定：
检测当前所述处理节点的运行参数，将所述运行参数代入预先建立的预测模型中确定所述处理节点出现异常的概率值；根据所述概率值确定所述处理节点的稳定性；
所述预测模型包括：基于大量的历史节点监测报告的不同运行参数建立多个判定向量，及一一对应于所述判定向量的多个预测值；所述预测值为所述处理节点出现异常的概率值；
所述将所述运行参数代入预先建立的预测模型中确定所述处理节点出现异常的概率值，包括：
对所述运行参数进行特征提取，获得检测向量；
计算检测向量与每个所述判定向量的相似度，计算公式如下：
Figure 948428DEST_PATH_IMAGE010
;
其中，
Figure 924474DEST_PATH_IMAGE011
为所述检测向量与第
Figure 465177DEST_PATH_IMAGE012
个所述判定向量的相似度；
Figure 170964DEST_PATH_IMAGE013
为所述检测向量的第
Figure 506131DEST_PATH_IMAGE014
个元素值；
Figure 235052DEST_PATH_IMAGE015
为第
Figure 376184DEST_PATH_IMAGE012
个所述判定向量的第
Figure 874161DEST_PATH_IMAGE014
个元素值；以所述相似度值最大的所述判定 向量对应的所述预测值确定当前所述处理节点的稳定值，基于所述稳定值表示所述处理节 点的稳定性；所述稳定值计算公式如下：
Figure 380229DEST_PATH_IMAGE016
;
其中，
Figure 154369DEST_PATH_IMAGE017
为所述相似度值最大的所述判定向量对应的所述预测值，
Figure 36874DEST_PATH_IMAGE018
为所述稳 定值。
8.如权利要求6所述的基于内存数据网格的数据处理系统，其特征在于；所述任务分配模块执行如下操作：
遍历存储数据网格内的存储节点，获取与数据来源的第一传输时间和与所述处理节点的第二传输时间的和值最小的所述存储节点作为所述第一存储位置；
获取所述第一存储位置的存储容量，当所述第一存储位置存储完所述数据处理任务后的剩余存储容量大于等于预估的处理结果大小时，将所述第一存储为位置同样作为存储所述处理结果的第二存储位置；当所述第一存储位置存储完所述数据处理任务后的剩余存储容量小于预估的所述处理结果大小时，将与所述数据来源的第一传输时间和与所述处理节点的第二传输时间的和值第二小的所述存储节点作为所述第二存储位置。
9.如权利要求6所述的基于内存数据网格的数据处理系统，其特征在于，所述任务分配模块还执行如下操作：
在将所述数据处理任务存储至第一存储位置前，计算所述数据处理任务的第一哈希值；
将所述第一哈希值在发送所述第一存储位置和所述第二存储位置至对应的所述任务节点时进行同步发送，发送给所述任务节点；
所述任务节点在读取所述数据处理任务后，采用所述第一哈希值对所述数据处理任务进行验证；
当所述处理节点验证通过后，处理所述数据处理任务，生成处理结果；
计算所述处理结果的第二哈希值，所述待处理数据的数据来源在获取存储在所述第二存储位置的数据时，同步获取所述第二哈希值；
所述数据来源基于所述第二哈希值对获取的所述第二存储位置的数据进行验证，当验证不通过时，发送重启所述数据处理任务的第一指令；
接收到所述第一指令时，重新对所述处理节点筛选确定所述任务节点，将所述数据处理任务在所述内存数据网格的第一存储位置以及预设的用于接收所述数据处理任务的处理结果的第二存储位置发送至重新筛选后的所述任务节点；
和/或，
在将所述数据处理任务存储至第一存储位置时，将所述数据处理任务基于预设规则进行分块，并将分块后的分块数据存储至所述第一存储位置的不连续的存储单元中；获取各个所述存储单元的地址；将所述地址按照其存储的分块数据的顺序排列形成地址串，在将所述第一存储位置发送至所述任务节点时，同步发送所述地址串；
其中，预设规则包括：
将所述数据处理任务均分为N个分块数据；将分块数据按照在所述数据处理任务中的顺序进行编号；将每个所述分块数据再次均分为M位数据组；提取每个所述分块数据的第H位的数据组进行排序，提取排序后K个数据组放置到排序的数据组前端；然后按照所述分块数据的编号，依次将调整后的排序数据组放回到所述分块数据的第H位中。
10.如权利要求6所述的基于内存数据网格的数据处理系统，其特征在于；还包括：
监控模块，用于监控所述任务节点处理任务的情况；
所述监控模块执行如下操作：
每隔一第一预设时间对所述第二存储位置进行问询，确定所述第二存储位置的状态；当所述第二存储位置的状态为在前一次问询后至此次问询期间未发生所述任务节点的数据存储时，再次对所述处理节点筛选确定所述任务节点，将所述数据处理任务在所述内存数据网格的第一存储位置以及预设的用于接收所述数据处理任务的处理结果的第二存储位置发送至再次筛选后的所述任务节点；再次筛选后的任务节点基于所述第一存储位置的所述数据处理任务和所述第二存储位置的现有所述处理结果进行接力处理；
和/或，
每隔一第二预设时间对所述任务节点进行问询，获取所述任务节点的运行参数，基于所述运行参数确定所述任务节点的稳定性；当所述任务节点的稳定性低于预设阈值时，再次对所述处理节点筛选确定所述任务节点，将所述数据处理任务在所述内存数据网格的第一存储位置以及预设的用于接收所述数据处理任务的处理结果的第二存储位置发送至再次筛选后的所述任务节点；再次筛选后的任务节点基于所述第一存储位置的所述数据处理任务和所述第二存储位置的现有所述处理结果进行接力处理。
CN202110138455.XA 2021-02-02 2021-02-02 一种基于内存数据网格的数据处理方法及系统 Active CN112698957B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110138455.XA CN112698957B (zh) 2021-02-02 2021-02-02 一种基于内存数据网格的数据处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110138455.XA CN112698957B (zh) 2021-02-02 2021-02-02 一种基于内存数据网格的数据处理方法及系统

Publications (2)

Publication Number Publication Date
CN112698957A true CN112698957A (zh) 2021-04-23
CN112698957B CN112698957B (zh) 2024-02-20

Family

ID=75516527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110138455.XA Active CN112698957B (zh) 2021-02-02 2021-02-02 一种基于内存数据网格的数据处理方法及系统

Country Status (1)

Country Link
CN (1) CN112698957B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103488699A (zh) * 2013-09-04 2014-01-01 用友软件股份有限公司 基于内存数据网格的数据处理装置和方法
CN104461779A (zh) * 2014-11-28 2015-03-25 华为技术有限公司 一种分布式数据的存储方法、装置及系统
US9852161B2 (en) * 2014-04-14 2017-12-26 International Business Machines Corporation Autonomic data partition placement in an in-memory data grid
CN107977446A (zh) * 2017-12-11 2018-05-01 江苏润和软件股份有限公司 一种基于数据分区的内存网格数据加载方法
CN110851282A (zh) * 2019-11-14 2020-02-28 北京东方通科技股份有限公司 一种基于内存网格的分布式数据计算方法及系统
CN111291059A (zh) * 2020-05-12 2020-06-16 北京东方通科技股份有限公司 基于内存数据网格的数据处理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103488699A (zh) * 2013-09-04 2014-01-01 用友软件股份有限公司 基于内存数据网格的数据处理装置和方法
US9852161B2 (en) * 2014-04-14 2017-12-26 International Business Machines Corporation Autonomic data partition placement in an in-memory data grid
CN104461779A (zh) * 2014-11-28 2015-03-25 华为技术有限公司 一种分布式数据的存储方法、装置及系统
CN107977446A (zh) * 2017-12-11 2018-05-01 江苏润和软件股份有限公司 一种基于数据分区的内存网格数据加载方法
CN110851282A (zh) * 2019-11-14 2020-02-28 北京东方通科技股份有限公司 一种基于内存网格的分布式数据计算方法及系统
CN111291059A (zh) * 2020-05-12 2020-06-16 北京东方通科技股份有限公司 基于内存数据网格的数据处理方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
丁鹏;: "内存网格关键技术探析", 今日科苑, no. 24 *
周二专;冯东豪;武志刚;: "内存计算技术及在电网分析中的应用", 电力系统自动化, no. 11 *
褚瑞;肖侬;卢锡城;: "一种基于内存服务的内存共享网格系统", 计算机学报, no. 07 *

Also Published As

Publication number Publication date
CN112698957B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
KR102522005B1 (ko) 가상 네트워크 관리를 위한 머신 러닝 기반 vnf 이상 탐지 시스템 및 방법
CN111262750B (zh) 一种用于评估基线模型的方法及系统
CN111125059A (zh) 数据迁移方法、装置、存储介质及服务器
CN111930526B (zh) 负载预测方法、装置、计算机设备和存储介质
CN111753875A (zh) 一种电力信息系统运行趋势分析方法、装置及存储介质
CN114880312B (zh) 一种可柔性设置的应用系统业务数据稽核方法
CN113242213B (zh) 一种电力通信骨干网节点脆弱性诊断方法
CN109409780B (zh) 变更处理方法、装置、计算机设备和存储介质
US11711310B2 (en) System and method for determining a network performance property in at least one network
CN112698957B (zh) 一种基于内存数据网格的数据处理方法及系统
CN116030955B (zh) 基于物联网的医疗设备状态监测方法及相关装置
CN116414717A (zh) 基于流量回放的自动测试方法、装置、设备、介质及产品
US20230156043A1 (en) System and method of supporting decision-making for security management
CN108229585B (zh) 一种日志的归类方法及系统
CN114598480B (zh) 一种网络安全运营平台机器数据处理方法及系统
CN110609761A (zh) 确定故障源的方法、装置、存储介质和电子设备
CN107517474B (zh) 一种网络分析优化方法及装置
CN112712194A (zh) 一种用电成本智能优化分析的电量预测方法及装置
CN113535458A (zh) 异常误报的处理方法及装置、存储介质、终端
CN115237606B (zh) 一种边缘计算控制系统
CN114676868A (zh) 物流货量预测方法、装置、计算机设备和存储介质
CN112379656A (zh) 工业系统异常数据的检测的处理方法、装置、设备和介质
CN113348473A (zh) 管理人工智能模块的安装基础
CN112069168A (zh) 一种设备运行数据云端存储方法
CN115906170B (zh) 应用于存储集群的安全防护方法及ai系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant