CN112698957B - 一种基于内存数据网格的数据处理方法及系统 - Google Patents
一种基于内存数据网格的数据处理方法及系统 Download PDFInfo
- Publication number
- CN112698957B CN112698957B CN202110138455.XA CN202110138455A CN112698957B CN 112698957 B CN112698957 B CN 112698957B CN 202110138455 A CN202110138455 A CN 202110138455A CN 112698957 B CN112698957 B CN 112698957B
- Authority
- CN
- China
- Prior art keywords
- data
- task
- processing
- node
- storage position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 558
- 238000012216 screening Methods 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims description 62
- 230000005540 biological transmission Effects 0.000 claims description 40
- 230000005856 abnormality Effects 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000012544 monitoring process Methods 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 14
- 238000012795 verification Methods 0.000 claims description 12
- 238000013500 data storage Methods 0.000 claims description 6
- 238000000638 solvent extraction Methods 0.000 claims 4
- 230000009286 beneficial effect Effects 0.000 description 10
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于内存数据网格的数据处理方法及系统,其中,方法包括:获取待处理数据;解析待处理数据,获取多个数据处理任务;对内存数据网格上的处理节点进行筛选,获取多个任务节点;数据处理任务与任务节点一一对应;将数据处理任务在内存数据网格的第一存储位置的第一存储位置信息以及预设的用于接收数据处理任务的处理结果的第二存储位置的第二存储位置信息发送至对任务节点。本发明基于内存数据网格的数据处理方法,将待处理数据细分为多个处理任务,以内存数据网格内的处理节点与处理任务进行适配,提高处理数据的速度。
Description
技术领域
本发明涉及数据处理技术领域,特别涉及一种基于内存数据网格的数据处理方法及系统。
背景技术
目前,内存数据网格IMDG是内存数据库,它的主要目标是在物理内存不足的情况下,提高内存密集型应用或IO密集型应用的系统性能,内存数据网格被视为处理迅速、多样和大数据量的大数据的一种方式,将数据存储到内存中,并使其分布到多个服务器上。
为了使内存数据网格具有更广的应用前景,如何提高基于内存数据网格的数据处理的速度,是亟需解决的技术问题。
发明内容
本发明目的之一在于提供了一种基于内存数据网格的数据处理方法,将待处理数据细分为多个处理任务,以内存数据网格内的处理节点与处理任务进行适配,提高处理数据的速度。
本发明实施例中提供的一种基于内存数据网格的数据处理方法,包括:
获取待处理数据;解析待处理数据,获取多个数据处理任务;
对内存数据网格上的处理节点进行筛选,获取多个任务节点;数据处理任务与任务节点一一对应;
将数据处理任务在内存数据网格的第一存储位置的第一存储位置信息以及预设的用于接收数据处理任务的处理结果的第二存储位置的第二存储位置信息发送至对应的任务节点。
优选的,对内存数据网格上的处理节点进行筛选,获取多个任务节点,包括:
获取内存数据网格上处理节点的状态;
获取当前状态为空闲的处理节点的处理性能;
解析数据处理任务,确定对应的处理能力需求;
基于处理能力需求与处理节点的处理性能的匹配,确定数据处理任务对应的任务节点;
和/或,
获取数据处理任务的数据来源的第一位置信息;
获取处理节点的第二位置信息;
基于第一位置信息与第二位置信息进行匹配,确定数据处理任务对应的任务节点;
其中,处理性能包括:处理的数据类型、处理数据的速度、历史数据处理任务达成率和处理节点的稳定性其中一种或多种结合;
处理节点的稳定性通过如下步骤确定:
检测当前处理节点的运行参数,将运行参数代入预先建立的预测模型中确定处理节点出现异常的概率值;根据概率值确定处理节点的稳定性;
预测模型包括:基于大量的历史节点监测报告的不同运行参数建立多个判定向量,及一一对应于判定向量的多个预测值;预测值为处理节点出现异常的概率值;
将运行参数代入预先建立的预测模型中确定处理节点出现异常的概率值,包括:
对运行参数进行特征提取,获得检测向量;
计算检测向量与每个判定向量的相似度,计算公式如下:
;
其中,为检测向量与第个判定向量的相似度;为检测向量的第个元素值;
为第个判定向量的第个元素值;以相似度值最大的判定向量对应的预测值确定当前处理
节点的稳定值,基于稳定值表示处理节点的稳定性;稳定值计算公式如下:
;
其中,为相似度值最大的判定向量对应的预测值,为稳定值。
优选的,将数据处理任务在内存数据网格的第一存储位置的第一存储位置信息以及预设的用于接收数据处理任务的处理结果的第二存储位置的第二存储位置信息发送至对应的任务节点,包括:
遍历存储数据网格内的存储节点,获取与数据来源的第一传输时间和与处理节点的第二传输时间的和值最小的存储节点作为第一存储位置;
获取第一存储位置的存储容量,当第一存储位置存储完数据处理任务后的剩余存储容量大于等于预估的处理结果大小时,将第一存储为位置同样作为存储处理结果的第二存储位置;当第一存储位置存储完数据处理任务后的剩余存储容量小于预估的处理结果大小时,将与数据来源的第一传输时间和与处理节点的第二传输时间的和值第二小的存储节点作为第二存储位置。
优选的,在将数据处理任务存储至第一存储位置前,计算数据处理任务的第一哈希值;
将第一哈希值在发送第一存储位置和第二存储位置至对应的任务节点时进行同步发送,发送给任务节点;
任务节点在读取数据处理任务后,采用第一哈希值对数据处理任务进行验证;
当处理节点验证通过后,处理数据处理任务,生成处理结果;
计算处理结果的第二哈希值,待处理数据的数据来源在获取存储在第二存储位置的数据时,同步获取第二哈希值;
数据来源基于第二哈希值对获取的第二存储位置的数据进行验证,当验证不通过时,发送重启数据处理任务的第一指令;
接收到第一指令时,重新对处理节点筛选确定任务节点,将数据处理任务在内存数据网格的第一存储位置以及预设的用于接收数据处理任务的处理结果的第二存储位置发送至重新筛选后的任务节点;
和/或,
在将数据处理任务存储至第一存储位置时,将数据处理任务基于预设规则进行分块,并将分块后的分块数据存储至第一存储位置的不连续的存储单元中;获取各个存储单元的地址;将地址按照其存储的分块数据的顺序排列形成地址串,在将第一存储位置发送至任务节点时,同步发送地址串;
其中,预设规则包括:
将数据处理任务均分为N个分块数据;将分块数据按照在数据处理任务中的顺序进行编号;将每个分块数据再次均分为M位数据组;提取每个分块数据的第H位的数据组进行排序,提取排序后K个数据组放置到排序的数据组前端;然后按照分块数据的编号,依次将调整后的排序数据组放回到分块数据的第H位中。
优选的,基于内存数据网格的数据处理方法,还包括:
每隔一第一预设时间对第二存储位置进行问询,确定第二存储位置的状态;当第二存储位置的状态为在前一次问询后至此次问询期间未发生任务节点的数据存储时,再次对处理节点筛选确定任务节点,将数据处理任务在内存数据网格的第一存储位置以及预设的用于接收数据处理任务的处理结果的第二存储位置发送至再次筛选后的任务节点;再次筛选后的任务节点基于第一存储位置的数据处理任务和第二存储位置的现有处理结果进行接力处理;
和/或,
每隔一第二预设时间对任务节点进行问询,获取任务节点的运行参数,基于运行参数确定任务节点的稳定性;当任务节点的稳定性低于预设阈值时,再次对处理节点筛选确定任务节点,将数据处理任务在内存数据网格的第一存储位置以及预设的用于接收数据处理任务的处理结果的第二存储位置发送至再次筛选后的任务节点;再次筛选后的任务节点基于第一存储位置的数据处理任务和第二存储位置的现有处理结果进行接力处理。
本发明还提供一种基于内存数据网格的数据处理系统,包括:
数据处理任务生成模块,用于获取待处理数据;解析待处理数据,获取多个数据处理任务;
任务节点确定模块,用于对内存数据网格上的处理节点进行筛选,获取多个任务节点;数据处理任务与任务节点一一对应;
任务分配模块,用于将数据处理任务在内存数据网格的第一存储位置的第一存储位置信息以及预设的用于接收数据处理任务的处理结果的第二存储位置的第二存储位置信息发送至对应的任务节点。
优选的,任务节点确定模块执行如下操作:
获取内存数据网格上处理节点的状态;
获取当前状态为空闲的处理节点的处理性能;
解析数据处理任务,确定对应的处理能力需求;
基于处理能力需求与处理节点的处理性能的匹配,确定数据处理任务对应的任务节点;
和/或,
获取数据处理任务的数据来源的第一位置信息;
获取处理节点的第二位置信息;
基于第一位置信息与第二位置信息进行匹配,确定数据处理任务对应的任务节点;
其中,处理性能包括:处理的数据类型、处理数据的速度、历史数据处理任务达成率和处理节点的稳定性其中一种或多种结合;
处理节点的稳定性通过如下步骤确定:
检测当前处理节点的运行参数,将运行参数代入预先建立的预测模型中确定处理节点出现异常的概率值;根据概率值确定处理节点的稳定性;
预测模型包括:基于大量的历史节点监测报告的不同运行参数建立多个判定向量,及一一对应于判定向量的多个预测值;预测值为处理节点出现异常的概率值;
将运行参数代入预先建立的预测模型中确定处理节点出现异常的概率值,包括:
对运行参数进行特征提取,获得检测向量;
计算检测向量与每个判定向量的相似度,计算公式如下:
;
其中,为检测向量与第个判定向量的相似度;为检测向量的第个元素值;
为第个判定向量的第个元素值;以相似度值最大的判定向量对应的预测值确定当前处理
节点的稳定值,基于稳定值表示处理节点的稳定性;稳定值计算公式如下:
;
其中,为相似度值最大的判定向量对应的预测值,为稳定值。
优选的,任务分配模块执行如下操作:
遍历存储数据网格内的存储节点,获取与数据来源的第一传输时间和与处理节点的第二传输时间的和值最小的存储节点作为第一存储位置;
获取第一存储位置的存储容量,当第一存储位置存储完数据处理任务后的剩余存储容量大于等于预估的处理结果大小时,将第一存储为位置同样作为存储处理结果的第二存储位置;当第一存储位置存储完数据处理任务后的剩余存储容量小于预估的处理结果大小时,将与数据来源的第一传输时间和与处理节点的第二传输时间的和值第二小的存储节点作为第二存储位置。
优选的,任务分配模块还执行如下操作:
在将数据处理任务存储至第一存储位置前,计算数据处理任务的第一哈希值;
将第一哈希值在发送第一存储位置和第二存储位置至对应的任务节点时进行同步发送,发送给任务节点;
任务节点在读取数据处理任务后,采用第一哈希值对数据处理任务进行验证;
当处理节点验证通过后,处理数据处理任务,生成处理结果;
计算处理结果的第二哈希值,待处理数据的数据来源在获取存储在第二存储位置的数据时,同步获取第二哈希值;
数据来源基于第二哈希值对获取的第二存储位置的数据进行验证,当验证不通过时,发送重启数据处理任务的第一指令;
接收到第一指令时,重新对处理节点筛选确定任务节点,将数据处理任务在内存数据网格的第一存储位置以及预设的用于接收数据处理任务的处理结果的第二存储位置发送至重新筛选后的任务节点;
和/或,
在将数据处理任务存储至第一存储位置时,将数据处理任务基于预设规则进行分块,并将分块后的分块数据存储至第一存储位置的不连续的存储单元中;获取各个存储单元的地址;将地址按照其存储的分块数据的顺序排列形成地址串,在将第一存储位置发送至任务节点时,同步发送地址串;
其中,预设规则包括:
将数据处理任务均分为N个分块数据;将分块数据按照在数据处理任务中的顺序进行编号;将每个分块数据再次均分为M位数据组;提取每个分块数据的第H位的数据组进行排序,提取排序后K个数据组放置到排序的数据组前端;然后按照分块数据的编号,依次将调整后的排序数据组放回到分块数据的第H位中。
优选的,基于内存数据网格的数据处理系统,还包括:
监控模块,用于监控任务节点处理任务的情况;
监控模块执行如下操作:
每隔一第一预设时间对第二存储位置进行问询,确定第二存储位置的状态;当第二存储位置的状态为在前一次问询后至此次问询期间未发生任务节点的数据存储时,再次对处理节点筛选确定任务节点,将数据处理任务在内存数据网格的第一存储位置以及预设的用于接收数据处理任务的处理结果的第二存储位置发送至再次筛选后的任务节点;再次筛选后的任务节点基于第一存储位置的数据处理任务和第二存储位置的现有处理结果进行接力处理;
和/或,
每隔一第二预设时间对任务节点进行问询,获取任务节点的运行参数,基于运行参数确定任务节点的稳定性;当任务节点的稳定性低于预设阈值时,再次对处理节点筛选确定任务节点,将数据处理任务在内存数据网格的第一存储位置以及预设的用于接收数据处理任务的处理结果的第二存储位置发送至再次筛选后的任务节点;再次筛选后的任务节点基于第一存储位置的数据处理任务和第二存储位置的现有处理结果进行接力处理。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。
本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。
在附图中:
图1为本发明实施例中一种基于内存数据网格的数据处理方法的示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
本发明实施例提供了一种基于内存数据网格的数据处理方法,如图1所示,包括:
步骤S1:获取待处理数据;解析待处理数据,获取多个数据处理任务;
步骤S2:对内存数据网格上的处理节点进行筛选,获取多个任务节点;数据处理任务与任务节点一一对应;
步骤S3:将数据处理任务在内存数据网格的第一存储位置的第一存储位置信息以及预设的用于接收数据处理任务的处理结果的第二存储位置的第二存储位置信息发送至对应的任务节点。
上述技术方案的工作原理及有益效果为:
在获取待处理数据后,对待处理数据进行预处理,将待处理数据细分为多个数据处理任务,并对数据处理任务进行评估,确定需要的处理算力等,然后对当前在内存数据网格上的处理节点进行筛选,为每一个数据处理任务确定最适宜的处理节点为该数据处理任务的任务节点;任务节点从内存数据网格的第一存储位置获取数据处理任务进行处理并将处理结果存储至内存数据网格的第二存储位置中,方便提供待处理数据的数据来源提取数据处理结果并整合。
本发明的基于内存数据网格的数据处理方法,将待处理数据细分为多个处理任务,以内存数据网格内的处理节点与处理任务进行适配,提高处理数据的速度。
在一个实施例中,对内存数据网格上的处理节点进行筛选,获取多个任务节点,包括:
获取内存数据网格上处理节点的状态;
获取当前状态为空闲的处理节点的处理性能;
解析数据处理任务,确定对应的处理能力需求;
基于处理能力需求与处理节点的处理性能的匹配,确定数据处理任务对应的任务节点;
和/或,
获取数据处理任务的数据来源的第一位置信息;
获取处理节点的第二位置信息;
基于第一位置信息与第二位置信息进行匹配,确定数据处理任务对应的任务节点;
其中,处理性能包括:处理的数据类型、处理数据的速度、历史数据处理任务达成率和处理节点的稳定性其中一种或多种结合;
处理节点的稳定性通过如下步骤确定:
检测当前处理节点的运行参数,将运行参数代入预先建立的预测模型中确定处理节点出现异常的概率值;根据概率值确定处理节点的稳定性;例如,运行参数包括:电压、电流、内阻、温度、处理数据的速度、当前连接到节点的用户数、当前连接到节点的用户数的下载速度和上传速度、当前处理的任务的数量及任务占用的资源量、最大容许处理数据的总量、最大容许连接的用户数量等,在具体实施时,运行参数可以采用列举的一种参数或多种参数结合的方式;
预测模型包括:基于大量的历史节点监测报告的不同运行参数建立多个判定向量,及一一对应于判定向量的多个预测值;预测值为处理节点出现异常的概率值;
将运行参数代入预先建立的预测模型中确定处理节点出现异常的概率值,包括:
对运行参数进行特征提取,获得检测向量;
计算检测向量与每个判定向量的相似度,计算公式如下:
;
其中,为检测向量与第个判定向量的相似度;为检测向量的第个元素值;
为第个判定向量的第个元素值;以相似度值最大的判定向量对应的预测值确定当前处理
节点的稳定值,基于稳定值表示处理节点的稳定性;稳定值计算公式如下:
;
其中,为相似度值最大的判定向量对应的预测值,为稳定值。
上述技术方案的工作原理及有益效果为:
在对处理节点进行筛选时主要考虑两个方面,第一、处理节点的处理性能要满足数据处理任务的处理能力的需求,例如数据节点处理数据的格式要与数据处理任务的格式相符,算力要大于数据处理任务的需求算力,历史处理数据的达成率是否满足数据处理任务的预设要求,处理节点的稳定性是否满足数据处理任务的预设稳定性要求等;第二、处理节点与数据来源的位置尽可能靠近,保证数据的传输链路尽可能短,减少数据在传输过程中风险;其中,数据处理任务的预设稳定性要求和对于处理节点的任务达成率可以由待处理数据的数据来源进行设置输入。
其中,处理节点的稳定性主要根据当前处理节点的运行参数代入基于处理节点的历史运行数据建立的预测模型中预测出出现异常的概率值确定;通过运行参数可以全面了解处理节点的运行情况,实现准确预测异常出现的概率,进而确定处理节点的稳定性,从而保证数据处理任务的准时准确的完成。
在一个实施例中,将数据处理任务在内存数据网格的第一存储位置的第一存储位置信息以及预设的用于接收数据处理任务的处理结果的第二存储位置的第二存储位置信息发送至对应的任务节点,包括:
遍历存储数据网格内的存储节点,获取与数据来源的第一传输时间和与处理节点的第二传输时间的和值最小的存储节点作为第一存储位置;
获取第一存储位置的存储容量,当第一存储位置存储完数据处理任务后的剩余存储容量大于等于预估的处理结果大小时,将第一存储为位置同样作为存储处理结果的第二存储位置;当第一存储位置存储完数据处理任务后的剩余存储容量小于预估的处理结果大小时,将与数据来源的第一传输时间和与处理节点的第二传输时间的和值第二小的存储节点作为第二存储位置。
上述技术方案的工作原理及有益效果为:
以与数据来源的第一传输时间和与处理节点的第二传输时间的和值最小的存储节点作为第一存储位置,实现了数据传输时间最小,降低任务处理的速度在数据传输方面的损耗。
并且当第一存储位置在存储完数据处理任务时还能存储处理结果,就直接将第一存储位置作为存储处理结果的第二存储位置;当不满足时,将与数据来源的第一传输时间和与处理节点的第二传输时间的和值第二小的存储节点作为第二存储位置。
在一个实施例中,在将数据处理任务存储至第一存储位置前,计算数据处理任务的第一哈希值;
将第一哈希值在发送第一存储位置和第二存储位置至对应的任务节点时进行同步发送,发送给任务节点;
任务节点在读取数据处理任务后,采用第一哈希值对数据处理任务进行验证;
当处理节点验证通过后,处理数据处理任务,生成处理结果;
计算处理结果的第二哈希值,待处理数据的数据来源在获取存储在第二存储位置的数据时,同步获取第二哈希值;
数据来源基于第二哈希值对获取的第二存储位置的数据进行验证,当验证不通过时,发送重启数据处理任务的第一指令;
接收到第一指令时,重新对处理节点筛选确定任务节点,将数据处理任务在内存数据网格的第一存储位置以及预设的用于接收数据处理任务的处理结果的第二存储位置发送至重新筛选后的任务节点;
和/或,
在将数据处理任务存储至第一存储位置时,将数据处理任务基于预设规则进行分块,并将分块后的分块数据存储至第一存储位置的不连续的存储单元中;获取各个存储单元的地址;将地址按照其存储的分块数据的顺序排列形成地址串,在将第一存储位置发送至任务节点时,同步发送地址串;
其中,预设规则包括:
将数据处理任务均分为N个分块数据;将分块数据按照在数据处理任务中的顺序进行编号;将每个分块数据再次均分为M位数据组;提取每个分块数据的第H位的数据组进行排序,提取排序后K个数据组放置到排序的数据组前端;然后按照分块数据的编号,依次将调整后的排序数据组放回到分块数据的第H位中。
上述技术方案的工作原理及有益效果为:
为了保证待处理数据在处理过程中数据安全,采用两个方面进行保证,第一方面,通过任务节点在获取数据处理任务时采用第一哈希值对数据处理任务进行验证,通过数据来源在获取处理结果时采用第二哈希值对处理结果进行验证;第二方面,通过对数据处理任务的数据进行预设规则的处理,实现保证数据安全性。
在一个实施例中,基于内存数据网格的数据处理方法,还包括:
每隔一第一预设时间对第二存储位置进行问询,确定第二存储位置的状态;当第二存储位置的状态为在前一次问询后至此次问询期间未发生任务节点的数据存储时,再次对处理节点筛选确定任务节点,将数据处理任务在内存数据网格的第一存储位置以及预设的用于接收数据处理任务的处理结果的第二存储位置发送至再次筛选后的任务节点;再次筛选后的任务节点基于第一存储位置的数据处理任务和第二存储位置的现有处理结果进行接力处理;
和/或,
每隔一第二预设时间对任务节点进行问询,获取任务节点的运行参数,基于运行参数确定任务节点的稳定性;当任务节点的稳定性低于预设阈值时,再次对处理节点筛选确定任务节点,将数据处理任务在内存数据网格的第一存储位置以及预设的用于接收数据处理任务的处理结果的第二存储位置发送至再次筛选后的任务节点;再次筛选后的任务节点基于第一存储位置的数据处理任务和第二存储位置的现有处理结果进行接力处理。
上述技术方案的工作原理及有益效果为:
对任务节点处理数据处理任务进行监控,保证数据处理任务的快速完成,监控可以从两个方面着手,一、第二存储位置的处理结果的存储情况,当存储情况异常时筛选出其他任务节点接替继续处理,保证数据处理任务的完成;第二、任务节点的稳定性,通过实时采集任务节点的运行参数;当表示稳定性的稳定值低于预设阈值时,替换任务节点继续执行任务。
本发明还提供一种基于内存数据网格的数据处理系统,包括:
数据处理任务生成模块,用于获取待处理数据;解析待处理数据,获取多个数据处理任务;
任务节点确定模块,用于对内存数据网格上的处理节点进行筛选,获取多个任务节点;数据处理任务与任务节点一一对应;
任务分配模块,用于将数据处理任务在内存数据网格的第一存储位置的第一存储位置信息以及预设的用于接收数据处理任务的处理结果的第二存储位置的第一存储位置信息发送至对应的任务节点。
上述技术方案的工作原理及有益效果为:
在获取待处理数据后,对待处理数据进行预处理,将待处理数据细分为多个数据处理任务,并对数据处理任务进行评估,确定需要的处理算力等,然后对当前在内存数据网格上的处理节点进行筛选,为每一个数据处理任务确定最适宜的处理节点为该数据处理任务的任务节点;任务节点从内存数据网格的第一存储位置获取数据处理任务进行处理并将处理结果存储至内存数据网格的第二存储位置中,方便提供待处理数据的数据来源提取数据处理结果并整合。
本发明的基于内存数据网格的数据处理系统,将待处理数据细分为多个处理任务,以内存数据网格内的处理节点与处理任务进行适配,提高处理数据的速度。
在一个实施例中,任务节点确定模块执行如下操作:
获取内存数据网格上处理节点的状态;
获取当前状态为空闲的处理节点的处理性能;
解析数据处理任务,确定对应的处理能力需求;
基于处理能力需求与处理节点的处理性能的匹配,确定数据处理任务对应的任务节点;
和/或,
获取数据处理任务的数据来源的第一位置信息;
获取处理节点的第二位置信息;
基于第一位置信息与第二位置信息进行匹配,确定数据处理任务对应的任务节点;
其中,处理性能包括:处理的数据类型、处理数据的速度、历史数据处理任务达成率和处理节点的稳定性其中一种或多种结合;
处理节点的稳定性通过如下步骤确定:
检测当前处理节点的运行参数,将运行参数代入预先建立的预测模型中确定处理节点出现异常的概率值;根据概率值确定处理节点的稳定性;例如,运行参数包括:电压、电流、内阻、温度、处理数据的速度、当前连接到节点的用户数、当前连接到节点的用户数的下载速度和上传速度、当前处理的任务的数量及任务占用的资源量、最大容许处理数据的总量、最大容许连接的用户数量等,在具体实施时,运行参数可以采用列举的一种参数或多种参数结合的方式;
预测模型包括:基于大量的历史节点监测报告的不同运行参数建立多个判定向量,及一一对应于判定向量的多个预测值;预测值为处理节点出现异常的概率值;
将运行参数代入预先建立的预测模型中确定处理节点出现异常的概率值,包括:
对运行参数进行特征提取,获得检测向量;
计算检测向量与每个判定向量的相似度,计算公式如下:
;
其中,为检测向量与第个判定向量的相似度;为检测向量的第个元素值;
为第个判定向量的第个元素值;以相似度值最大的判定向量对应的预测值确定当前处理
节点的稳定值,基于稳定值表示处理节点的稳定性;稳定值计算公式如下:
;
其中,为相似度值最大的判定向量对应的预测值,为稳定值。
上述技术方案的工作原理及有益效果为:
在对处理节点进行筛选时主要考虑两个方面,第一、处理节点的处理性能要满足数据处理任务的处理能力的需求,例如数据节点处理数据的格式要与数据处理任务的格式相符,算力要大于数据处理任务的需求算力,历史处理数据的达成率是否满足数据处理任务的预设要求,处理节点的稳定性是否满足数据处理任务的预设稳定性要求等;第二、处理节点与数据来源的位置尽可能靠近,保证数据的传输链路尽可能短,减少数据在传输过程中风险;其中,数据处理任务的预设稳定性要求和对于处理节点的任务达成率可以由待处理数据的数据来源进行设置输入。
其中,处理节点的稳定性主要根据当前处理节点的运行参数代入基于处理节点的历史运行数据建立的预测模型中预测出出现异常的概率值确定;通过运行参数可以全面了解处理节点的运行情况,实现准确预测异常出现的概率,进而确定处理节点的稳定性,从而保证数据处理任务的准时准确的完成。
在一个实施例中,任务分配模块执行如下操作:
遍历存储数据网格内的存储节点,获取与数据来源的第一传输时间和与处理节点的第二传输时间的和值最小的存储节点作为第一存储位置;
获取第一存储位置的存储容量,当第一存储位置存储完数据处理任务后的剩余存储容量大于等于预估的处理结果大小时,将第一存储为位置同样作为存储处理结果的第二存储位置;当第一存储位置存储完数据处理任务后的剩余存储容量小于预估的处理结果大小时,将与数据来源的第一传输时间和与处理节点的第二传输时间的和值第二小的存储节点作为第二存储位置。
上述技术方案的工作原理及有益效果为:
以与数据来源的第一传输时间和与处理节点的第二传输时间的和值最小的存储节点作为第一存储位置,实现了数据传输时间最小,降低任务处理的速度在数据传输方面的损耗。
并且当第一存储位置在存储完数据处理任务时还能存储处理结果,就直接将第一存储位置作为存储处理结果的第二存储位置;当不满足是,将与数据来源的第一传输时间和与处理节点的第二传输时间的和值第二小的存储节点作为第二存储位置。
在一个实施例中,任务分配模块还执行如下操作:
在将数据处理任务存储至第一存储位置前,计算数据处理任务的第一哈希值;
将第一哈希值在发送第一存储位置和第二存储位置至对应的任务节点时进行同步发送,发送给任务节点;
任务节点在读取数据处理任务后,采用第一哈希值对数据处理任务进行验证;
当处理节点验证通过后,处理数据处理任务,生成处理结果;
计算处理结果的第二哈希值,待处理数据的数据来源在获取存储在第二存储位置的数据时,同步获取第二哈希值;
数据来源基于第二哈希值对获取的第二存储位置的数据进行验证,当验证不通过时,发送重启数据处理任务的第一指令;
接收到第一指令时,重新对处理节点筛选确定任务节点,将数据处理任务在内存数据网格的第一存储位置以及预设的用于接收数据处理任务的处理结果的第二存储位置发送至重新筛选后的任务节点;
和/或,
在将数据处理任务存储至第一存储位置时,将数据处理任务基于预设规则进行分块,并将分块后的分块数据存储至第一存储位置的不连续的存储单元中;获取各个存储单元的地址;将地址按照其存储的分块数据的顺序排列形成地址串,在将第一存储位置发送至任务节点时,同步发送地址串;
其中,预设规则包括:
将数据处理任务均分为N个分块数据;将分块数据按照在数据处理任务中的顺序进行编号;将每个分块数据再次均分为M位数据组;提取每个分块数据的第H位的数据组进行排序,提取排序后K个数据组放置到排序的数据组前端;然后按照分块数据的编号,依次将调整后的排序数据组放回到分块数据的第H位中。
上述技术方案的工作原理及有益效果为:
为了保证待处理数据在处理过程中数据安全,采用两个方面进行保证,第一方面,通过任务节点在获取数据处理任务时采用第一哈希值对数据处理任务进行验证,通过数据来源在获取处理结果时采用第二哈希值对处理结果进行验证;第二方面,通过对数据处理任务的数据进行预设规则的处理,实现保证数据安全性。
在一个实施例中,基于内存数据网格的数据处理系统,还包括:
监控模块,用于监控任务节点处理任务的情况;
监控模块执行如下操作:
每隔一第一预设时间对第二存储位置进行问询,确定第二存储位置的状态;当第二存储位置的状态为在前一次问询后至此次问询期间未发生任务节点的数据存储时,再次对处理节点筛选确定任务节点,将数据处理任务在内存数据网格的第一存储位置以及预设的用于接收数据处理任务的处理结果的第二存储位置发送至再次筛选后的任务节点;再次筛选后的任务节点基于第一存储位置的数据处理任务和第二存储位置的现有处理结果进行接力处理;
和/或,
每隔一第二预设时间对任务节点进行问询,获取任务节点的运行参数,基于运行参数确定任务节点的稳定性;当任务节点的稳定性低于预设阈值时,再次对处理节点筛选确定任务节点,将数据处理任务在内存数据网格的第一存储位置以及预设的用于接收数据处理任务的处理结果的第二存储位置发送至再次筛选后的任务节点;再次筛选后的任务节点基于第一存储位置的数据处理任务和第二存储位置的现有处理结果进行接力处理。
上述技术方案的工作原理及有益效果为:
对任务节点处理数据处理任务进行监控,保证数据处理任务的快速完成,监控可以从两个方面着手,一、第二存储位置的处理结果的存储情况,当存储情况异常时筛选出其他任务节点接替继续处理,保证数据处理任务的完成;第二、任务节点的稳定性,通过实时采集任务节点的运行参数;当表示稳定性的稳定值低于预设阈值时,替换任务节点继续执行任务。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。
这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (8)
1.一种基于内存数据网格的数据处理方法,其特征在于,包括:
获取待处理数据;解析所述待处理数据,获取多个数据处理任务;
对内存数据网格上的处理节点进行筛选,获取多个任务节点;所述数据处理任务与所述任务节点一一对应;
将所述数据处理任务在所述内存数据网格的第一存储位置的第一存储位置信息以及预设的用于接收所述数据处理任务的处理结果的第二存储位置的第二存储位置信息发送至对应的所述任务节点;
其中,所述对内存数据网格上的处理节点进行筛选,获取多个任务节点,包括:
获取内存数据网格上处理节点的状态;
获取当前状态为空闲的所述处理节点的处理性能;
解析所述数据处理任务,确定对应的处理能力需求;
基于所述处理能力需求与所述处理节点的处理性能的匹配,确定所述数据处理任务对应的所述任务节点;
和/或,
获取所述数据处理任务的数据来源的第一位置信息;
获取所述处理节点的第二位置信息;
基于所述第一位置信息与所述第二位置信息进行匹配,确定所述数据处理任务对应的所述任务节点;
其中,所述处理性能包括:处理的数据类型、处理数据的速度、历史数据处理任务达成率和处理节点的稳定性其中一种或多种结合;
所述处理节点的稳定性通过如下步骤确定:
检测当前所述处理节点的运行参数,将所述运行参数代入预先建立的预测模型中确定所述处理节点出现异常的概率值;根据所述概率值确定所述处理节点的稳定性;
所述预测模型包括:基于大量的历史节点监测报告的不同运行参数建立多个判定向量,及一一对应于所述判定向量的多个预测值;所述预测值为所述处理节点出现异常的概率值;
所述将所述运行参数代入预先建立的预测模型中确定所述处理节点出现异常的概率值,包括:
对所述运行参数进行特征提取,获得检测向量;
计算检测向量与每个所述判定向量的相似度,计算公式如下:
;
其中,为所述检测向量与第/>个所述判定向量的相似度;/>为所述检测向量的第/>个元素值;/>为第/>个所述判定向量的第/>个元素值;以所述相似度值最大的所述判定向量对应的所述预测值确定当前所述处理节点的稳定值,基于所述稳定值表示所述处理节点的稳定性;所述稳定值计算公式如下:
;
其中,为所述相似度值最大的所述判定向量对应的所述预测值,/>为所述稳定值。
2.如权利要求1所述的基于内存数据网格的数据处理方法,其特征在于;所述将所述数据处理任务在所述内存数据网格的第一存储位置的第一存储位置信息以及预设的用于接收所述数据处理任务的处理结果的第二存储位置的第二存储位置信息发送至对应的所述任务节点,包括:
遍历存储数据网格内的存储节点,获取与数据来源的第一传输时间和与所述处理节点的第二传输时间的和值最小的所述存储节点作为所述第一存储位置;
获取所述第一存储位置的存储容量,当所述第一存储位置存储完所述数据处理任务后的剩余存储容量大于等于预估的处理结果大小时,将所述第一存储为位置同样作为存储所述处理结果的第二存储位置;当所述第一存储位置存储完所述数据处理任务后的剩余存储容量小于预估的所述处理结果大小时,将与所述数据来源的第一传输时间和与所述处理节点的第二传输时间的和值第二小的所述存储节点作为所述第二存储位置。
3.如权利要求1所述的基于内存数据网格的数据处理方法,其特征在于,在将所述数据处理任务存储至第一存储位置前,计算所述数据处理任务的第一哈希值;
将所述第一哈希值在发送所述第一存储位置和所述第二存储位置至对应的所述任务节点时进行同步发送,发送给所述任务节点;
所述任务节点在读取所述数据处理任务后,采用所述第一哈希值对所述数据处理任务进行验证;
当所述处理节点验证通过后,处理所述数据处理任务,生成处理结果;
计算所述处理结果的第二哈希值,所述待处理数据的数据来源在获取存储在所述第二存储位置的数据时,同步获取所述第二哈希值;
所述数据来源基于所述第二哈希值对获取的所述第二存储位置的数据进行验证,当验证不通过时,发送重启所述数据处理任务的第一指令;
接收到所述第一指令时,重新对所述处理节点筛选确定所述任务节点,将所述数据处理任务在所述内存数据网格的第一存储位置以及预设的用于接收所述数据处理任务的处理结果的第二存储位置发送至重新筛选后的所述任务节点;
和/或,
在将所述数据处理任务存储至第一存储位置时,将所述数据处理任务基于预设规则进行分块,并将分块后的分块数据存储至所述第一存储位置的不连续的存储单元中;获取各个所述存储单元的地址;将所述地址按照其存储的分块数据的顺序排列形成地址串,在将所述第一存储位置发送至所述任务节点时,同步发送所述地址串;
其中,预设规则包括:
将所述数据处理任务均分为N个分块数据;将分块数据按照在所述数据处理任务中的顺序进行编号;将每个所述分块数据再次均分为M位数据组;提取每个所述分块数据的第H位的数据组进行排序,提取排序后K个数据组放置到排序的数据组前端;然后按照所述分块数据的编号,依次将调整后的排序数据组放回到所述分块数据的第H位中。
4.如权利要求1所述的基于内存数据网格的数据处理方法,其特征在于;还包括:
每隔一第一预设时间对所述第二存储位置进行问询,确定所述第二存储位置的状态;当所述第二存储位置的状态为在前一次问询后至此次问询期间未发生所述任务节点的数据存储时,再次对所述处理节点筛选确定所述任务节点,将所述数据处理任务在所述内存数据网格的第一存储位置以及预设的用于接收所述数据处理任务的处理结果的第二存储位置发送至再次筛选后的所述任务节点;再次筛选后的任务节点基于所述第一存储位置的所述数据处理任务和所述第二存储位置的现有所述处理结果进行接力处理;
和/或,
每隔一第二预设时间对所述任务节点进行问询,获取所述任务节点的运行参数,基于所述运行参数确定所述任务节点的稳定性;当所述任务节点的稳定性低于预设阈值时,再次对所述处理节点筛选确定所述任务节点,将所述数据处理任务在所述内存数据网格的第一存储位置以及预设的用于接收所述数据处理任务的处理结果的第二存储位置发送至再次筛选后的所述任务节点;再次筛选后的任务节点基于所述第一存储位置的所述数据处理任务和所述第二存储位置的现有所述处理结果进行接力处理。
5.一种基于内存数据网格的数据处理系统,其特征在于,包括:
数据处理任务生成模块,用于获取待处理数据;解析所述待处理数据,获取多个数据处理任务;
任务节点确定模块,用于对内存数据网格上的处理节点进行筛选,获取多个任务节点;所述数据处理任务与所述任务节点一一对应;
任务分配模块,用于将所述数据处理任务在所述内存数据网格的第一存储位置的第一存储位置信息以及预设的用于接收所述数据处理任务的处理结果的第二存储位置的第二存储位置信息发送至对应的所述任务节点;
其中,所述任务节点确定模块执行如下操作:
获取内存数据网格上处理节点的状态;
获取当前状态为空闲的所述处理节点的处理性能;
解析所述数据处理任务,确定对应的处理能力需求;
基于所述处理能力需求与所述处理节点的处理性能的匹配,确定所述数据处理任务对应的所述任务节点;
和/或,
获取所述数据处理任务的数据来源的第一位置信息;
获取所述处理节点的第二位置信息;
基于所述第一位置信息与所述第二位置信息进行匹配,确定所述数据处理任务对应的所述任务节点;
其中,所述处理性能包括:处理的数据类型、处理数据的速度、历史数据处理任务达成率和处理节点的稳定性其中一种或多种结合;
所述处理节点的稳定性通过如下步骤确定:
检测当前所述处理节点的运行参数,将所述运行参数代入预先建立的预测模型中确定所述处理节点出现异常的概率值;根据所述概率值确定所述处理节点的稳定性;
所述预测模型包括:基于大量的历史节点监测报告的不同运行参数建立多个判定向量,及一一对应于所述判定向量的多个预测值;所述预测值为所述处理节点出现异常的概率值;
所述将所述运行参数代入预先建立的预测模型中确定所述处理节点出现异常的概率值,包括:
对所述运行参数进行特征提取,获得检测向量;
计算检测向量与每个所述判定向量的相似度,计算公式如下:
;
其中,为所述检测向量与第/>个所述判定向量的相似度;/>为所述检测向量的第/>个元素值;/>为第/>个所述判定向量的第/>个元素值;以所述相似度值最大的所述判定向量对应的所述预测值确定当前所述处理节点的稳定值,基于所述稳定值表示所述处理节点的稳定性;所述稳定值计算公式如下:
;
其中,为所述相似度值最大的所述判定向量对应的所述预测值,/>为所述稳定值。
6.如权利要求5所述的基于内存数据网格的数据处理系统,其特征在于;所述任务分配模块执行如下操作:
遍历存储数据网格内的存储节点,获取与数据来源的第一传输时间和与所述处理节点的第二传输时间的和值最小的所述存储节点作为所述第一存储位置;
获取所述第一存储位置的存储容量,当所述第一存储位置存储完所述数据处理任务后的剩余存储容量大于等于预估的处理结果大小时,将所述第一存储为位置同样作为存储所述处理结果的第二存储位置;当所述第一存储位置存储完所述数据处理任务后的剩余存储容量小于预估的所述处理结果大小时,将与所述数据来源的第一传输时间和与所述处理节点的第二传输时间的和值第二小的所述存储节点作为所述第二存储位置。
7.如权利要求5所述的基于内存数据网格的数据处理系统,其特征在于,所述任务分配模块还执行如下操作:
在将所述数据处理任务存储至第一存储位置前,计算所述数据处理任务的第一哈希值;
将所述第一哈希值在发送所述第一存储位置和所述第二存储位置至对应的所述任务节点时进行同步发送,发送给所述任务节点;
所述任务节点在读取所述数据处理任务后,采用所述第一哈希值对所述数据处理任务进行验证;
当所述处理节点验证通过后,处理所述数据处理任务,生成处理结果;
计算所述处理结果的第二哈希值,所述待处理数据的数据来源在获取存储在所述第二存储位置的数据时,同步获取所述第二哈希值;
所述数据来源基于所述第二哈希值对获取的所述第二存储位置的数据进行验证,当验证不通过时,发送重启所述数据处理任务的第一指令;
接收到所述第一指令时,重新对所述处理节点筛选确定所述任务节点,将所述数据处理任务在所述内存数据网格的第一存储位置以及预设的用于接收所述数据处理任务的处理结果的第二存储位置发送至重新筛选后的所述任务节点;
和/或,
在将所述数据处理任务存储至第一存储位置时,将所述数据处理任务基于预设规则进行分块,并将分块后的分块数据存储至所述第一存储位置的不连续的存储单元中;获取各个所述存储单元的地址;将所述地址按照其存储的分块数据的顺序排列形成地址串,在将所述第一存储位置发送至所述任务节点时,同步发送所述地址串;
其中,预设规则包括:
将所述数据处理任务均分为N个分块数据;将分块数据按照在所述数据处理任务中的顺序进行编号;将每个所述分块数据再次均分为M位数据组;提取每个所述分块数据的第H位的数据组进行排序,提取排序后K个数据组放置到排序的数据组前端;然后按照所述分块数据的编号,依次将调整后的排序数据组放回到所述分块数据的第H位中。
8.如权利要求5所述的基于内存数据网格的数据处理系统,其特征在于;还包括:
监控模块,用于监控所述任务节点处理任务的情况;
所述监控模块执行如下操作:
每隔一第一预设时间对所述第二存储位置进行问询,确定所述第二存储位置的状态;当所述第二存储位置的状态为在前一次问询后至此次问询期间未发生所述任务节点的数据存储时,再次对所述处理节点筛选确定所述任务节点,将所述数据处理任务在所述内存数据网格的第一存储位置以及预设的用于接收所述数据处理任务的处理结果的第二存储位置发送至再次筛选后的所述任务节点;再次筛选后的任务节点基于所述第一存储位置的所述数据处理任务和所述第二存储位置的现有所述处理结果进行接力处理;
和/或,
每隔一第二预设时间对所述任务节点进行问询,获取所述任务节点的运行参数,基于所述运行参数确定所述任务节点的稳定性;当所述任务节点的稳定性低于预设阈值时,再次对所述处理节点筛选确定所述任务节点,将所述数据处理任务在所述内存数据网格的第一存储位置以及预设的用于接收所述数据处理任务的处理结果的第二存储位置发送至再次筛选后的所述任务节点;再次筛选后的任务节点基于所述第一存储位置的所述数据处理任务和所述第二存储位置的现有所述处理结果进行接力处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110138455.XA CN112698957B (zh) | 2021-02-02 | 2021-02-02 | 一种基于内存数据网格的数据处理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110138455.XA CN112698957B (zh) | 2021-02-02 | 2021-02-02 | 一种基于内存数据网格的数据处理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112698957A CN112698957A (zh) | 2021-04-23 |
CN112698957B true CN112698957B (zh) | 2024-02-20 |
Family
ID=75516527
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110138455.XA Active CN112698957B (zh) | 2021-02-02 | 2021-02-02 | 一种基于内存数据网格的数据处理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112698957B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103488699A (zh) * | 2013-09-04 | 2014-01-01 | 用友软件股份有限公司 | 基于内存数据网格的数据处理装置和方法 |
CN104461779A (zh) * | 2014-11-28 | 2015-03-25 | 华为技术有限公司 | 一种分布式数据的存储方法、装置及系统 |
US9852161B2 (en) * | 2014-04-14 | 2017-12-26 | International Business Machines Corporation | Autonomic data partition placement in an in-memory data grid |
CN107977446A (zh) * | 2017-12-11 | 2018-05-01 | 江苏润和软件股份有限公司 | 一种基于数据分区的内存网格数据加载方法 |
CN110851282A (zh) * | 2019-11-14 | 2020-02-28 | 北京东方通科技股份有限公司 | 一种基于内存网格的分布式数据计算方法及系统 |
CN111291059A (zh) * | 2020-05-12 | 2020-06-16 | 北京东方通科技股份有限公司 | 基于内存数据网格的数据处理方法 |
-
2021
- 2021-02-02 CN CN202110138455.XA patent/CN112698957B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103488699A (zh) * | 2013-09-04 | 2014-01-01 | 用友软件股份有限公司 | 基于内存数据网格的数据处理装置和方法 |
US9852161B2 (en) * | 2014-04-14 | 2017-12-26 | International Business Machines Corporation | Autonomic data partition placement in an in-memory data grid |
CN104461779A (zh) * | 2014-11-28 | 2015-03-25 | 华为技术有限公司 | 一种分布式数据的存储方法、装置及系统 |
CN107977446A (zh) * | 2017-12-11 | 2018-05-01 | 江苏润和软件股份有限公司 | 一种基于数据分区的内存网格数据加载方法 |
CN110851282A (zh) * | 2019-11-14 | 2020-02-28 | 北京东方通科技股份有限公司 | 一种基于内存网格的分布式数据计算方法及系统 |
CN111291059A (zh) * | 2020-05-12 | 2020-06-16 | 北京东方通科技股份有限公司 | 基于内存数据网格的数据处理方法 |
Non-Patent Citations (3)
Title |
---|
一种基于内存服务的内存共享网格系统;褚瑞;肖侬;卢锡城;;计算机学报(07);全文 * |
内存网格关键技术探析;丁鹏;;今日科苑(24);全文 * |
内存计算技术及在电网分析中的应用;周二专;冯东豪;武志刚;;电力系统自动化(11);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112698957A (zh) | 2021-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210124983A1 (en) | Device and method for anomaly detection on an input stream of events | |
CN109491850A (zh) | 一种磁盘故障预测方法及装置 | |
CN111930526B (zh) | 负载预测方法、装置、计算机设备和存储介质 | |
CN109086291B (zh) | 一种基于MapReduce的并行异常检测方法及系统 | |
CN111125059A (zh) | 数据迁移方法、装置、存储介质及服务器 | |
CN111586071B (zh) | 一种基于循环神经网络模型的加密攻击检测方法及装置 | |
CN117527622B (zh) | 网络交换机的数据处理方法及系统 | |
CN114880312B (zh) | 一种可柔性设置的应用系统业务数据稽核方法 | |
CN111078512A (zh) | 告警记录生成方法、装置、告警设备及存储介质 | |
CN115689320A (zh) | 基站运行的健康管理方法、装置及计算机可读存储介质 | |
CN113409016A (zh) | 应用于大数据云办公的信息处理方法、服务器及介质 | |
CN114417968A (zh) | 异常监测分类模型构建方法、异常监测方法以及装置 | |
CN112698957B (zh) | 一种基于内存数据网格的数据处理方法及系统 | |
CN114401516A (zh) | 一种基于虚拟网络流量分析的5g切片网络异常检测方法 | |
CN110597792A (zh) | 基于同期线损数据融合的多级冗余数据融合方法及装置 | |
CN110825873B (zh) | 用于对日志异常分类规则进行扩充的方法及装置 | |
US20230156043A1 (en) | System and method of supporting decision-making for security management | |
CN111431872A (zh) | 一种基于tcp/ip协议特征的两阶段物联网设备识别方法 | |
CN101854341B (zh) | 用于数据流的模式匹配方法和装置 | |
CN111967671B (zh) | 基于支持向量数据域描述的跨境活跃用户识别方法及装置 | |
CN114978976A (zh) | SRv6融合网络的数据异常检测方法及装置 | |
CN114662116A (zh) | 基于大数据的业务运行漏洞查找方法及云端深度学习系统 | |
CN112379656A (zh) | 工业系统异常数据的检测的处理方法、装置、设备和介质 | |
CN115146261B (zh) | 应对数字云服务的数据威胁处理方法及服务器 | |
CN115906170B (zh) | 应用于存储集群的安全防护方法及ai系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |