CN110795605B - 一种基于分布式内存网格的数据存储系统 - Google Patents
一种基于分布式内存网格的数据存储系统 Download PDFInfo
- Publication number
- CN110795605B CN110795605B CN202010003544.9A CN202010003544A CN110795605B CN 110795605 B CN110795605 B CN 110795605B CN 202010003544 A CN202010003544 A CN 202010003544A CN 110795605 B CN110795605 B CN 110795605B
- Authority
- CN
- China
- Prior art keywords
- data
- grid
- memory
- target
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种基于分布式内存网格的数据存储系统，包括：构建模块，用于构建分布式内存网格；获取模块，用于获取分布式内存网格中每个内存网格的网格信息和每个内存网格的存储节点；切割模块，用于对目标数据进行区域块切割处理，并得到预设数目个目标区域块；控制模块，用于控制获取模块获取的每个内存网格的网格信息和切割模得到的预设数目个目标区域块进行匹配处理；根据匹配处理结果，将每个目标区域块中的目标数据存储到对应的内存网格的存储节点中。通过设置分布式内存网格对数据进行存储，提高数据存储的效率。
Description
技术领域
本发明涉及数据存储技术领域，特别涉及一种基于分布式内存网格的数据存储系统。
背景技术
随着云计算技术的普及，产生的数据量越来越大，数据共享变得越来越普遍，并且，在许多业务领域，非结构化数据或数字内容正在以每年200%的速度快速增加，许多企业事实上已经淹没在内容的汪洋之中，而采用传统数据库对数据进行存储，由于其存储数据效率低下，正在面临着存储瓶颈，因此提供一种基于分布式内存网格的数据存储系统就显得尤为重要。
发明内容
本发明提供一种基于分布式内存网格的数据存储系统，用以通过设置分布式内存网格对数据进行存储，提高数据存储的效率。
本发明实施例提供一种基于分布式内存网格的数据存储系统，包括：
构建模块，用于构建分布式内存网格；
获取模块，用于获取所述分布式内存网格中每个所述内存网格的网格信息和每个所述内存网格的存储节点；
切割模块，用于对目标数据进行区域块切割处理，并得到预设数目个目标区域块；
控制模块，用于控制所述获取模块获取的每个所述内存网格的网格信息和所述切割模得到的预设数目个目标区域块进行匹配处理；
根据匹配处理结果，将每个所述目标区域块中的目标数据存储到对应的所述内存网格的存储节点中。
在一种可能实现的方式中，
所述控制模块，还用于将当前目标区域块中的目标数据存储到对应的所述内存网格的存储节点中后，控制下一目标区域块与剩余内存网格的网格信息进行匹配处理，并获得相应的匹配处理结果；
其中，所述剩余内存网格是所述构建模块所构建的分布式内存网格中，除却当前目标区域块对应的内存网格及已进行匹配处理对应的内存网格之后所剩余的内存网格。
在一种可能实现的方式中，
所述控制模块，还用于当所述获取模块获取所述分布式内存网格中每个所述内存网格的网格信息和每个所述内存网格的存储节点时，控制所述内存网格映射到对应的存储节点中，根据映射结果确定所述存储节点中的若干个加密方式；
所述控制模块，还用于提取所述存储节点中存储的所述目标区域块中的目标数据的特征数据，并根据所述特征数据确定所述存储节点的最优加密方式；
所述控制模块，还用于根据所述最优加密方式对存储的所述目标区域块中的目标数据进行加密处理。
在一种可能实现的方式中，还包括：
检测模块，用于对所述内存网格的存储节点进行检测；
所述控制模块，还用于根据所述检测模块的检测结果，判断所述存储节点是否异常；
若是，对所述存储节点进行异常标注，并删除所述异常标注的存储节点对应的内存网格的网格信息，同时，基于预先存储的网格修复数据库和节点修复数据库，对所删除的网格信息进行网格修复处理，并对所述异常标注的存储节点进行节点修复处理；
否则，控制所述存储节点继续工作；
所述控制模块，还用于在删除所述异常标注的存储节点对应的内存网格的网格信息之前，判断所述异常标注的存储节点中是否存储有所述目标区域块的目标数据；
若是，控制检查模块进行工作；
否则，继续执行相应的后续操作；
所述检查模块，用于检查并获取所述构建模块所构建的分布式内存网格中未存储有所述目标区域块的目标数据的空白内存网格；
所述控制模块，还用于将所述异常标注的存储节点中存储的目标区域块的目标数据，传输到所述空白内存网格的存储节点中进行暂储；
当所删除的内存网格的网格信息进行网格修复处理成功，且所述异常标注的存储节点进行节点修复处理成功后，将所述空白内存网格的存储节点中存储的所述目标区域块的目标数据传输到修复处理成功后的所述内存网格的存储节点中，并清空所述空白内存网格的存储节点中存储的所述目标区域块的目标数据；
否则，剔除所述异常标注的存储节点，并在所述异常标注的位置处的内存网格中构造新的网格信息和存储节点，同时，替换所述空白内存网格的网格信息为所述新的网格信息，并将所述目标区域块的目标数据继续保留在所述空白内存网格的存储节点中。
在一种可能实现的方式中，还包括：
重构模块，用于在剔除所述异常标注的存储节点之后，且在所述异常标注的位置处的内存网格中构造新的网格信息和存储节点之前，对所述异常标注的位置处的内存网格进行重构；所述重构模块，包括：
读取单元，用于读取所述构建模块构建的所述分布式内存网格中的原始内存网格的原始坐标，和所述异常标注的位置处的内存网格的异常坐标；
构建单元，用于根据所述读取单元读取的原始坐标建立相应的原始边界，根据所述读取单元读取的异常坐标建立相应的异常边界；
获取单元，用于根据预先建立的标志点数据库，获取所述原始边界上的原始标志点和所述异常边界上的第一标志点；
处理单元，用于根据获取模块获取的所述原始标志点和第一标志点，确定所述第一标志点中的第二标志点和第三标志点；
同时，以第三标志点为划分节点，对所述异常边界进行线节点重构，实现对所述异常标注的位置处的内存网格的重构。
在一种可能实现的方式中，
所述原始内存网格和所述异常标注的位置处的内存网格同一位置处的不同状态的内存网格。
在一种可能实现的方式中，还包括：
绑定模块，用于将所述存储节点、所述内存网格进行绑定，所述绑定结果包括：当前存储节点与当前内存网格的绑定、当前存储节点与分布式内存网格中的剩余存储节点的绑定、当前存储节点与分布式内存网格中的剩余内存网格的绑定；
传输模块，用于当接收到客户端发送的传输指令时，将与所述传输指令相关的当前存储节点中的目标数据块的目标数据传输到与所述当前存储节点绑定的存储节点或内存网格中。
在一种可能实现的方式中，还包括：
测量模块，用于对所述构建模块构建的分布式内存网格的网格间隔进行测量；
建立模块，用于建立空间坐标系，并将所述分布式内存网格搭建在所述空间坐标系中，同时标注所述测量模块所测量的网格间隔；
判断模块，用于判断所述网格间隔是否大于预设间隔，若是，确定构成所述网格间隔的内存网格的边界大小是否一致；
若是，对所述网格间隔进行均匀填充处理；
否则，按照边界填充规则，对所述网格间隔进行填充处理。
在一种可能实现的方式中，
所述切割模块，对目标数据进行区域块切割处理，并得到预设数目个目标区域块之后，还包括对得到的所述预设数目个目标区域块中的目标数据进行数据验证，其步骤包括：
步骤A1：根据公式（1）确定每个所述目标区域块中的目标数据的缺陷值
；
其中，
表示第i个目标区域块中的目标数据的缺陷值；j表示第i个目标区域块
中的目标数据所包含的m个数据列中的第j个数据列；
表示第i个目标区域块的缺陷修
正值；
表示第i个目标区域块中的第j个数据列的缺陷概率值；
表示第i+1个目标区
域块中的第j个数据列的缺陷概率值；
表示第i+1个目标区域块中的第j+1个数据列
的缺陷概率值；
表示第i个目标区域块中的第j+1个数据列的缺陷概率值；
步骤A2：当所述步骤A1所确定的缺陷值
小于或等于预设值
时，确定所述缺陷
值
对应的目标区域块中的目标数据的目标数据检查值，并根据公式（2）对所述目标数据
检查值进行修正处理，得到目标数据修正值
;
其中，q表示第j个数据列中包含的z个数据中的第q个数据；
表示第j个数据列中
的第q个数据的数据修正值；
表示第i个目标区域块的区域修正值；
表示第j个数据列中
的第q个数据的数据参数值；
表示第i个目标数据块的区域差值；
步骤A3：根据公式（3）确定所述步骤A2所获取的目标数据修正值
进行数据验证，
并判断是否存在病毒数据；
其中，i表示n个目标区域块中的第i个目标区域块；
表示第i个目标区域块中的
目标数据修正值；
表示标准数据检查值；
当F为1时，表明第i个目标区域块中的目标数据中存在病毒数据，并对所述病毒数据进行剔除，并将剔除后的所述目标数据存储到目标数据库中；
当F为0时，表明第i个目标区域块中的目标数据中不存在病毒数据，并将所述不存在病毒数据的目标数据存储到目标数据库中。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种分布式内存网格的数据存储系统的结构示意图；
图2为本发明实施例中内存网格边界填充示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明实施例提供一种基于分布式内存网格的数据存储系统，如图1所示，包括：
构建模块，用于构建分布式内存网格；
获取模块，用于获取所述分布式内存网格中每个所述内存网格的网格信息和每个所述内存网格的存储节点；
切割模块，用于对目标数据进行区域块切割处理，并得到预设数目个目标区域块；
控制模块，用于控制所述获取模块获取的每个所述内存网格的网格信息和所述切割模得到的预设数目个目标区域块进行匹配处理；
根据匹配处理结果，将每个所述目标区域块中的目标数据存储到对应的所述内存网格的存储节点中。
上述构建的分布式存储网格，是以服务为核心的分布式网络存储体系结构，是通过利用网格对目标数据来解决存储服务中的服务定位、资源调度等难题，以实现存储虚拟化的目的。
上述网格信息，例如可以是部署信息，如当前内存网格中可以存储的目标数据的种类，如：图片种类、文字种类等；
上述存储节点，是为了将目标数据进行存储，如服务器节点；
上述预设数目个目标区域块的数目至少为一个；
上述区域块切割处理，可以是按照均匀存储大小的比例进行切割处理，或者按照预先设置好的数据段进行切割处理，又或者是随机切割处理等；
上述进行匹配处理，例如网格信息是包括图片种类和文字种类信息时，如果目标区域块的目标数据是包括图片种类和文字种类信息时，将其进行存储。
上述技术方案的有益效果是：通过设置分布式内存网格对数据进行存储，提高数据存储的效率。
本发明实施例提供一种基于分布式内存网格的数据存储系统，
所述控制模块，还用于将当前目标区域块中的目标数据存储到对应的所述内存网格的存储节点中后，控制下一目标区域块与剩余内存网格的网格信息进行匹配处理，并获得相应的匹配处理结果；
其中，所述剩余内存网格是所述构建模块所构建的分布式内存网格中，除却当前目标区域块对应的内存网格及已进行匹配处理对应的内存网格之后所剩余的内存网格。
上述进行匹配处理，例如网格信息是包括图片种类和文字种类信息时，如果下一目标区域块目标数据是包括文字种类信息时，此时匹配网格信息是包括文字种类信息的。
上述下一目标区域块与剩余内存网格信息进行匹配处理，是为了避免已存储数据的存储节点，对下一目标区域块的数据进行再次存储，造成数据混乱。
上述技术方案的有益效果是：提高对内存网格使用和对数据存储的合理性，进一步提高对数据存储的效率。
本发明实施例提供一种基于分布式内存网格的数据存储系统，
所述控制模块，还用于当所述获取模块获取所述分布式内存网格中每个所述内存网格的网格信息和每个所述内存网格的存储节点时，控制所述内存网格映射到对应的存储节点中，根据映射结果确定所述存储节点中的若干个加密方式；
所述控制模块，还用于提取所述存储节点中存储的所述目标区域块中的目标数据的特征数据，并根据所述特征数据确定所述存储节点的最优加密方式；
所述控制模块，还用于根据所述最优加密方式对存储的所述目标区域块中的目标数据进行加密处理。
上述内存网格映射到对应的存储节点，可以是一一对应的映射关系；
上述根据映射结果，确定存储节点中的若干个加密方式，如果，是一一映射的关系，表明该内存网格对应的有若干个加密方式；
上述特征数据，例如是数据中的图片种类中的表格内容是具备代表性的信息，因此，获取与表格相关的加密方式，其为最优加密方式；
上述获取最优加密方式，是为了确定最安全的加密方式，提高其的安全性。
上述技术方案的有益效果是：有效的保证了数据的安全性和可靠性。
本发明实施例提供一种基于分布式内存网格的数据存储系统，还包括：
检测模块，用于对所述内存网格的存储节点进行检测；
所述控制模块，还用于根据所述检测模块的检测结果，判断所述存储节点是否异常；
若是，对所述存储节点进行异常标注，并删除所述异常标注的存储节点对应的内存网格的网格信息，同时，基于预先存储的网格修复数据库和节点修复数据库，对所删除的网格信息进行网格修复处理，并对所述异常标注的存储节点进行节点修复处理；
否则，控制所述存储节点继续工作；
所述控制模块，还用于在删除所述异常标注的存储节点对应的内存网格的网格信息之前，判断所述异常标注的存储节点中是否存储有所述目标区域块的目标数据；
若是，控制检查模块进行工作；
否则，继续执行相应的后续操作；
所述检查模块，用于检查并获取所述构建模块所构建的分布式内存网格中未存储有所述目标区域块的目标数据的空白内存网格；
所述控制模块，还用于将所述异常标注的存储节点中存储的目标区域块的目标数据，传输到所述空白内存网格的存储节点中进行暂储；
当所删除的内存网格的网格信息进行网格修复处理成功，且所述异常标注的存储节点进行节点修复处理成功后，将所述空白内存网格的存储节点中存储的所述目标区域块的目标数据传输到修复处理成功后的所述内存网格的存储节点中，并清空所述空白内存网格的存储节点中存储的所述目标区域块的目标数据；
否则，剔除所述异常标注的存储节点，并在所述异常标注的位置处的内存网格中构造新的网格信息和存储节点，同时，替换所述空白内存网格的网格信息为所述新的网格信息，并将所述目标区域块的目标数据继续保留在所述空白内存网格的存储节点中。
上述对存储节点进行检测，是为了确保其存储数据的可靠性，避免因存储数据存在异常状况，如：病毒、不兼容等，造成数据丢失；
上述当检测结果中包括，如：病毒、不兼容等情况是，判定存储节点异常；
上述异常标注，例如可以是高亮标注；
上述进行网格修复处理和节点修复处理，都是为了确保内存网格的修复成功；
上述判断异常标注的存储节点中是否存储有目标区域块的目标数据，是为了便于对其存储的数据进行有效的转移，避免数据丢失；
上述空白内存网格，是存储节点没有存储目标数据的内存网格；
上述暂储，是将空白内存网格的存储节点当作临时存储地；
上述剔除异常标注的存储节点，并在异常标注的位置处的内存网格中构造新的网格信息和存储节点，和将目标区域块的目标数据继续保留在空白内存网格的存储节点中，不仅是对该位置出的内存网格进行完整替换，降低异常的可能性；还是为了节省数据传输的时间，提高效率。
上述技术方案的有益效果是：通过对异常内存网格中的网格信息和存储节点进行修复，便于及时处理，提高内存网格的可用性，通过对异常网格中的网格信息和存储节点进行重构，进一步确保其内存网格的可用性。
本发明实施例提供一种基于分布式内存网格的数据存储系统，还包括：
重构模块，用于在剔除所述异常标注的存储节点之后，且在所述异常标注的位置处的内存网格中构造新的网格信息和存储节点之前，对所述异常标注的位置处的内存网格进行重构；所述重构模块，包括：
读取单元，用于读取所述构建模块构建的所述分布式内存网格中的原始内存网格的原始坐标，和所述异常标注的位置处的内存网格的异常坐标；
构建单元，用于根据所述读取单元读取的原始坐标建立相应的原始边界，根据所述读取单元读取的异常坐标建立相应的异常边界；
获取单元，用于根据预先建立的标志点数据库，获取所述原始边界上的原始标志点和所述异常边界上的第一标志点；
处理单元，用于根据获取模块获取的所述原始标志点和第一标志点，确定所述第一标志点中的第二标志点和第三标志点；
同时，以第三标志点为划分节点，对所述异常边界进行线节点重构，实现对所述异常标注的位置处的内存网格的重构。
优选地，所述原始内存网格和所述异常标注的位置处的内存网格同一位置处的不同状态的内存网格。
上述原始坐标，分布式内存网格中的原始内存网格的；
上述异常坐标，是异常标注的位置处的内存网格的；
上述原始边界是原始坐标点构成的，异常边界是异常坐标点构成的；
上述原始边界上的原始标志点，是具有代表性的标志点，如：图片组标志点；
上述异常边界上的第一标志点，可以是图片组标志点；第二标志点，可以是图片标志点中的异常标志点，如病毒侵染的图片组中的一个标志点，第三标志点，是第一标志点除却第二标志点后的剩余标志点；
其第三标志点，基于原始标志点可视为正常标志点；
以第三标志点为划分节点，对异常边界进行线节点重构，其中，线节点，如：若干个第三标志点中的任意两个标志点进行线连接，得到的线节点；
上述技术方案的有益效果是：对内存网格进行重构，是为了进一步为目标数据提高安全的环境基础。
本发明实施例提供一种基于分布式内存网格的数据存储系统，还包括：
绑定模块，用于将所述存储节点、所述内存网格进行绑定，所述绑定结果包括：当前存储节点与当前内存网格的绑定、当前存储节点与分布式内存网格中的剩余存储节点的绑定、当前存储节点与分布式内存网格中的剩余内存网格的绑定；
传输模块，用于当接收到客户端发送的传输指令时，将与所述传输指令相关的当前存储节点中的目标数据块的目标数据传输到与所述当前存储节点绑定的存储节点或内存网格中。
上述进行绑定，是为了建立存储节点与内存网格之间的数据传输的关系，便于实现数据的共享，同步等；
上述传输指令，例如是将当前存储节点中的目标数据块的目标数据传输到与当前存储节点建立绑定关系的存储节点或内存网格的指令。
上述技术方案的有益效果是：可以有效的实现数据的共享、同步。
本发明实施例提供一种基于分布式内存网格的数据存储系统，还包括：
测量模块，用于对所述构建模块构建的分布式内存网格的网格间隔进行测量；
建立模块，用于建立空间坐标系，并将所述分布式内存网格搭建在所述空间坐标系中，同时标注所述测量模块所测量的网格间隔；
判断模块，用于判断所述网格间隔是否大于预设间隔，若是，确定构成所述网格间隔的内存网格的边界大小是否一致；
若是，对所述网格间隔进行均匀填充处理；
否则，按照边界填充规则，对所述网格间隔进行填充处理。
上述网格间隔可以是三维的，或者二维的；
上述边界大小，例如是：确定内存网格A中的网格间隔边界点a1与内存网格B中的网格间隔边界点b1、内存网格A中的网格间隔边界点a2与内存网格B中的网格间隔边界点b2直到内存网格A中的网格间隔边界点an与内存网格B中的网格间隔边界点bn两点之间的直线大小是否一致，若是，进行均匀填充处理，其均匀填充处理，例如是从a1、b1点到an、bn点构成的网格间隔，其中，距离内存网格A中的网格间隔边界填充范围A1与距离内存网格B中的网格间隔边界填充范围B1相同，如图2所示；
上述按照边界填充规则，对网格间隔进行填充处理，例如对内存网格A边界上进行预设间隔的分割，同时，对内存网格B边界也进行预设间隔的分割，确定所有对应两点之间的连线大小大于预设大小的线条，对其连线进行填充，直到线条大小不大于预设大小，其预设大小可以是人为设定的。
上述技术方案的有益效果是：通过对网格间隔进行填充，便于扩增网格的存储空间，提高对数据的存储容量。
本发明实施例提供一种基于分布式内存网格的数据存储系统，
所述切割模块，对目标数据进行区域块切割处理，并得到预设数目个目标区域块之后，还包括对得到的所述预设数目个目标区域块中的目标数据进行数据验证，其步骤包括：
步骤A1：根据公式（1）确定每个所述目标区域块中的目标数据的缺陷值
；
其中，
表示第i个目标区域块中的目标数据的缺陷值；j表示第i个目标区域块中
的目标数据所包含的m个数据列中的第j个数据列；
表示第i个目标区域块的缺陷修正
值；
表示第i个目标区域块中的第j个数据列的缺陷概率值；
表示第i+1个目标区域
块中的第j个数据列的缺陷概率值；
表示第i+1个目标区域块中的第j+1个数据列的
缺陷概率值；
表示第i个目标区域块中的第j+1个数据列的缺陷概率值；
步骤A2：当所述步骤A1所确定的缺陷值
小于或等于预设值
时，确定所述缺陷
值
对应的目标区域块中的目标数据的目标数据检查值，并根据公式（2）对所述目标数据
检查值进行修正处理，得到目标数据修正值
;
其中，q表示第j个数据列中包含的z个数据中的第q个数据；
表示第j个数据列
中的第q个数据的数据修正值；
表示第i个目标区域块的区域修正值；
表示第j个数
据列中的第q个数据的数据参数值；
表示第i个目标数据块的区域差值；
步骤A3：根据公式（3）确定所述步骤A2所获取的目标数据修正值
进行数据验证，
并判断是否存在病毒数据；
其中，i表示n个目标区域块中的第i个目标区域块；
表示第i个目标区域块中的
目标数据修正值；
表示标准数据检查值；
当F为1时，表明第i个目标区域块中的目标数据中存在病毒数据，并对所述病毒数据进行剔除，进行并将剔除后的所述目标数据存储到目标数据库中；
当F为0时，表明第i个目标区域块中的目标数据中不存在病毒数据，并将所述不存在病毒数据的目标数据存储到目标数据库中。
上述技术方案的有益效果是：通过对目标数据块中的目标数据的缺陷值进行确定，是为了确定在对目标数据进行区域块切割处理时，是否将目标数据切割完整，确保数据的完整性，通过对目标检查值进行修正处理，是为了确定目标区域块中的目标数据中是否存在病毒数据，避免因病毒数据的存在，使得正常的目标数据出现异常，将不存在病毒数据的目标数据进行存储，是为了便于后续对目标数据的有效利用。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (7)
1.一种基于分布式内存网格的数据存储系统，其特征在于，包括：
构建模块，用于构建分布式内存网格；
获取模块，用于获取所述分布式内存网格中每个所述内存网格的网格信息和每个所述内存网格的存储节点；
切割模块，用于对目标数据进行区域块切割处理，并得到预设数目个目标区域块；
控制模块，用于控制所述获取模块获取的每个所述内存网格的网格信息和所述切割模得到的预设数目个目标区域块进行匹配处理；
根据匹配处理结果，将每个所述目标区域块中的目标数据存储到对应的所述内存网格的存储节点中；
所述数据存储系统，还包括：
检测模块，用于对所述内存网格的存储节点进行检测；
所述控制模块，还用于根据所述检测模块的检测结果，判断所述存储节点是否异常；
若是，对所述存储节点进行异常标注，并删除所述异常标注的存储节点对应的内存网格的网格信息，同时，基于预先存储的网格修复数据库和节点修复数据库，对所删除的网格信息进行网格修复处理，并对所述异常标注的存储节点进行节点修复处理；
否则，控制所述存储节点继续工作；
所述控制模块，还用于在删除所述异常标注的存储节点对应的内存网格的网格信息之前，判断所述异常标注的存储节点中是否存储有所述目标区域块的目标数据；
若是，控制检查模块进行工作；
否则，继续执行相应的后续操作；
所述检查模块，用于检查并获取所述构建模块所构建的分布式内存网格中未存储有所述目标区域块的目标数据的空白内存网格；
所述控制模块，还用于将所述异常标注的存储节点中存储的目标区域块的目标数据，传输到所述空白内存网格的存储节点中进行暂储；
当所删除的内存网格的网格信息进行网格修复处理成功，且所述异常标注的存储节点进行节点修复处理成功后，将所述空白内存网格的存储节点中存储的所述目标区域块的目标数据传输到修复处理成功后的所述内存网格的存储节点中，并清空所述空白内存网格的存储节点中存储的所述目标区域块的目标数据；
否则，剔除所述异常标注的存储节点，并在所述异常标注的位置处的内存网格中构造新的网格信息和存储节点，同时，替换所述空白内存网格的网格信息为所述新的网格信息，并将所述目标区域块的目标数据继续保留在所述空白内存网格的存储节点中；
所述切割模块，对目标数据进行区域块切割处理，并得到预设数目个目标区域块之后，还包括对得到的所述预设数目个目标区域块中的目标数据进行数据验证，其步骤包括：
步骤A1：根据公式(1)确定每个所述目标区域块中的目标数据的缺陷值Si；
其中，Si表示第i个目标区域块中的目标数据的缺陷值；j表示第i个目标区域块中的目标数据所包含的m个数据列中的第j个数据列；ξi表示第i个目标区域块的缺陷修正值；Pi,j表示第i个目标区域块中的第j个数据列的缺陷概率值；Pi+1,j表示第i+1个目标区域块中的第j个数据列的缺陷概率值；Pi+1,j+1表示第i+1个目标区域块中的第j+1个数据列的缺陷概率值；Pi,j+1表示第i个目标区域块中的第j+1个数据列的缺陷概率值；
步骤A2：当所述步骤A1所确定的缺陷值Si小于或等于预设值Si′时，确定所述缺陷值Si对应的目标区域块中的目标数据的目标数据检查值，并根据公式(2)对所述目标数据检查值进行修正处理，得到目标数据修正值fi；
其中，q表示第j个数据列中包含的z个数据中的第q个数据；δjq表示第j个数据列中的第q个数据的数据修正值；Gi表示第i个目标区域块的区域修正值；gjq表示第j个数据列中的第q个数据的数据参数值；ΔBi表示第i个目标数据块的区域差值；
步骤A3：根据公式(3)确定所述步骤A2所获取的目标数据修正值fi进行数据验证，并判断是否存在病毒数据；
其中，i表示n个目标区域块中的第i个目标区域块；fi表示第i个目标区域块中的目标数据修正值；
表示标准数据检查值；
当F为1时，表明第i个目标区域块中的目标数据中存在病毒数据，并对所述病毒数据进行剔除，进行并将剔除后的所述目标数据存储到目标数据库中；
当F为0时，表明第i个目标区域块中的目标数据中不存在病毒数据，并将所述不存在病毒数据的目标数据存储到目标数据库中。
2.如权利要求1所述的数据存储系统，其特征在于，
所述控制模块，还用于将当前目标区域块中的目标数据存储到对应的所述内存网格的存储节点中后，控制下一目标区域块与剩余内存网格的网格信息进行匹配处理，并获得相应的匹配处理结果；
其中，所述剩余内存网格是所述构建模块所构建的分布式内存网格中，除却当前目标区域块对应的内存网格及已进行匹配处理对应的内存网格之后所剩余的内存网格。
3.如权利要求1所述的数据存储系统，其特征在于，
所述控制模块，还用于当所述获取模块获取所述分布式内存网格中每个所述内存网格的网格信息和每个所述内存网格的存储节点时，控制所述内存网格映射到对应的存储节点中，根据映射结果确定所述存储节点中的若干个加密方式；
所述控制模块，还用于提取所述存储节点中存储的所述目标区域块中的目标数据的特征数据，并根据所述特征数据确定所述存储节点的最优加密方式；
所述控制模块，还用于根据所述最优加密方式对存储的所述目标区域块中的目标数据进行加密处理。
4.如权利要求1所述的数据存储系统，其特征在于，还包括：
重构模块，用于在剔除所述异常标注的存储节点之后，且在所述异常标注的位置处的内存网格中构造新的网格信息和存储节点之前，对所述异常标注的位置处的内存网格进行重构；所述重构模块，包括：
读取单元，用于读取所述构建模块构建的所述分布式内存网格中的原始内存网格的原始坐标，和所述异常标注的位置处的内存网格的异常坐标；
构建单元，用于根据所述读取单元读取的原始坐标建立相应的原始边界，根据所述读取单元读取的异常坐标建立相应的异常边界；
获取单元，用于根据预先建立的标志点数据库，获取所述原始边界上的原始标志点和所述异常边界上的第一标志点；
处理单元，用于根据获取模块获取的所述原始标志点和第一标志点，确定所述第一标志点中的第二标志点和第三标志点；
同时，以第三标志点为划分节点，对所述异常边界进行线节点重构，实现对所述异常标注的位置处的内存网格的重构。
5.如权利要求4所述的数据存储系统，其特征在于，
所述原始内存网格和所述异常标注的位置处的内存网格同一位置处的不同状态的内存网格。
6.如权利要求1所述的数据存储系统，其特征在于，还包括：
绑定模块，用于将所述存储节点、所述内存网格进行绑定，所述绑定结果包括：当前存储节点与当前内存网格的绑定、当前存储节点与分布式内存网格中的剩余存储节点的绑定、当前存储节点与分布式内存网格中的剩余内存网格的绑定；
传输模块，用于当接收到客户端发送的传输指令时，将与所述传输指令相关的当前存储节点中的目标数据块的目标数据传输到与所述当前存储节点绑定的存储节点或内存网格中。
7.如权利要求1所述的数据存储系统，其特征在于，还包括：
测量模块，用于对所述构建模块构建的分布式内存网格的网格间隔进行测量；
建立模块，用于建立空间坐标系，并将所述分布式内存网格搭建在所述空间坐标系中，同时标注所述测量模块所测量的网格间隔；
判断模块，用于判断所述网格间隔是否大于预设间隔，若是，确定构成所述网格间隔的内存网格的边界大小是否一致；
若是，对所述网格间隔进行均匀填充处理；
否则，按照边界填充规则，对所述网格间隔进行填充处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010003544.9A CN110795605B (zh) | 2020-01-03 | 2020-01-03 | 一种基于分布式内存网格的数据存储系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010003544.9A CN110795605B (zh) | 2020-01-03 | 2020-01-03 | 一种基于分布式内存网格的数据存储系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110795605A CN110795605A (zh) | 2020-02-14 |
| CN110795605B true CN110795605B (zh) | 2020-05-12 |
Family
ID=69448442
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010003544.9A Active CN110795605B (zh) | 2020-01-03 | 2020-01-03 | 一种基于分布式内存网格的数据存储系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110795605B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113157806B (zh) * | 2021-04-19 | 2022-05-24 | 清华大学 | 网格数据分布式存储服务系统、方法、装置、设备及介质 |
| CN112988402A (zh) * | 2021-05-11 | 2021-06-18 | 南京云信达科技有限公司 | 一种基于并行的网格化数据安全处理系统、方法及介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150169598A1 (en) * | 2012-01-17 | 2015-06-18 | Oracle International Corporation | System and method for providing a persistent snapshot of a running system in a distributed data grid |
| CN103995861B (zh) * | 2014-05-16 | 2018-08-28 | 罗敬宁 | 一种基于空间关联的分布式数据装置、方法及系统 |
| CN107423422B (zh) * | 2017-08-01 | 2019-09-24 | 武大吉奥信息技术有限公司 | 基于网格的空间数据分布式存储及检索方法和系统 |
-
2020
- 2020-01-03 CN CN202010003544.9A patent/CN110795605B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110795605A (zh) | 2020-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110795605B (zh) | 一种基于分布式内存网格的数据存储系统 | |
| CN104376053B (zh) | 一种基于海量气象数据的存储与检索方法 | |
| HRP20231316T1 (hr) | Sustav za i postupak interoperabilnosti lanaca blokova | |
| CN112272243B (zh) | 地址分配方法 | |
| CN107341070A (zh) | 一种基于纠删码的随机写方法及系统 | |
| CN114564446B (zh) | 一种文件存储的方法、装置、系统及存储介质 | |
| CN110297956A (zh) | 生成产品识别码的方法及系统、计算机存储介质 | |
| WO2021196463A1 (zh) | 一种区块链数据的同步方法、装置及电子设备、存储介质 | |
| US11706280B2 (en) | Methods and system for auditing batch jobs using blockchain | |
| CN108092921A (zh) | 一种数据交换系统和方法 | |
| CN114860745A (zh) | 基于人工智能的数据库扩展方法及相关设备 | |
| CN107870940A (zh) | 一种文件存储方法及装置 | |
| CN101283542A (zh) | 利用日志管理对象的设备管理系统和其中用于生成和控制记录数据的方法 | |
| CN115618428B (zh) | 一种基于区块链技术的数据完整性校验方法及系统 | |
| CN113791594B (zh) | 一种分散控制系统的组态创建方法、系统、设备及介质 | |
| WO2019157778A1 (zh) | 邮政单打印方法、电子装置及计算机可读存储介质 | |
| CN104615564A (zh) | 一种基于qpi总线的数据传输方法及计算机系统 | |
| CN114877943A (zh) | 一种基于区块链的生态环境监测装置 | |
| CN111400245A (zh) | 美术资源迁移方法及装置 | |
| CN104040507B (zh) | 数据存储方法和客户端设备及客户端计算机程序产品 | |
| CN113435305A (zh) | 目标物识别算法的精度检测方法、装置、设备及存储介质 | |
| CN114706871B (zh) | 一种基于综合监控管理的数据监控方法及系统 | |
| CN117081726B (zh) | 一种文件的分块分级传输方法和装置 | |
| CN111538750A (zh) | 一种信息还原方法、装置、计算机系统及可读存储介质 | |
| CN110826969A (zh) | 一种运单划责方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhang Chunlin Inventor after: Li Lei Inventor after: Yu Yang Inventor after: Li Lijun Inventor after: Li Chunqing Inventor before: Zhang Chunlin Inventor before: Li Lei Inventor before: Yu Yang Inventor before: Li Lijun Inventor before: Li Qingchun |