CN112527200A - 一种Jmatrix分布式云储存系统 - Google Patents

一种Jmatrix分布式云储存系统 Download PDF

Info

Publication number
CN112527200A
CN112527200A CN202011440330.4A CN202011440330A CN112527200A CN 112527200 A CN112527200 A CN 112527200A CN 202011440330 A CN202011440330 A CN 202011440330A CN 112527200 A CN112527200 A CN 112527200A
Authority
CN
China
Prior art keywords
data
database
module
jmatrix
storage system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011440330.4A
Other languages
English (en)
Inventor
李再放
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Wangxin Tiancheng Technology Co ltd
Original Assignee
Chengdu Wangxin Tiancheng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Wangxin Tiancheng Technology Co ltd filed Critical Chengdu Wangxin Tiancheng Technology Co ltd
Priority to CN202011440330.4A priority Critical patent/CN112527200A/zh
Publication of CN112527200A publication Critical patent/CN112527200A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/185—Hierarchical storage management [HSM] systems, e.g. file migration or policies thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种Jmatrix分布式云储存系统，包括数据库主键生成器，用于在应用服务器生成数据库主键，数据库主键生成器使用一个高/低位算法来高效的生成long,short或者int类型的标识符，给定一个表和字段且高/低位算法生成的标识符只在一个特定的数据库中是唯一的；散列引擎，对数据库主键生成器生成的主键进行散列分布，将主键对应的数据不断地转运数据且碎片化；通过采用Jmatrix分布式的算法，可以做到对业务数据的快速存储，增加工作的效率，且在云存储系统中加入了漏检模块，即对数据存储时，会对母数据与子数据之间进行验算，避免数据的漏存储情况，从而保证企业数据业务的的收益，且本存储系统易于实行。

Description

一种Jmatrix分布式云储存系统
技术领域
本发明属于存储系统技术领域，具体涉及一种Jmatrix分布式云储存系统。
背景技术
业务数据分析是分人业务管控的重要手段和内容之一。业务数据保险公司应建立合约分人业务数据分析处理方法，业务数据准确评估合约的风险、价格，掌握合约发展趋势。业务数据数据内容主要包括保额分段数据、损失分段数据、最大自留额数据、最大损失数据、责任累积数据、巨灾累积和损失数据、合约T型发展(倒三角流量发展)数据等，且业务数据分析后需要进行存储；
目前的云存储系统反应比较慢，影响工作效率，且算法比较简单，容易造成漏复制的情况，会对企业业务造成损失的问题，为此我们提出一种Jmatrix分布式云储存系统。
发明内容
本发明的目的在于提供一种Jmatrix分布式云储存系统，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种Jmatrix分布式云储存系统，包括数据库主键生成器，用于在应用服务器生成数据库主键，数据库主键生成器使用一个高/低位算法来高效的生成long,short或者int类型的标识符，给定一个表和字段且高/低位算法生成的标识符只在一个特定的数据库中是唯一的；
散列引擎，对数据库主键生成器生成的主键进行散列分布，将主键对应的数据不断地转运数据且碎片化，并且平衡分布到后端的业务数据库分区表中，将数据进行矩阵编码，生成子存储矩阵；
分表数据操作引擎，按照业务类型将数据库拆分为多个业务数据库组，每组业务数据库中包含多个实际数据库实例，保证单库的数据量不超过TB级，同时对某个业务数据库实例的具体业务表也使用散列引擎进行拆分，保证单表的记录数不超过百万级；
数据平衡器，将离线存储与在线存储融合的历史数据，通过高速、高容量的非在线存储设备作为磁盘设备的下一级设备，迁移到新的业务数据库中。
优选的，所述数据平衡器包括复制模块、迁移模块、漏检模块与存储模块，复制模块用于将历史数据进行复制备份。
优选的，所述表和字段默认分别是hibernate_unique_key和next作为高位值得来源。
优选的，所述矩阵的乘积采用有限域下的二进制加法移位运算。
优选的，所述数据平衡器内部包含数据服务模块与自代理模块，数据服务模块用于接收来自代理模块的携带读取起始地址的读请求，查找一级映射表中所述读取起始地址对应的映射记录，得到相应的存储节点以及块标识，把读请求路由到相应的存储节点。
优选的，所述分表数据操作引擎包含首字母检索模块，用于对业务类型的名称首字母分析，按照首字母的顺序进行排列。
优选的，所述散列引擎包含解码模块，对ARP响应包进行解码，用以通过将经解码的地址解析协议响应包内的一个或多个网络参数提供给散列函数来确定对应的散列表索引。
优选的，所述迁移模块主要行使数据迁移工作，数据迁移的实现分为数据迁移前的准备、数据迁移的实施和数据迁移后的校验三个部分。
优选的，所述迁移模块用于对历史数据进行搬迁至新的存储模块中。
优选的，所述漏检模块对历史数据与存储模块中的迁移数据进行对比。
与现有技术相比，本发明的有益效果是：
本发明中，通过采用Jmatrix分布式的算法，可以做到对业务数据的快速存储，增加工作的效率，且在云存储系统中加入了漏检模块，即对数据存储时，会对母数据与子数据之间进行验算，避免数据的漏存储情况，从而保证企业数据业务的的收益，且本存储系统易于实行。
附图说明
图1为本发明的系统框架示意图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种技术方案：一种Jmatrix分布式云储存系统，包括数据库主键生成器，用于在应用服务器生成数据库主键，数据库主键生成器使用一个高/低位算法来高效的生成long,short或者int类型的标识符，给定一个表和字段且高/低位算法生成的标识符只在一个特定的数据库中是唯一的；
散列引擎，对数据库主键生成器生成的主键进行散列分布，将主键对应的数据不断地转运数据且碎片化，并且平衡分布到后端的业务数据库分区表中，将数据进行矩阵编码，生成子存储矩阵；
分表数据操作引擎，按照业务类型将数据库拆分为多个业务数据库组，每组业务数据库中包含多个实际数据库实例，保证单库的数据量不超过TB级，同时对某个业务数据库实例的具体业务表也使用散列引擎进行拆分，保证单表的记录数不超过百万级；
数据平衡器，将离线存储与在线存储融合的历史数据，通过高速、高容量的非在线存储设备作为磁盘设备的下一级设备，迁移到新的业务数据库中。
进一步地，数据平衡器包括复制模块、迁移模块、漏检模块与存储模块，复制模块用于将历史数据进行复制备份。
进一步地，表和字段默认分别是hibernate_unique_key和next作为高位值得来源。
进一步地，矩阵的乘积采用有限域下的二进制加法移位运算。
进一步地，数据平衡器内部包含数据服务模块与自代理模块，数据服务模块用于接收来自代理模块的携带读取起始地址的读请求，查找一级映射表中读取起始地址对应的映射记录，得到相应的存储节点以及块标识，把读请求路由到相应的存储节点。
进一步地，分表数据操作引擎包含首字母检索模块，用于对业务类型的名称首字母分析，按照首字母的顺序进行排列。
进一步地，散列引擎包含解码模块，对ARP响应包进行解码，用以通过将经解码的地址解析协议响应包内的一个或多个网络参数提供给散列函数来确定对应的散列表索引。
进一步地，迁移模块主要行使数据迁移工作，数据迁移的实现分为数据迁移前的准备、数据迁移的实施和数据迁移后的校验三个部分。
进一步地，迁移模块用于对历史数据进行搬迁至新的存储模块中。
进一步地，漏检模块对历史数据与存储模块中的迁移数据进行对比。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述，仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其它修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种Jmatrix分布式云储存系统，其特征在于，包括数据库主键生成器，用于在应用服务器生成数据库主键，数据库主键生成器使用一个高/低位算法来高效的生成long,short或者int类型的标识符，给定一个表和字段且高/低位算法生成的标识符只在一个特定的数据库中是唯一的；
散列引擎，对数据库主键生成器生成的主键进行散列分布，将主键对应的数据不断地转运数据且碎片化，并且平衡分布到后端的业务数据库分区表中，将数据进行矩阵编码，生成子存储矩阵；
分表数据操作引擎，按照业务类型将数据库拆分为多个业务数据库组，每组业务数据库中包含多个实际数据库实例，保证单库的数据量不超过TB级，同时对某个业务数据库实例的具体业务表也使用散列引擎进行拆分，保证单表的记录数不超过百万级；
数据平衡器，将离线存储与在线存储融合的历史数据，通过高速、高容量的非在线存储设备作为磁盘设备的下一级设备，迁移到新的业务数据库中。
2.根据权利要求1所述的一种Jmatrix分布式云储存系统，其特征在于：所述数据平衡器包括复制模块、迁移模块、漏检模块与存储模块，复制模块用于将历史数据进行复制备份。
3.根据权利要求1所述的一种Jmatrix分布式云储存系统，其特征在于：所述表和字段默认分别是hibernate_unique_key和next作为高位值得来源。
4.根据权利要求1所述的一种Jmatrix分布式云储存系统，其特征在于：所述矩阵的乘积采用有限域下的二进制加法移位运算。
5.根据权利要求1所述的一种Jmatrix分布式云储存系统，其特征在于：所述数据平衡器内部包含数据服务模块与自代理模块，数据服务模块用于接收来自代理模块的携带读取起始地址的读请求，查找一级映射表中所述读取起始地址对应的映射记录，得到相应的存储节点以及块标识，把读请求路由到相应的存储节点。
6.根据权利要求1所述的一种Jmatrix分布式云储存系统，其特征在于：所述分表数据操作引擎包含首字母检索模块，用于对业务类型的名称首字母分析，按照首字母的顺序进行排列。
7.根据权利要求1所述的一种Jmatrix分布式云储存系统，其特征在于：所述散列引擎包含解码模块，对ARP响应包进行解码，用以通过将经解码的地址解析协议响应包内的一个或多个网络参数提供给散列函数来确定对应的散列表索引。
8.根据权利要求2所述的一种Jmatrix分布式云储存系统，其特征在于：所述迁移模块主要行使数据迁移工作，数据迁移的实现分为数据迁移前的准备、数据迁移的实施和数据迁移后的校验三个部分。
9.根据权利要求2所述的一种Jmatrix分布式云储存系统，其特征在于：所述迁移模块用于对历史数据进行搬迁至新的存储模块中。
10.根据权利要求2所述的一种Jmatrix分布式云储存系统，其特征在于：所述漏检模块对历史数据与存储模块中的迁移数据进行对比。
CN202011440330.4A 2020-12-07 2020-12-07 一种Jmatrix分布式云储存系统 Pending CN112527200A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011440330.4A CN112527200A (zh) 2020-12-07 2020-12-07 一种Jmatrix分布式云储存系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011440330.4A CN112527200A (zh) 2020-12-07 2020-12-07 一种Jmatrix分布式云储存系统

Publications (1)

Publication Number Publication Date
CN112527200A true CN112527200A (zh) 2021-03-19

Family

ID=74999595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011440330.4A Pending CN112527200A (zh) 2020-12-07 2020-12-07 一种Jmatrix分布式云储存系统

Country Status (1)

Country Link
CN (1) CN112527200A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101394400A (zh) * 2007-05-18 2009-03-25 辉达公司 网络业务的智能负载平衡和故障转移
CN105242881A (zh) * 2015-10-12 2016-01-13 创新科软件技术（深圳）有限公司 分布式存储系统及其数据读写方法
CN106339475A (zh) * 2016-08-29 2017-01-18 联众智慧科技股份有限公司 一种海量数据的分布式存储系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101394400A (zh) * 2007-05-18 2009-03-25 辉达公司 网络业务的智能负载平衡和故障转移
CN105242881A (zh) * 2015-10-12 2016-01-13 创新科软件技术（深圳）有限公司 分布式存储系统及其数据读写方法
CN106339475A (zh) * 2016-08-29 2017-01-18 联众智慧科技股份有限公司 一种海量数据的分布式存储系统

Similar Documents

Publication Publication Date Title
Liu et al. A low-cost multi-failure resilient replication scheme for high-data availability in cloud storage
EP3418877A1 (en) Data writing and reading method and apparatus, and cloud storage system
TW201530328A (zh) 爲半結構化資料構建ＮｏＳＱＬ資料庫索引的方法及裝置
WO2015196983A1 (zh) 一种提交数据的方法及装置
Sheoran et al. Optimized mapfile based storage of small files in hadoop
WO2022083436A1 (zh) 数据处理方法、装置、设备及可读存储介质
Fang et al. Meteorological data analysis using MapReduce
CN116701330A (zh) 物流信息共享方法、装置、设备及存储介质
CN113687964A (zh) 数据处理方法、装置、电子设备、存储介质及程序产品
Gupta et al. HADOOP-An Open Source Framework for Big Data
CN111444148A (zh) 基于MapReduce的数据传输方法和装置
CN112579552A (zh) 日志存储及调用方法、装置及系统
CN112527200A (zh) 一种Jmatrix分布式云储存系统
CN113495945A (zh) 一种文本搜索方法、装置及存储介质
CN105830063B (zh) 协调卷组中的小卷
US20220164396A1 (en) Metadata indexing for information management
US9607029B1 (en) Optimized mapping of documents to candidate duplicate documents in a document corpus
Chakraborty et al. A proposal for high availability of HDFS architecture based on threshold limit and saturation limit of the namenode
CN108509438A (zh) 一种ElasticSearch分片扩展方法
Shabeera et al. A novel approach for improving data locality of mapreduce applications in cloud environment through intelligent data placement
Lakshmi et al. Compact in‐memory representation of large graph databases for efficient mining of maximal frequent sub graphs
Sun et al. Data Management across Geographically-Distributed Autonomous Systems: Architecture, Implementation, and Performance Evaluation
CN112131229A (zh) 基于区块链的分布式数据存取方法、装置及存储节点
CN113760966A (zh) 基于异构数据库系统的数据处理方法和装置
CN111104416A (zh) 一种分布式电力数据管理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210319