CN114936255A - 一种新型通用的分布式存储系统访问系统 - Google Patents

一种新型通用的分布式存储系统访问系统 Download PDF

Info

Publication number
CN114936255A
CN114936255A CN202210522159.4A CN202210522159A CN114936255A CN 114936255 A CN114936255 A CN 114936255A CN 202210522159 A CN202210522159 A CN 202210522159A CN 114936255 A CN114936255 A CN 114936255A
Authority
CN
China
Prior art keywords
data
storage
access
information
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210522159.4A
Other languages
English (en)
Other versions
CN114936255B (zh
Inventor
王书浩
王朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Thorough Future Technology Co ltd
Original Assignee
Touche Image Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Touche Image Beijing Technology Co ltd filed Critical Touche Image Beijing Technology Co ltd
Priority to CN202210522159.4A priority Critical patent/CN114936255B/zh
Publication of CN114936255A publication Critical patent/CN114936255A/zh
Application granted granted Critical
Publication of CN114936255B publication Critical patent/CN114936255B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Multi Processors (AREA)

Abstract

本发明提供了一种新型通用的分布式存储系统访问系统，包括用户层：用于搭建统一接口，并接收访问信息，确定需要读写的目标数据；数据访问层：用于确定目标数据的访问方案，并根据所述访问方案确定统一接口对接的存储区域；数据接入层：用于根据所述存储方案通过对应的连接方式和存储类型接入所述存储区域；存储层：用于根据预设业务场景，生成多种访问方案，并通过所述多种访问方案划分底层存储的不同存储区域。

Description

一种新型通用的分布式存储系统访问系统
技术领域
本发明涉及数据访问技术领域，特别涉及一种新型通用的分布式存储系统访问系统。
背景技术
目前，随着互联网相关技术的飞速发展，网络已经成为我们日常生活中必不可少的一部分，而在互联网中每天都会产生海量的数据，且数据量仍然在逐年递增。过去几年无论是医疗、健康、交通、公共安全，还是生活、购物、旅游、娱乐都已经逐渐建立起了大数据的分析系统，无论是国家还是企业对大数据的投入都数以亿计。毫无疑问，我们正处于“大数据时代”。
而伴随着数据量的不断增加，数据如何存储成为新时代的一大难题，对存储设备的存储容量和读写性能要求也越来越高，数据的分布式存储和并行技术也变得越来越重要。因此，也涌现出了各种各样的存储技术。
根据服务器类型，存储分为封闭系统的存储和开放系统的存储，封闭系统主要指大型机，开放系统指基于Windows、UNIX、Linux等操作系统的服务器。开放系统的存储分为内置存储和外挂存储，外挂存储根据连接的方式分为直连式存储(简称DAS)和网络化存储(简称FAS)。网络化存储根据传输协议又分为网络接入存储(简称NAS)和存储区域网络(简称SAN)。
根据存储类型，主要分为块存储、文件存储和对象存储。块存储就是将裸磁盘空间整个映射给主机使用，裸盘上划分逻辑卷，逻辑卷格式化成任意文件系统。此种方式下，操作系统还需要对挂载的裸硬盘进行分区、格式化后，才能使用，与平常主机内置硬盘的方式完全无异。块存储无法实现文件服务共享，为了克服这个问题，于是有了文件存储。文件存储就是安装了文件共享服务程序的服务器，且不需要再对文件存储进行格式化，但有一个缺点是读写速率低，传输速率慢。为了克服块存储与文件存储各自的缺点，就出现了对象存储，对象存储是一种分布式存储，既保证了读写速度，又可以实现文件共享。
面对多种多样的存储技术，我们需要根据实际存储规模的大小以及不同的存储场景选择一种合适的存储方案，有时候，由于业务场景的复杂性，可能需要选择不同的存储方式和类型结合应用。而对于不同的存储方案，其读写方式和系统调用是不一样的，用户需要根据不同的存储方案执行相应的系统调用，这无疑增加了使用难度，也增大了出错概率。
发明内容
本发明提供一种新型通用的分布式存储系统访问系统，用以解决现有技术中因为业务场景的复杂性，需要不同的存储方式和类型结合的应用，用户需要根据不同的存储方案执行相应的系统调用，使得难度增大，出错概率增大的情况。
一种新型通用的分布式存储系统访问系统，包括：
用户层：用于搭建统一接口，并接收访问信息，确定需要读写的目标数据；
数据访问层：用于确定目标数据的访问方案，并根据所述访问方案确定统一接口对接的存储区域；
数据接入层：用于根据所述访问方案通过对应的连接方式和数据类型接入所述存储区域；
存储层：用于根据预设业务场景，生成多种访问方案，并通过所述多种访问方案划分底层存储的不同存储区域。
作为本发明的一种实施例：所述用户层包括：
访问单元：用于接收用户的访问信息，并判断所述访问信息为数据读读取信息或数据存储信息；
类型确定单元：用于根据所述业务场景，确定存储需求，并根据所述存储需求，确定存储的数据类型；
接口判断单元：用于根据所述数据类型，判断所述存储区域的接口需求；
接口信息确定单元：用于根据所述接口需求，确定对应的接口信息；其中，
所述接口信息报：接口协议、接口带宽、接口功能和接口规则；
接口搭建单元：用于根据所述接口信息，构建多通道同步传输数据接口；
接口同意单元：用于在所述多通道同步传输数据接口上设置数据转换规则，构成统一接口。
作为本发明的一种实施例：所述用户层还包括：
接收单元：用于通过统一接口收到访问指令，确定信息访问类型；其中，
所述信息访问类型包括：数据读取和数据存储；
数据源确定单元：用于根据所述访问指令，确定对目标数据的数据源进行检测，确定数据源；
数据读取单元：用于在所述信息访问类型为数据读取时，确定所述数据源在存储层的存储地址，并根据所述存储地址进行数据读取；
数据存储单元：用于在所述信息访问类型为数据存储时，确定所述数据源的源地址，并根据所述源地址进行数据传输。
作为本发明的一种实施例：所述数据访问层包括：
方案模板单元：用于预先搭建数据读写数据数据库；其中，
所述数据读写数据库包括：
数据读取数据库和数据存储数据库；
所述数据读取数据库中设有数据读取模板；
所述数据存储数据库中设有数据存储模板；
方案确定单元：用于根据所述目标数据的访问信息，确定目标数据的读写目的和数据规格，并确定对应的数据读写模板，并将每个数据读写模板作为一个访问方案；其中，
所述数据规格包括：数据容量、数据类型和数据地址；
区域确定单元：用于根据所述数据读写模板，在数据写入时，确定数据写入的区域，在数据读取时，确定数据存储的区域；
对接单元：用于在数据的存储区域确定后，将所述存储区域和统一接口对接。
作为本发明的一种实施例：所述方案模板单元搭建数据读写数据库，包括以下步骤：
步骤1：目标数据预处理；其中，
所述预处理包括：数据过滤、数据分类、数据规格检测和数据读写目的判断；
步骤2：对预处理后的目标数据进行参数提取，确定不同目标数据的特征参数集合；
步骤3：将所述特征参数集合带入预设检索算法，确定不同目标数据的检索索引，并将所述检索索引转换为读写索引和存储索引；
步骤4：将所述读写索引和存储索引分别通过正太分布算法进行归一化处理，确定归一化数据；
步骤5：将所述归一化数据作为底层数据，通过矩阵分解模型搭建数据读写数据库。
作为本发明的一种实施例：所述数据接入层包括：
检测单元：用于对目标数据进行检测，确定目标数据的访问方案；
直连单元：用于根据所述访问方案，确定目标数据的直连的存储区域的区域地址；
网络单元：用于根据所述区域地址确定对应的网络接口和数据类型；
数据库单元：用于根据所述区域地址的网络接口，对存储层进行扩展；
文件选取单元：用于在所述网络接口确定后，根据数据类型，确定需要存储的目标数据或需要读取的目标数据。
作为本发明的一种实施例：所述数据库对存储层进行扩展包括以下步骤：
步骤A1:配置多个临时存储服务器，对每个临时存储服务器设置编号，并在每个临时服务器上配置一个活动的二进制日志文件；
步骤A2：根据所述存储层对所述临时服务器进行参数配置；其中，
所述参数配置包括：空间配置、SQL线程配置和文件配置；
步骤A3：用于在所述存储层确定于所述参数配置相同的存储区域，并设置与所述临时服务器相同的编号；
步骤A4：用于将所述临时服务器和所述存储区域通信对接，生成扩展存储集群。
作为本发明的一种实施例：所述存储层包括：
场景单元：用于通过目标数据，确定数据的处理场景；
DNS单元：用于根据所述处理场景，开放系统的直连式存储进行目标数据的存储或读取；
NAS单元：用于在目标数据被存储或读取后，进行剩余数据的整合；
SAN单元：用于在存储存＝＝储层搭建网状通道，并将每个网状通道连接的存储区域进行隔开；
块存储单元：用于根据独立磁盘冗余阵列，将每个存储区域作为不同的逻辑单元卷；
文件存储单元：用于将所述目标数据以单条信息的形式进行存储和读取；
对象存储单元：用于搭建应用编程接口，并将目标数据拆分为多个部分进行存储和读取。
作为本发明的一种实施例：所述用户层确定目标数据包括：
步骤S1:确定访问信息的访问系数；
Figure BDA0003642008660000061
其中，R表示访问系数，Bi表示第i个访问信息的信息特征，Mi表示第i个访问信息中目标信息的容量，Ci表示第i个访问信息中目标数据的类型，Si表示第i个访问信息中目标信息的长度；
步骤S2：根据下述公式确定访问信息中目标信息的信息特征；
Figure BDA0003642008660000071
上述公式中，E表示访问信息中目标信息的信息特征，W表示目标信息的地址，C表示目标信息的类型，Y表示目标信息的类型识别参数，L表示前因子，P表示目标信息的概率系数，V表示目标信息的语义参数，N表示目标信息中信息的总数量；
步骤S3:根据所述信息特征，确定需要读写的目标数据。
本发明有益效果在于：本发明可以隐藏底层不同存储方式的特性和细节，为用户提供一个通用的访问接口，使用户在存取文件时无需关心底层存储技术，感觉所有存储方案都是一样的，可以随意执行通用的系统调用接口。作为一种新型通用的系统访问方法，具有使用简单，适用多场景等特点。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种新型通用的分布式存储系统访问系统的系统组成图；
图2为本发明实施例中一种新型通用的分布式存储系统访问系统的系统架构图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
目前，市面上现有的分布式存储系统的访问方法都是只适用于某种特定的存储方案，并不通用，也不利于存储系统的扩展。例如，NAS存储的访问方法并不能用在SAN存储上，文件存储和对象存储的访问方法也不一样。而本发明提出的新型通用分布式存储系统访问方法则可以有效解决这一问题，提高数据访问的便捷性和通用性。
如附图1和附图2所示，本发明为一种新型通用的分布式存储系统访问系统，包括：
用户层：用于搭建统一接口，并接收访问信息，确定需要读写的目标数据；统一接口的作用是为了让不同的用户都能够通过这个接口进行信息传输，进行访问和接收反馈。
数据访问层：用于确定目标数据的访问方案，并根据所述访问方案确定统一接口对接的存储区域；
数据接入层：用于根据所述访问方案通过对应的连接方式和数据类型接入所述存储区域；
存储层：用于根据预设业务场景，生成多种访问方案，并通过所述多种访问方案划分底层存储的不同存储区域。
本发明有益效果在于：本发明可以隐藏底层不同存储方式的特性和细节，为用户提供一个通用的访问接口，使用户在存取文件时无需关心底层存储技术，感觉所有存储方案都是一样的，可以随意执行通用的系统调用接口。作为一种新型通用的系统访问方法，具有使用简单，适用多场景等特点。
作为本发明的一种实施例：所述用户层包括：
访问单元：用于接收用户的访问信息，并判断所述访问信息为数据读读取信息或数据存储信息；
类型确定单元：用于根据所述业务场景，确定存储需求，并根据所述存储需求，确定存储的数据类型；
接口判断单元：用于根据所述数据类型，判断所述存储区域的接口需求；
接口信息确定单元：用于根据所述接口需求，确定对应的接口信息；其中，
所述接口信息报：接口协议、接口带宽、接口功能和接口规则；
接口搭建单元：用于根据所述接口信息，构建多通道同步传输数据接口；
接口同意单元：用于在所述多通道同步传输数据接口上设置数据转换规则，构成统一接口。
本发明有益效果在于：对于不同的底层存储方案访问方法不通用的问题。隐藏掉底层存储的实现细节，提供一个统一的访问接口，用户调用此接口访问底层存储系统，根据底层存储方式和类型的不同自动执行相应的读写方式，然后再将执行结果返回给用户，因此，本发明采用设计了统一接口。
作为本发明的一种实施例：所述用户层还包括：
接收单元：用于通过统一接口收到访问指令，确定信息访问类型；其中，
所述信息访问类型包括：数据读取和数据存储；
数据源确定单元：用于根据所述访问指令，确定对目标数据的数据源进行检测，确定数据源；
数据读取单元：用于在所述信息访问类型为数据读取时，确定所述数据源在存储层的存储地址，并根据所述存储地址进行数据读取；
数据存储单元：用于在所述信息访问类型为数据存储时，确定所述数据源的源地址，并根据所述源地址进行数据传输。
本发明有益效果在于：为了实现数据的读取和存储，本发明会确定数据源，数据源存在数据地址，而根据数据地址就可以进行数据传输和数据读取。
作为本发明的一种实施例：所述数据访问层包括：
方案模板单元：用于预先搭建数据读写数据数据库；其中，
所述数据读写数据库包括：
数据读取数据库和数据存储数据库；
所述数据读取数据库中设有数据读取模板；
所述数据存储数据库中设有数据存储模板；
方案确定单元：用于根据所述目标数据的访问信息，确定目标数据的读写目的和数据规格，并确定对应的数据读写模板，并将每个数据读写模板作为一个访问方案；其中，
所述数据规格包括：数据容量、数据类型和数据地址；
区域确定单元：用于根据所述数据读写模板，在数据写入时，确定数据写入的区域，在数据读取时，确定数据存储的区域；
对接单元：用于在数据的存储区域确定后，将所述存储区域和统一接口对接。
本发明有益效果在于：本发明会构建数据的读取模板和数据存储模板，每个模板对应一个访问方案，根据访问方案确定存储的区域进而通过统一接口进行存储区域对接。
作为本发明的一种实施例：所述方案模板单元搭建数据读写数据库，包括以下步骤：
步骤1：目标数据预处理；其中，
所述预处理包括：数据过滤、数据分类、数据规格检测和数据读写目的判断；
步骤2：对预处理后的目标数据进行参数提取，确定不同目标数据的特征参数集合；
步骤3：将所述特征参数集合带入预设检索算法，确定不同目标数据的检索索引，并将所述检索索引转换为读写索引和存储索引；
步骤4：将所述读写索引和存储索引分别通过正太分布算法进行归一化处理，确定归一化数据；
步骤5：将所述归一化数据作为底层数据，通过矩阵分解模型搭建数据读写数据库。
本发明有益效果在于：本发明还会进行数据预处理，这个预处理过程中删除了目标数据中的无关数据，进而确定了目标数据的参数；最后根据目标数据的特征参数通过预设检索算法进行检索索引，而正态分布算法是为了数据归一化，然后通过归一化数据的底层数据，通过矩阵分模型搭建读写数据库。
作为本发明的一种实施例：所述数据接入层包括：
检测单元：用于对目标数据进行检测，确定目标数据的访问方案；
直连单元：用于根据所述访问方案，确定目标数据的直连的存储区域的区域地址；
网络单元：用于根据所述区域地址确定对应的网络接口和数据类型；
数据库单元：用于根据所述区域地址的网络接口，对存储层进行扩展；
文件选取单元：用于在所述网络接口确定后，根据数据类型，确定需要存储的目标数据或需要读取的目标数据。
本发明有益效果在于：在进行数据接入的时候，本发明还会进行目标数据的监测确定目标数据的访问方案，进而确定目标数据的区域地址，本发明还会根据区域地质通过对应的网络接口和数据类型实现存储层的扩展。
作为本发明的一种实施例：所述数据库对存储层进行扩展包括以下步骤：
步骤A1:配置多个临时存储服务器，对每个临时存储服务器设置编号，并在每个临时服务器上配置一个活动的二进制日志文件；
步骤A2：根据所述存储层对所述临时服务器进行参数配置；其中，
所述参数配置包括：空间配置、SQL线程配置和文件配置；
步骤A3：用于在所述存储层确定于所述参数配置相同的存储区域，并设置与所述临时服务器相同的编号；
步骤A4：用于将所述临时服务器和所述存储区域通信对接，生成扩展存储集群。
本发明有益效果在于：本发明在进行数据库扩展的时候，会设立临时数据库，然后对临时数据库进行参数配置，并将扩展的数据库和对应的存储层的存储区域进行同编号，进而实现存储层的扩展。
作为本发明的一种实施例：所述存储层包括：
场景单元：用于通过目标数据，确定数据的处理场景；
DNS单元：用于根据所述处理场景，开放系统的直连式存储进行目标数据的存储或读取；
NAS单元：用于在目标数据被存储或读取后，进行剩余数据的整合；
SAN单元：用于在存储存＝＝储层搭建网状通道，并将每个网状通道连接的存储区域进行隔开；
块存储单元：用于根据独立磁盘冗余阵列，将每个存储区域作为不同的逻辑单元卷；
文件存储单元：用于将所述目标数据以单条信息的形式进行存储和读取；
对象存储单元：用于搭建应用编程接口，并将目标数据拆分为多个部分进行存储和读取。
本发明的有益效果子在于：本发明可以解决不同类型的底层存储无法扩展的问题。由于实际业务场景和业务数据的复杂性，一个大型完整的分布式存储系统可能会采用不同的存储类型结合的方式。这样的话，如果系统需要扩展，相应的就会增加用户访问的难度，也增大了出错概率。而本发明提出的通用访问方法因为隐藏了底层存储细节，所以无需考虑采用的是哪种存储类型，可以任意扩展存储系统。
作为本发明的一种实施例：所述用户层确定目标数据包括：
步骤S1:确定访问信息的访问系数；
Figure BDA0003642008660000141
其中，R表示访问系数，Bi表示第i个访问信息的信息特征，Mi表示第i个访问信息中目标信息的容量，Ci表示第i个访问信息中目标数据的类型，Si表示第i个访问信息中目标信息的长度；ti表示第i个访问信息的访问时长。
步骤S2：根据下述公式确定访问信息中目标信息的信息特征；
Figure BDA0003642008660000142
上述公式中，E表示访问信息中目标信息的信息特征，W表示目标信息的地址，C表示目标信息的类型，Y表示目标信息的类型识别参数，L表示前因子，P表示目标信息的概率系数，V表示目标信息的语义参数，N表示目标信息中信息的总数量；
步骤S3:根据所述信息特征，确定需要读写的目标数据。
上述技术方案有益效果在于：本发明在确定目标数据的时候，会根据访问信息的访问系数，确定目标数据的特征系数；而通过目标数据的特征系数，本发明还会基于目标数据的特性计算出目标数据的数据特征，及数据的类型、容量、地址、语义等多项内容的综合参数，进而得到目标数据的信息特征，而根据信息特征能够确定信息特征对应的目标数据。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种新型通用的分布式存储系统访问系统，其特征在于，包括：
用户层：用于搭建统一接口，并接收访问信息，确定需要读写的目标数据；其中，
所述读写包括：数据读取和数据存储；
数据访问层：用于确定目标数据的访问方案，并根据所述访问方案确定统一接口对接的存储区域；
数据接入层：用于根据所述访问方案通过对应的连接方式和数据类型接入所述存储区域；
存储层：用于根据预设业务场景，生成多种访问方案，并通过所述多种访问方案划分底层存储的不同存储区域。
2.如权利要求1所述的一种新型通用的分布式存储系统访问系统，其特征在于，所述用户层包括：
访问单元：用于接收用户的访问信息，并判断所述访问信息为数据读读取信息或数据存储信息；
类型确定单元：用于根据所述业务场景，确定存储需求，并根据所述存储需求，确定存储的数据类型；
接口判断单元：用于根据所述数据类型，判断所述存储区域的接口需求；
接口信息确定单元：用于根据所述接口需求，确定对应的接口信息；其中，
所述接口信息报：接口协议、接口带宽、接口功能和接口规则；
接口搭建单元：用于根据所述接口信息，构建多通道同步传输数据接口；
接口同意单元：用于在所述多通道同步传输数据接口上设置数据转换规则，构成统一接口。
3.如权利要求1所述的一种新型通用的分布式存储系统访问系统，其特征在于，所述用户层还包括：
接收单元：用于通过统一接口收到访问指令，确定信息访问类型；其中，
所述信息访问类型包括：数据读取和数据存储；
数据源确定单元：用于根据所述访问指令，确定对目标数据的数据源进行检测，确定数据源；
数据读取单元：用于在所述信息访问类型为数据读取时，确定所述数据源在存储层的存储地址，并根据所述存储地址进行数据读取；
数据存储单元：用于在所述信息访问类型为数据存储时，确定所述数据源的源地址，并根据所述源地址进行数据传输。
4.如权利要求1所述的一种新型通用的分布式存储系统访问系统，其特征在于，所述数据访问层包括：
方案模板单元：用于预先搭建数据读写数据数据库；其中，
所述数据读写数据库包括：
数据读取数据库和数据存储数据库；
所述数据读取数据库中设有数据读取模板；
所述数据存储数据库中设有数据存储模板；
方案确定单元：用于根据所述目标数据的访问信息，确定目标数据的读写目的和数据规格，并确定对应的数据读写模板，并将每个数据读写模板作为一个访问方案；其中，
所述数据规格包括：数据容量、数据类型和数据地址；
区域确定单元：用于根据所述数据读写模板，在数据写入时，确定数据写入的区域，在数据读取时，确定数据存储的区域；
对接单元：用于在数据的存储区域确定后，将所述存储区域和统一接口对接。
5.如权利要求4所述的一种新型通用的分布式存储系统访问系统，其特征在于，所述方案模板单元搭建数据读写数据库，包括以下步骤：
步骤1：目标数据预处理；其中，
所述预处理包括：数据过滤、数据分类、数据规格检测和数据读写目的判断；
步骤2：对预处理后的目标数据进行参数提取，确定不同目标数据的特征参数集合；
步骤3：将所述特征参数集合带入预设检索算法，确定不同目标数据的检索索引，并将所述检索索引转换为读写索引和存储索引；
步骤4：将所述读写索引和存储索引分别通过正太分布算法进行归一化处理，确定归一化数据；
步骤5：将所述归一化数据作为底层数据，通过矩阵分解模型搭建数据读写数据库。
6.如权利要求1所述的一种新型通用的分布式存储系统访问系统，其特征在于，所述数据接入层包括：
检测单元：用于对目标数据进行检测，确定目标数据的访问方案；
直连单元：用于根据所述访问方案，确定目标数据的直连的存储区域的区域地址；
网络单元：用于根据所述区域地址确定对应的网络接口和数据类型；
数据库单元：用于根据所述区域地址的网络接口，对存储层进行扩展；
文件选取单元：用于在所述网络接口确定后，根据数据类型，确定需要存储的目标数据或需要读取的目标数据。
7.如权利要求6所述的一种新型通用的分布式存储系统访问系统，其特征在于，所述数据库对存储层进行扩展包括以下步骤：
步骤A1:配置多个临时存储服务器，对每个临时存储服务器设置编号，并在每个临时服务器上配置一个活动的二进制日志文件；
步骤A2：根据所述存储层对所述临时服务器进行参数配置；其中，
所述参数配置包括：空间配置、SQL线程配置和文件配置；
步骤A3：用于在所述存储层确定于所述参数配置相同的存储区域，并设置与所述临时服务器相同的编号；
步骤A4：用于将所述临时服务器和所述存储区域通信对接，生成扩展存储集群。
8.如权利要求1所述的一种新型通用的分布式存储系统访问系统，其特征在于，所述存储层包括：
场景单元：用于通过目标数据，确定数据的处理场景；
DNS单元：用于根据所述处理场景，开放系统的直连式存储进行目标数据的存储或读取；
NAS单元：用于在目标数据被存储或读取后，进行剩余数据的整合；
SAN单元：用于在存储层搭建网状通道，并将每个网状通道连接的存储区域进行隔开；
块存储单元：用于根据独立磁盘冗余阵列，将每个存储区域作为不同的逻辑单元卷；
文件存储单元：用于将所述目标数据以单条信息的形式进行存储和读取；
对象存储单元：用于搭建应用编程接口，并将目标数据拆分为多个部分进行存储和读取。
9.如权利要求1所述的一种新型通用的分布式存储系统访问系统，其特征在于，所述用户层确定目标数据包括：
步骤S1:确定访问信息的访问系数；
Figure FDA0003642008650000051
其中，R表示访问系数，Bi表示第i个访问信息的信息特征，Mi表示第i个访问信息中目标信息的容量，Ci表示第i个访问信息中目标数据的类型，Si表示第i个访问信息中目标信息的长度；
步骤S2：根据下述公式确定访问信息中目标信息的信息特征；
Figure FDA0003642008650000052
上述公式中，E表示访问信息中目标信息的信息特征，W表示目标信息的地址，C表示目标信息的类型，Y表示目标信息的类型识别参数，L表示前因子，P表示目标信息的概率系数，V表示目标信息的语义参数，N表示目标信息中信息的总数量；
步骤S3:根据所述信息特征，确定需要读写的目标数据。
CN202210522159.4A 2022-05-13 2022-05-13 一种通用的分布式存储系统访问系统 Active CN114936255B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210522159.4A CN114936255B (zh) 2022-05-13 2022-05-13 一种通用的分布式存储系统访问系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210522159.4A CN114936255B (zh) 2022-05-13 2022-05-13 一种通用的分布式存储系统访问系统

Publications (2)

Publication Number Publication Date
CN114936255A true CN114936255A (zh) 2022-08-23
CN114936255B CN114936255B (zh) 2023-05-02

Family

ID=82863754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210522159.4A Active CN114936255B (zh) 2022-05-13 2022-05-13 一种通用的分布式存储系统访问系统

Country Status (1)

Country Link
CN (1) CN114936255B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156216A (zh) * 2014-08-14 2014-11-19 浪潮(北京)电子信息产业有限公司 一种面向云计算的异构存储管理系统及方法
CN105069149A (zh) * 2015-08-24 2015-11-18 电子科技大学 一种面向结构化列式数据的分布式并行数据导入方法
CN111198848A (zh) * 2020-01-03 2020-05-26 南京领行科技股份有限公司 一种分布式文件访问方法、系统、服务器和存储介质
US20210021563A1 (en) * 2019-07-17 2021-01-21 International Business Machines Corporation Determining cache time to live in an object storage system
CN112559481A (zh) * 2020-11-27 2021-03-26 西安中科星图空间数据技术有限公司 一种基于分布式系统和关系数据库的数据存储方法及装置
CN112905113A (zh) * 2021-02-08 2021-06-04 中国工商银行股份有限公司 数据访问处理方法和装置
US20210382852A1 (en) * 2013-09-20 2021-12-09 Google Llc Programmatically choosing preferred storage parameters for files in large-scale distributed storage systems
CN114416648A (zh) * 2022-01-26 2022-04-29 盟浪可持续数字科技(深圳)有限责任公司 一种指定文本用对象分布式展示系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210382852A1 (en) * 2013-09-20 2021-12-09 Google Llc Programmatically choosing preferred storage parameters for files in large-scale distributed storage systems
CN104156216A (zh) * 2014-08-14 2014-11-19 浪潮(北京)电子信息产业有限公司 一种面向云计算的异构存储管理系统及方法
CN105069149A (zh) * 2015-08-24 2015-11-18 电子科技大学 一种面向结构化列式数据的分布式并行数据导入方法
US20210021563A1 (en) * 2019-07-17 2021-01-21 International Business Machines Corporation Determining cache time to live in an object storage system
CN111198848A (zh) * 2020-01-03 2020-05-26 南京领行科技股份有限公司 一种分布式文件访问方法、系统、服务器和存储介质
CN112559481A (zh) * 2020-11-27 2021-03-26 西安中科星图空间数据技术有限公司 一种基于分布式系统和关系数据库的数据存储方法及装置
CN112905113A (zh) * 2021-02-08 2021-06-04 中国工商银行股份有限公司 数据访问处理方法和装置
CN114416648A (zh) * 2022-01-26 2022-04-29 盟浪可持续数字科技(深圳)有限责任公司 一种指定文本用对象分布式展示系统

Also Published As

Publication number Publication date
CN114936255B (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
WO2021091489A1 (en) Method and apparatus for storing time series data, and server and storage medium thereof
AU2006259831B2 (en) Device specific content indexing for optimized device operation
CN102750326A (zh) 一种基于精简策略的集群系统的日志管理优化方法
CN105378680A (zh) 用于跨各种移动装置协调移动应用的现场用户测试结果的系统和方法
CN111639114A (zh) 一种基于物联网平台的分布式数据融合管理系统
CN104239377A (zh) 跨平台的数据检索方法及装置
CN102821111A (zh) 文件云存储实时同步方法
WO2022083436A1 (zh) 数据处理方法、装置、设备及可读存储介质
CN110505495A (zh) 多媒体资源抽帧方法、装置、服务器及存储介质
CN110134737A (zh) 数据变化监听方法及装置、电子设备和计算机可读存储介质
CN104615785A (zh) 一种基于TYKY cNosql数据库的数据存储方法及装置
CN112256682B (zh) 一种多维异构数据的数据质量检测方法及装置
CN110008462B (zh) 一种命令序列检测方法及命令序列处理方法
CN112597348A (zh) 一种大数据存储优化的方法及装置
CN117171108B (zh) 一种虚拟模型映射方法和系统
CN109947730A (zh) 元数据恢复方法、装置、分布式文件系统及可读存储介质
CN109947743A (zh) 一种优化的NoSQL大数据存储方法及系统
US9275059B1 (en) Genome big data indexing
CN108133017A (zh) 一种多数据源采集配置方法及装置
CN112306992A (zh) 一种基于互联网的大数据平台
CN114936255B (zh) 一种通用的分布式存储系统访问系统
CN107436848B (zh) 一种实现用户数据和压缩数据间转换的方法及装置
CN110297842B (zh) 一种数据比对方法、装置、终端和存储介质
CN114356051A (zh) 一种基于云计算及云服务器的电子信息储存技术方法研究
US11341159B2 (en) In-stream data load in a replication environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20221020

Address after: 100000 608, Floor 6, No. 39, Lianhuachi East Road, Haidian District, Beijing

Applicant after: Beijing Thorough Future Technology Co.,Ltd.

Address before: Room 513, 5 / F, building C, 18 Xihuan South Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Applicant before: TOUCHE IMAGE (BEIJING) TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant