CN115639955A - 数据存储方法、装置、设备及存储介质 - Google Patents
数据存储方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115639955A CN115639955A CN202211119196.7A CN202211119196A CN115639955A CN 115639955 A CN115639955 A CN 115639955A CN 202211119196 A CN202211119196 A CN 202211119196A CN 115639955 A CN115639955 A CN 115639955A
- Authority
- CN
- China
- Prior art keywords
- data
- dimensional
- storing
- dimensional database
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明属于计算机数据存储技术领域,公开了一种数据存储方法、装置、设备及存储介质;该方法包括:获取初始数据;将初始数据存储至三维数据库;对三维数据库中的数据进行切分得到参考数据;再将参考数据存储至空间节点;本发明通过将初始数据存储至三维数据库,对初始数据进行数据进一步的分类和定位后,将三维数据库中的数据按照切分规则进行切分得到多个参考数据,再将参考数据存储至不同的空间节点,相较于目前数据存储,本发明将数据进行三维数据定位后,在对三维数据进行切分得到相互关联的少量数据,将每部分数据存储至空间节点,在进行数据调用时,每个空间节点数据量均衡且数据相互关联,能够快速找到目标数据,进行数据调用。
Description
技术领域
本发明涉及计算机数据技术领域,尤其涉及一种数据存储方法、装置、设备及存储介质。
背景技术
传统的网络存储系统是采用集中的存储服务器存放所有数据。随着数据量的增加,想要在海量数据中找目标数据需要访问多个存储系统,速度慢的同时,增了存储系统发生延迟、故障的概率。通过分布式存储系统将数据分散存储在多台独立的设备上,采用可扩展的系统结构,利用多台存储服务器分担存储负荷、定位存储信息。
但是分布式存储在真实应用中,任然存在因为数据量大,数据种类复杂,不同数据混杂存储在一起,在搜索目标数据的过程中需要访问大量存储空间,导致数据调用、检索速度缓慢。而带宽(吞吐量)和每秒I/O操作数(IOPS)是衡量存储性能的两大指标。想要得到更“高”的IOPS,就需要尽可能减少每次数据存取请求涉及到的盘数;在进行数据调用、检索的过程中涉及的盘数越少,进行更多的I/O操作,如何获取更“高”的IOPS,进一步实现目标数据的快速调用是在数据存储过程中必须考虑的问题。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种数据存储方法,旨在解决现有技术中在大量存储数据中无法快速找到目标数据的技术问题。
为实现上述目的,本发明提供了一种数据存储方法,所述方法包括以下步骤:
获取初始数据;
将所述初始数据存储至三维数据库;
对所述三维数据库中的数据进行切分得到参考数据;
将所述参考数据存储至空间节点。
可选地,所述获取初始数据之前,还包括:
获取参考数据目录;
根据所述参考数据目录建立三维数据表;
根据所述三维数据表建立三维数据库。
可选地,所述将所述初始数据存储至三维数据库,包括:
对所述初始数据进行分类得到所述初始数据的数据类别;
根据所述数据类别遍历三维数据表得到所述初始数据的三维位置信息;
根据所述三维位置信息将所述初始数据存储至三维数据库。
可选地,所述根据所述三维位置信息将所述初始数据存储至三维数据库,包括:
对所述初始数据进行压缩得到压缩数据;
根据所述压缩数据生成数据对;
根据所述三维位置信息将所述压缩数据以及所述数据对存储至三维数据库。
可选地,所述对所述三维数据库中的数据进行切分得到参考数据,包括:
获取所述三维数据库的边界参数;
根据所述边界参数对所述三维数据库中的数据进行划分得到边界数据;
根据所述边界数据建立边界数据表;
根据所述边界数据表进行水平划分得到水平数据表;
根据所述水平数据表对所述边界数据进行切分得到水平数据;
将所述水平数据以及所述水平数据表作为参考数据。
可选地,所述空间节点包括原始空间节点和虚拟空间节点,所述虚拟空间节点分布在所述原始空间节点的两侧;
所述将所述参考数据存储至空间节点,包括:
将所述参考数据存储在所述原始空间节点;
将所述参考数据划分成多个单位数据,所述单位数据为所述参考数据对应的备份数据;
将多个所述单位数据库分别存储至虚拟空间节点。
可选地,所述将所述参考数据存储至空间节点之后,包括:
当原始空间节点的参考数据处于可修复状态时,根据所述原始空间节点两侧的虚拟空间节点内存储的单位数据对所述参考数据进行修复;
当所述原始空间节点的参考数据处于损毁状态时,将所述原始空间节点两侧的虚拟空间节点内存储的单位数据迁移至距离所述原始空间节点最近的其他原始空间节点。
此外,为实现上述目的,本发明还提出一种数据存储装置,所述数据存储装置包括:
此外,为实现上述目的,本发明还提出一种数据存储设备,所述数据存储设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据存储程序,所述数据存储程序配置为实现如上文所述的数据存储方法的步骤。
此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有数据存储程序,所述数据存储程序被处理器执行时实现如上文所述的数据存储方法的步骤。
本发明通过将初始数据存储至三维数据库,对初始数据进行数据进一步的分类和定位后,将三维数据库中的数据按照切分规则进行切分得到多个参考数据,再将参考数据存储至不同的空间节点,相较于目前数据存储,本发明将数据进行三维数据定位后,在对三维数据进行切分得到相互关联的少量数据,将每部分数据存储至空间节点,在进行数据调用、检索时,每个空间节点数据量均衡且数据相互关联,能够快速找到目标数据,进行数据调用。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的数据存储设备的结构示意图;
图2为本发明数据存储方法第一实施例的流程示意图;
图3为本发明数据存储方法第二实施例的流程示意图;
图4为本发明数据存储方法第三实施例的流程示意图;
图5为本发明数据存储装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的数据存储设备结构示意图。
如图1所示,该数据存储设备可以包括:处理器1001,例如中央处理器(CentralProcessing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity,WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory,RAM)存储器,也可以是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对数据存储设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据存储程序。
在图1所示的数据存储设备中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明数据存储设备中的处理器1001、存储器1005可以设置在数据存储设备中,所述数据存储设备通过处理器1001调用存储器1005中存储的数据存储程序,并执行本发明实施例提供的数据存储方法。
本发明实施例提供了一种数据存储方法,参照图2,图2为本发明一种数据存储方法第一实施例的流程示意图。
本实施例中,所述数据存储方法包括以下步骤:
步骤S10:获取初始数据。
应理解的是,本实施例的执行主体可以是一种具有数据处理、网络通信以及程序运行功能的处理器,或者是一种能够实现上述功能的电子设备,例如手机、电脑等。
可理解的是,初始数据可以是待存储数据,是基于用户操作得到的一系列数据,可以是从网页下载的数据,可以是文档操作数据,可以是系统数据等。
需说明的是,获取的初始数据不可避免的存在数据缺失、数据重复等情况,对初始数据进行数据清洗得到优化后的初始数据,将优化后的初始数据进行存储,可以更加有利于数据保存和数据的完整性。
步骤S20:将所述初始数据存储至三维数据库。
可理解的是,三维数据库是一个带有三个坐标的数据库,根据数据的属性/类别对应在三维数据库中的三个坐标,可以在三维数据中准确定位带有对应属性/类别的数据,三维数据库是一个相对固定的数据结构,根据该数据结构能够形成稳定的数据库。
应理解的是,三维数据库是根据三维数据表进行建立的,三维数据表是根据参考数据目录建立的,参考数据目录是从数据的类别、操作时间以及数据应用场景等参数中选择得到,具体选择那些参数作为参考数据目录可根据实际需求进行选择,本发明对此不作限定。
需说明的是,获取初始数据后,根据参考目录对初始数据进行分类得到初始数据的数据类别,根据数据类别遍历三维数据表可以得到初始数据在三维数据表中的定位,根据该定位转换至三维数据库可以的带该初始数据在三维数据库中的三维位置信息;根据该三维位置信息可以得到初始数据在三维数据库中的存储位置。
需强调的是,将初始数存储至三维数据库的过程中,将初始数据进行压缩得到压缩数据,并根据压缩数据生成数据对,数据对是根据初始数据的数据类别对应生成的一种加密代表符号,将数据对以及压缩数据同时存储至三维数据库中对应的存储位置。将初始数据进行压缩后能够有效减少三维数据库的负载,在调用数据时,根据数据对能够快速识别压缩数据的内容后并调用。
在具体实施中,一份数据从数据操作时间、数据类型、数据应用场景可以分析为2021年8月5日,图片,页面下载。若一份文件的保存时间为2022年6月17日,对该数据进行时间定位后得知该文件数据存储在三维数据表中2022年6月16日后2022年6月17日的数据表中,基于该文件属于日志存储类型,则在2022年6月17日的数据表中定位日志存储类数据的存储位置,将所述文件数据保存至该存储位置。
步骤S30:对所述三维数据库中的数据进行切分得到参考数据。
可理解的是,三维数据库中的数据是所有需要存储的数据的总和,数据量非常庞大,对该数据库中的数据进行切分可以得到多个参考数据,每部分参考数据是三维数据库中的一部分,将参考数据分开进行存储,能够分摊三维数据库的数据负载。
应理解的是,三维数据库中的数据是根据三维数据表建立,考虑到三维数据库中的数据具有稳定的结构,根据三维数据库中各数据的关联性对三维数据库中的数据进行切分。
步骤S40:将所述参考数据存储至空间节点。
可理解的是,空间节点是指在储存空间中用来存储数据的空间,类似于一串珍珠项链,每一颗珍珠都是一个空间节点,每个空间节点存储有数据,每个空间节点相互关联。
应理解的是,存储空间可以是电脑的磁盘,也可以是外置存储介质,也可以是扩展的磁盘。
需说明的是,将切分后的参考数据按照预设顺序依次存储至空间节点,预设顺序是按照前后参考数据的时间关联性进行存储,也可以是按照前后参考数据的应用场景的关联性进行存储。
本实施例通过将初始数据存储至三维数据库,对初始数据进行数据进一步的分类和定位后,将三维数据库中的数据按照切分规则进行切分得到多个参考数据,再将参考数据存储至不同的空间节点,相较于目前数据存储,本发明将数据进行三维数据定位后,在对三维数据进行切分得到相互关联的少量数据,将每部分数据存储至空间节点,在进行数据调用时,每个空间节点数据量均衡且数据相互关联,能够快速找到目标数据,进行数据调用。
参考图3,图3为本发明一种数据存储方法第二实施例的流程示意图。
基于上述第一实施例,本实施例数据存储方法在所述步骤S30,包括:
步骤S31:获取所述三维数据库的边界参数。
可理解的是,在将数据存储至三维数据库中,每个数据在三维行数据库中都存在一个定位,该定位即该数据的位置信息,基于该位置信息计算整个数据库的范围,将数据的数据范围可以理解为三维数据库的边界参数。
应理解的是,根据边界参数可以进一步得到处于边界预设范围内的数据,预设范围是指根据数据切分需求以及数据切分是对每个存储单元数据量的目标进行设定,根据边界预设范围,将处于三维数据库中边缘的数据进行收敛,得到正在存储数据的边界,用来区分正在写入的新数据和准备存储的待存储数据。
需说明的是,计算随时都在进行数据存储,在存储时对数据进行切片时将上一时刻待存储数据和下一时刻待存储数据通过边界参数进行划分,下一时刻的待存储数据从边界参数处开始存储,异步进行能够同时进行数据的写入和数据的存储。
步骤S32:根据所述边界参数对所述三维数据库中的数据进行划分得到边界数据。
可理解的是,根据边界参数可以进一步统计得到每个三维数据库中的总数据量,根据总数据量以及待存储数据的原始空间节点的数量对所述三维数据库中的数据进行初步划分得到边界数据。
应理解的是,每份边界数据的数据量是相同的,但是每份边界数据相互之间的结构并不稳定,为了便于理解,简单来说就是三维数据库中包括数据1、2、3、4、5、6、7、8、9、!、@、#、A、B、C、D、E、F、G、H、I、J、K、L、M、N等一系列数据,根据边界参数可以得知总数据量为26,原始空间节点数为4个,将三维数据库中的数据一次切分后得到边界数据1、2、3、4、5、6、7,边界数据8、9、!、@、#、A、B,边界数据C、D、E、F、G、H,边界数据I、J、K、L、M、N。
需说明的是,边界数据是将总数据量根据原始空间节点数进行均匀分配得到的数据,其中存在边界数据中存在三种数据,不可避免的导致数据结构不够稳定,数据类别多从而在数据调用时导致数据检索不够迅速。
步骤S33:根据所述边界数据建立边界数据表。
可理解的是,边界数据表示根据边界数据中数据的种类对应生成数据目录,根据数据目录对应生成的边界数据表。
应理解的是,根据边界数据表能够清楚的对边界数据中不同类型的数据进行区分。
在具体实施中,一个边界数据包括8、9、!、@、#、A、B,建立边界数据表格,则将该边界数据分为三种数据。
步骤S34:根据所述边界数据表进行水平划分得到水平数据表。
可理解的是,根据边界数据表中数据的类别进行划分即为水平划分,水平划分后得到的分表即为水平数据表。
应理解的是,水平数据表对应同一类别的数据,从而在根据水平数据表对边界数据进行划分后得到的数据具有稳定的数据结构,且多个数据之间相互关联。
再具体实施中,此时边界数据中包括数据1(2022年9月12日,系统操作,系统更新),数据2(2022年9月12日,系统操作,软件安装),数据2(2022年9月12日,系统操作,软件安装),数据3(2022年9月12日,网页操作,文件下载),数据3(2022年9月13日,应用操作,文档编辑)等一系列待存储数据,根据数据的操作时间,操作类型,操作对象作为边界数据表的目录建立边界数据表,单独将其中操作时间相容的数据作为同一类进行划分得到时间数据分表,该时间数据分表即为其中一个水平数据表。
步骤S35:根据所述水平数据表对所述边界数据进行切分得到水平数据。
可理解的是,边界数据中仍然包括多个不同类别(数据结构)的数据,通过水平数据表中对应的数据类别对边界数据进行切分可以得到同一类别的数据,该数据即为水平数据。
应理解的是,本发明所称类别是指对数据在三维数据库中进行数据定位时,数据的参数,其中数据的参数可以有数据产生时间、数据操作类型、数据应用场景、数据内容等。
步骤S36:将所述水平数据以及所述水平数据表作为参考数据。
可理解的是,将水平数据和水平数据表作为一个整体的参考数据进行存储。
应理解的是,在进行数据调用的过程中,通过对水平数据的查阅,可以快速检索每个参考数据包括的具体内容,确定目标数据后再调用,有效减少数据检索的过程中设计到的数据量。
本实施例通过对三维数据库中的数据进行第一次划分得到边界数据,在通过边界数据的边界数据表进行二次切分得到水平数据,在一次切分达到均衡数据量的基础上进行二次切分,实现了按照数据类别进行划分,得到更加均衡,数据结构更加稳定的参考数据,进一步在进行数据调用时,避免了单个数据存储节点数据负载过大导致数据调用迟滞的技术问题。
参考图4,图4为本发明一种数据存储方法第二实施例的流程示意图。
基于上述第一实施例,本实施例数据存储方法在所述步骤S40,包括:
步骤S41:将所述参考数据存储在所述原始空间节点。
可理解的是,原始空间节点是在对参考数据进行存储过程中,该参考数据最开始存储的位置。
应理解的是,所述原始空间节点是按照环形、链行进行排列,每个原始空间节点中存储的数据相互关系,在进行数据搜索和数据调用时,能够更快的检索到目标数据,进行调用;目标数据是指在该原始空间节点中,用户想要操作的数据。
需说明的是,原始空间节点为环形排列时,前后数据能够连接,形成更加稳固的存储状态。
步骤S42:将所述参考数据划分成多个单位数据,所述单位数据为所述参考数据对应的备份数据。
可理解的是,单位数据是将参考数据进行划分得到的数据,此处划分方法可以是水平划分也可以的垂直划分,不做具体要求。
应理解的是,将参考数据划分为单位数据是对参数数据进行备份,在原始空间节点的参考数据被删除,或者是被误操作后,对参考数据进行修复时,可以根据单位数据对参考数据进行修复。
需说明的是,对参考数据进行划分得到的单位数据的大小可以是相同的也可以是不相同的。
步骤S43:将多个所述单位数据库分别存储至虚拟空间节点。
可理解的是,空间节点包括原始空间节点和虚拟空间节点,虚拟空间节点分布在原始空间节点的两侧;例如,在每个原始空间节点的两侧分别生成一个虚拟空间节点。
应理解的是,虚拟空间节点的数据可以根据实际需求进行设定,本申请对此不作限定。
需说明的是,将所述参考数据划分成多个单位数据,其中单位数据的划分数量可以是和虚拟空间节点的数量相对应;单位数据的划分数量也可以是不超过虚拟空间节点的任意个数。
需强调的是,当原始空间节点中的参考数据被损毁时,损坏可以是因为病毒等原因,当参考数据处于损毁状态时,存储该参考数据的原始空间节点对应被破坏,此时该原始空间节点量测的虚拟空间节点存储的单位数据将迁移至距离该原始空间节点最近的其他原始空间节点;可以及时保存该原始空间节点的参考数据,有利于对该原始空间节点的修复的同时,该原始空间节点的数据分散至多个其他原始空间节点,而不是某一个原始空间节点,有效的分摊数据负载。
本实施例通过将参考数据存储至相互连接的原始空间节点形成稳定的存储结构,且将原始空间节点内的参考数据划分的单位数据存储至原始空间节点两侧的虚拟空间节点,实现对参考数据的备份,提高数据的安全性;且通过虚拟空间节点将所述原始空间节点中的数据在发生参考数据损毁时,将数据分摊至多个其他原始数据节点,解决了当数据出现损毁时单个原始空间节点负载过大,导致整个数据库数据调用延迟的问题,实现了对数据的均匀分布和快速调用。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有数据存储程序,所述数据存储程序被处理器执行时实现如上文所述的数据存储方法的步骤。
参照图4,图4为本发明数据存储装置第一实施例的结构框图。
如图4所示,本发明实施例提出的数据存储装置包括:
数据获取模块10,用于获取初始数据;
数据处理模块20,用于将所述初始数据存储至三维数据库;
所述数据处理模块20,还用于对所述三维数据库中的数据进行切分得到参考数据;
数据存储模块30,用于将所述参考数据存储至空间节点。
本实施例通过将初始数据存储至三维数据库,对初始数据进行数据进一步的分类和定位后,将三维数据库中的数据按照切分规则进行切分得到多个参考数据,再将参考数据存储至不同的空间节点,相较于目前数据存储,本发明将数据进行三维数据定位后,在对三维数据进行切分得到相互关联的少量数据,将每部分数据存储至空间节点,在进行数据调用时,每个空间节点数据量均衡且数据相互关联,能够快速找到目标数据,进行数据调用。
在一实施例中,所述数据获取模块10,还用于获取参考数据目录;
根据所述参考数据目录建立三维数据表;
根据所述三维数据表建立三维数据库。
在一实施例中,所述数据处理模块20,还用于对所述初始数据进行分类得到所述初始数据的数据类别;
根据所述数据类别遍历三维数据表得到所述初始数据的三维位置信息;
根据所述三维位置信息将所述初始数据存储至三维数据库。
在一实施例中,所述数据处理模块20,还用于对所述初始数据进行压缩得到压缩数据;
根据所述压缩数据生成数据对;
根据所述三维位置信息将所述压缩数据以及所述数据对存储至三维数据库。
在一实施例中,所述数据处理模块20,还用于获取所述三维数据库的边界参数;
根据所述边界参数对所述三维数据库中的数据进行划分得到边界数据;
根据所述边界数据建立边界数据表;
根据所述边界数据表进行水平划分得到水平数据表;
根据所述水平数据表对所述边界数据进行切分得到水平数据;
将所述水平数据以及所述水平数据表作为参考数据。
在一实施例中,所述数据存储模块30,还用于将所述参考数据存储在所述原始空间节点;
将所述参考数据划分成多个单位数据,所述单位数据为所述参考数据对应的备份数据;
将多个所述单位数据库分别存储至虚拟空间节点。
在一实施例中,所述数据存储模块30,还用于当原始空间节点的参考数据处于可修复状态时,根据所述原始空间节点两侧的虚拟空间节点内存储的单位数据对所述参考数据进行修复;
当所述原始空间节点的参考数据处于损毁状态时,将所述原始空间节点两侧的虚拟空间节点内存储的单位数据迁移至距离所述原始空间节点最近的其他原始空间节点。
应当理解的是,以上仅为举例说明,对本发明的技术方案并不构成任何限定,在具体应用中,本领域的技术人员可以根据需要进行设置,本发明对此不做限制。
需要说明的是,以上所描述的工作流程仅仅是示意性的,并不对本发明的保护范围构成限定,在实际应用中,本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的,此处不做限制。
此外,需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory,ROM)/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种数据存储方法,其特征在于,所述数据存储方法包括:
获取初始数据;
将所述初始数据存储至三维数据库;
对所述三维数据库中的数据进行切分得到参考数据;
将所述参考数据存储至空间节点。
2.如权利要求1所述的数据存储方法,其特征在于,所述获取初始数据之前,还包括:
获取参考数据目录;
根据所述参考数据目录建立三维数据表;
根据所述三维数据表建立三维数据库。
3.如权利要求1所述的数据存储方法,其特征在于,所述将所述初始数据存储至三维数据库,包括:
对所述初始数据进行分类得到所述初始数据的数据类别;
根据所述数据类别遍历三维数据表得到所述初始数据的三维位置信息;
根据所述三维位置信息将所述初始数据存储至三维数据库。
4.如权利要求3所述的数据存储方法,其特征在于,所述根据所述三维位置信息将所述初始数据存储至三维数据库,包括:
对所述初始数据进行压缩得到压缩数据;
根据所述压缩数据生成数据对;
根据所述三维位置信息将所述压缩数据以及所述数据对存储至三维数据库。
5.如权利要求1所述的数据存储方法,其特征在于,所述对所述三维数据库中的数据进行切分得到参考数据,包括:
获取所述三维数据库的边界参数;
根据所述边界参数对所述三维数据库中的数据进行划分得到边界数据;
根据所述边界数据建立边界数据表;
根据所述边界数据表进行水平划分得到水平数据表;
根据所述水平数据表对所述边界数据进行切分得到水平数据;
将所述水平数据以及所述水平数据表作为参考数据。
6.如权利要求1-5任一项所述的数据存储方法,其特征在于,所述空间节点包括原始空间节点和虚拟空间节点,所述虚拟空间节点分布在所述原始空间节点的两侧;
所述将所述参考数据存储至空间节点,包括:
将所述参考数据存储在所述原始空间节点;
将所述参考数据划分成多个单位数据,所述单位数据为所述参考数据对应的备份数据;
将多个所述单位数据库分别存储至虚拟空间节点。
7.如权利要求6所述的数据存储方法,其特征在于,所述将所述参考数据存储至空间节点之后,包括:
当原始空间节点的参考数据处于可修复状态时,根据所述原始空间节点两侧的虚拟空间节点内存储的单位数据对所述参考数据进行修复;
当所述原始空间节点的参考数据处于损毁状态时,将所述原始空间节点两侧的虚拟空间节点内存储的单位数据迁移至距离所述原始空间节点最近的其他原始空间节点。
8.一种数据存储装置,其特征在于,所述数据存储装置包括:
数据获取模块,用于获取初始数据;
数据处理模块,用于将所述初始数据存储至三维数据库;
所述数据处理模块,还用于对所述三维数据库中的数据进行切分得到参考数据;
数据存储模块,用于将所述参考数据存储至空间节点。
9.一种数据存储设备,其特征在于,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据存储程序,所述数据存储程序配置为实现如权利要求1至7中任一项所述的数据存储方法。
10.一种存储介质,其特征在于,所述存储介质上存储有数据存储程序,所述数据存储程序被处理器执行时实现如权利要求1至7任一项所述的数据存储方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211119196.7A CN115639955A (zh) | 2022-09-14 | 2022-09-14 | 数据存储方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211119196.7A CN115639955A (zh) | 2022-09-14 | 2022-09-14 | 数据存储方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115639955A true CN115639955A (zh) | 2023-01-24 |
Family
ID=84942390
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211119196.7A Pending CN115639955A (zh) | 2022-09-14 | 2022-09-14 | 数据存储方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115639955A (zh) |
-
2022
- 2022-09-14 CN CN202211119196.7A patent/CN115639955A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11422853B2 (en) | Dynamic tree determination for data processing | |
US10108649B2 (en) | Early exit from table scans of loosely ordered and/or grouped relations using nearly ordered maps | |
US9996593B1 (en) | Parallel processing framework | |
US8269789B2 (en) | Method and system for displaying performance constraints in a flow design tool | |
CN111708779A (zh) | 一种数据管理方法、系统、管理设备及存储介质 | |
CN111414362B (zh) | 数据读取方法、装置、设备及存储介质 | |
US11223528B2 (en) | Management of cloud-based shared content using predictive cost modeling | |
CN106155934A (zh) | 一种云环境下基于重复数据的缓存方法 | |
CN109684298A (zh) | 数据库迁移方法、装置、设备及存储介质 | |
CN111444158A (zh) | 长短期用户画像生成方法、装置、设备及可读存储介质 | |
RU2711717C1 (ru) | Рекомендательная система подбора персонала с использованием машинного обучения и с понижением размерности многомерных данных и способ подбора персонала с использованием машинного обучения и с понижением размерности многомерных данных | |
CN110968569B (zh) | 数据库的管理方法、数据库的管理装置及存储介质 | |
CN113391916A (zh) | 组织架构数据处理方法、装置、计算机设备和存储介质 | |
CN115639955A (zh) | 数据存储方法、装置、设备及存储介质 | |
EP4170512A1 (en) | Time series data injection method, time series data query method and database system | |
CN112115115B (zh) | 基于数据仓库的文件移动方法、设备和存储介质 | |
CN113608724A (zh) | 一种基于模型缓存实现的离线仓库实时交互方法与系统 | |
CN111488263A (zh) | 一种解析MySQL数据库中日志的方法和装置 | |
CN116541454B (zh) | 事件配置方法、装置、计算机设备和存储介质 | |
CN114911886B (zh) | 一种遥感数据的切片方法、装置和云服务器 | |
CN116644084B (zh) | 处理三维模型构件数据的方法、装置、设备和存储介质 | |
CN116069510B (zh) | 数据处理方法、装置、电子设备和存储介质 | |
CN116578247B (zh) | 一种基于元数据的数据存取方法及系统 | |
US20210248162A1 (en) | Parallel data transfer from one database to another database | |
CN114138716A (zh) | 存储对象的方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |