CN116382596B - 基于分布式技术的时空大数据存储方法及系统 - Google Patents
基于分布式技术的时空大数据存储方法及系统 Download PDFInfo
- Publication number
- CN116382596B CN116382596B CN202310646011.6A CN202310646011A CN116382596B CN 116382596 B CN116382596 B CN 116382596B CN 202310646011 A CN202310646011 A CN 202310646011A CN 116382596 B CN116382596 B CN 116382596B
- Authority
- CN
- China
- Prior art keywords
- storage
- space
- big data
- time big
- thread
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000005516 engineering process Methods 0.000 title claims abstract description 19
- 238000013500 data storage Methods 0.000 title claims abstract description 18
- 239000012634 fragment Substances 0.000 claims abstract description 119
- 239000012536 storage buffer Substances 0.000 claims abstract description 111
- 238000012544 monitoring process Methods 0.000 claims description 48
- 238000001514 detection method Methods 0.000 claims description 36
- 239000000872 buffer Substances 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000007726 management method Methods 0.000 description 9
- 241000282326 Felis catus Species 0.000 description 1
- 102100033075 Prostacyclin synthase Human genes 0.000 description 1
- 101710179550 Prostacyclin synthase Proteins 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0656—Data buffering arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0608—Saving storage space on storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0644—Management of space entities, e.g. partitions, extents, pools
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明公开了一种基于分布式技术的时空大数据存储方法及系统，该方法将存储服务器按照数据形式划分为若干个存储单元，将每一存储单元划分成若干个存储区块，当时空大数据片段输入到存储服务器后，对时空大数据片段的来源进行分析，以确定时空大数据片段对应的存储路径，基于时空大数据片段对应的存储路径调取对应的存储线程，控制模块控制所述存储线程将时空大数据片段存储到对应的存储缓存区块中；对存储缓存区块的有效存储空间值进行检测，当存储缓存区块的有效存储空间值降低至设定阈值后，将存储缓存区块内的所有时空大数据片段进行移存，并形成移存指令，基于移存指令将所有时空大数据片段从存储缓存区块移存到对应的存储区块中。
Description
技术领域
本发明涉及一种时空大数据存储处理技术领域，特别涉及一种基于分布式技术的时空大数据存储方法及系统。
背景技术
在利用Unity3D和Unreal提供的标准GIS服务资源接入技术来进行基于GIS的空间三维数据渲染之前，通常需要将空间三维数据进行对应的存储。
在进行分布式存储时，传统的技术手段是迭代遍历数据的存储文件夹；获取各个图幅需要的对应的数据名称和数据集；通过人工专家进行标记，输入至迭代模型（神经网络模型）就可以将数据通过迭代模型进行分类存储。目前的分类存储方法是通过构建存储树模型进行分类存储，每一分支均要对应的设置一个独立的存储空间，在存储空间进行数据存储时，一般都是按照时序和数据的完整性作为一个片段进行存储，存储时不同的时空大数据片段都是暂用一个独立的存储目录（比如存储文件夹内），一方面，存储目录较多，导致读取数据时需要经过大量的检索才能读取数据，同时大量的存储目录也导致存储空间不能被优化。
发明内容
有鉴于此，本发明的目的在于提供一种基于分布式技术的时空大数据存储方法及系统。
为实现上述目的，一方面，本发明提供了一种基于分布式技术的时空大数据存储方法，包括如下步骤：
将存储服务器按照数据形式划分为若干个存储单元，每一存储单元具有唯一的存储位置；
将每一存储单元划分成若干个存储区块，记录每一存储区块的存储地址，以及在存储服务器中设置有与存储区块对应的存储缓存区块；
当时空大数据片段输入到存储服务器后，对时空大数据片段的来源进行分析，以确定时空大数据片段对应的存储路径，基于时空大数据片段对应的存储路径调取对应的存储线程，控制模块控制所述存储线程将时空大数据片段存储到对应的存储缓存区块中；在时空大数据片段存储到存储缓存区块的过程中，对存储缓存区块的有效存储空间值进行检测，当存储缓存区块的有效存储空间值降低至设定阈值后，将存储缓存区块内的所有时空大数据片段进行移存，并形成移存指令，基于移存指令将所有时空大数据片段从存储缓存区块移存到对应的存储区块中。
进一步地，将时空大数据片段从存储缓存区块移存到对应的存储区块后，存储缓存区块被释放。
进一步地，在控制所述存储线程将时空大数据片段存储到存储缓存区块的过程中，通过程序计数器来调用和控制存储线程，并通过程序计数器内的监听单元将调用的存储线程进行关联，通过监听单元实时的获取存储线程的执行状态；
同时程序计数器向CPU发送线程检测指令，CPU基于线程检测指令对应的输出存储线程并将存储线程的运行状态一并输出，其中运行状态表示为对CPU运行资源的占用状态；
基于存储线程的执行状态和CPU输出的存储线程的运行状态来综合判断存储线程是否在执行时空大数据片段的存储任务；
若监测到存储线程具有存储任务的执行，获取对应的时空大数据片段的特征编码，基于每一时空大数据片段的特征编码将时空大数据片段对应的存储到存储缓存区块中，并基于每一时空大数据片段的特征编码形成一个数据列表。
进一步地，对存储缓存区块的有效存储空间值进行检测的方法为：
读取对存储线程的综合判断结果，以确定存储线程在执行时空大数据片段的存储任务；
控制模块发送内存检测指令，以对存储缓存区块在设定周期内进行内存监测轮检；每一次监测后对应的记录存储缓存区块的有效存储空间值；
并将每一设定周期中最终记录的存储缓存区块的有效存储空间值作为下一周期进行内存监测轮检的初始值。
进一步地，基于所述移存指令将所有时空大数据片段从存储缓存区块移存到对应的存储区块的方法为：
控制模块读取移存指令，基于所述移存指令对应的调取数据列表；
获取存储缓存区块内的所有时空大数据片段的存储空间占用值，基于存储空间占用值来对应的选择移存路径，并将移存路径匹配到存储区块的存储地址中，并以数据列表形成存储列表；基于配置好的移存路径将所有时空大数据片段从存储缓存区块移存到对应的存储区块；
同时基于存储区块的原始存储空间值和每一次移存过程中所有时空大数据片段的存储空间占用值来换算得到存储区块的实时存储空间。
进一步地，在移存过程中，控制模块基于存储列表与数据列表的对应关系，以获取每一时空大数据片段的特征编码；通过对每一时空大数据片段的特征编码的识别来判断移存任务是否被移存至存储单元中。
另一方面，本申请还提供了一种基于分布式技术的时空大数据存储系统，包括：存储服务器，该存储服务器被配置成按照数据形式划分为若干个存储单元，每一存储单元具有唯一的存储位置；
所述存储单元被配置成若干个存储区块，记录每一存储区块的存储地址；
存储缓存区块，设置在存储服务器中，并与存储区块一一对应，且所述存储缓存区块被配置成具有设定的缓存存储空间值；
所述存储服务器内还设置有分析模块、控制模块、移存模块、存储线程配置模块以及初始化模块；
所述分析模块用于当时空大数据片段输入到存储服务器后，对时空大数据片段的来源进行分析，以确定时空大数据片段对应的存储路径；
所述控制模块基于时空大数据片段对应的存储路径来控制存储线程配置模块生成存储线程并调用该存储线程，所述控制模块控制所述存储线程将时空大数据片段存储到对应的存储缓存区块中；在时空大数据片段存储到存储缓存区块的过程中，对存储缓存区块的有效存储空间值进行检测，当存储缓存区块的有效存储空间值降低至设定阈值后，将存储缓存区块内的所有时空大数据片段进行移存，并形成移存指令，
所述移存模块用于基于移存指令将所有时空大数据片段从存储缓存区块移存到对应的存储区块中；
当所有时空大数据片段从存储缓存区块移存到对应的存储区块后，所述控制模块控制初始化模块对存储缓存区块进行初始化操作，初始化操作完毕后存储缓存区块被占用的内存被释放，恢复到设定的缓存存储空间值。
进一步地，所述控制模块设置有程序计数器；
在所述程序计数器内设置有监听单元、协同监听检测单元、判断单元、识别单元以及列表生成单元；
其中，在控制所述存储线程将时空大数据片段存储到存储缓存区块的过程中，通过程序计数器来调用和控制存储线程，并将所述监听单元和调用的存储线程进行关联，通过监听单元实时的获取存储线程的执行状态；
所述协同监听检测单元用于在监听单元实时的获取存储线程的执行状态的同时向CPU发送线程检测指令，CPU基于线程检测指令对应的输出存储线程并将存储线程的运行状态一并输出，其中运行状态表示为对CPU运行资源的占用状态；
所述判断单元用于基于存储线程的执行状态和CPU输出的存储线程的运行状态来综合判断存储线程是否在执行时空大数据片段的存储任务，输出判断结果；
所述识别单元用于基于判断单元来对应的获取时空大数据片段的特征编码，基于每一时空大数据片段的特征编码将时空大数据片段对应的存储到存储缓存区块中，
所述列表生成单元用于基于每一时空大数据片段的特征编码形成一个数据列表。
进一步地，所述控制模块内设置有检测单元、存储任务确定单元以及记录单元；
所述存储任务确定单元用于读取对存储线程的综合判断结果，以确定存储线程在执行时空大数据片段的存储任务；
所述检测单元发送内存检测指令，以对存储缓存区块在设定周期内进行内存监测轮检；每一次监测后对应的记录存储缓存区块的有效存储空间值；
所述记录单元用于将每一设定周期中最终记录的存储缓存区块的有效存储空间值作为下一周期进行内存监测轮检的初始值。
进一步地，所述移存模块基于所述移存指令将所有时空大数据片段从存储缓存区块移存到对应的存储区块的方法为：
控制模块读取移存指令，基于所述移存指令对应的调取数据列表；
获取存储缓存区块内的所有时空大数据片段的存储空间占用值，基于存储空间占用值来对应的选择移存路径，并将移存路径匹配到存储区块的存储地址中，并以数据列表形成存储列表；基于配置好的移存路径将所有时空大数据片段从存储缓存区块移存到对应的存储区块；
同时基于存储区块的原始存储空间值和每一次移存过程中所有时空大数据片段的存储空间占用值来换算得到存储区块的实时存储空间。
本申请为了降低存储目录进行有效存储，在存储之前设置了一个存储缓存区块，存储缓存区块被配置成具有设定的缓存存储空间值，比如每一个缓存存储空间值为50M，当时空大数据片段在存储之前，先存储到存储缓存区块中，当存储到一定量后，在移存到存储区块中，这种存储方式不需要建立树模型，也不会产生大量的存储目录，能够有效的对存储空间进行优化。
附图说明
图1为本发明的方法流程图；
图2为本发明中控制所述存储线程将时空大数据片段存储到存储缓存区块的方法流程图；
图3为本发明中对存储缓存区块的有效存储空间值进行检测的方法流程图；
图4为本发明中基于所述移存指令将所有时空大数据片段从存储缓存区块移存到对应的存储区块的方法流程图；
图5为本发明系统框架原理示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
参照图1-图4，本发明提供了一种基于分布式技术的时空大数据存储方法，包括如下步骤：
将存储服务器按照数据形式划分为若干个存储单元，每一存储单元具有唯一的存储位置；
将每一存储单元划分成若干个存储区块，记录每一存储区块的存储地址，以及在存储服务器中设置有与存储区块对应的存储缓存区块；
当时空大数据片段输入到存储服务器后，对时空大数据片段的来源进行分析，以确定时空大数据片段对应的存储路径，基于时空大数据片段对应的存储路径调取对应的存储线程，控制模块控制所述存储线程将时空大数据片段存储到对应的存储缓存区块中；在时空大数据片段存储到存储缓存区块的过程中，对存储缓存区块的有效存储空间值进行检测，当存储缓存区块的有效存储空间值降低至设定阈值后，将存储缓存区块内的所有时空大数据片段进行移存，并形成移存指令，基于移存指令将所有时空大数据片段从存储缓存区块移存到对应的存储区块中。
在上述中，分布式技术的时空大数据包括结构化和非结构化的数据，其中，结构化的数据又包括GIS结构化数据和结构化业务数据，非结构化数据包括非结构化GIS数据和非结构化业务数据，其中，GIS结构化数据包括PGIS（警用电子地图数据）；非结构化GIS：MINIO（分布式存储系统产生的图片、视频、日志文件、备份数据等）、MONGODB（应用程序数据平台产生的文本、图像、超媒体等信息）、S3（基于AWS的标准的云存储产生的数据）等。
以MINIO为例，当使用MINIO作为分布式数据的前置工具时，首先需要对MINIO进行配置，配置如下：
MINIO_VOLUMES：minio server使用的存储卷，并配置存储卷的读写权限；
MINIO_OPTS：自定义minio server监听的ip和端口；
MINIO_ACCESS_KEY：用户名；
MINIO_SECRET_KEY：密钥；
上述配置完毕后通过DIR定义文件系统上的目录，用空格分割每个存储目录，也可用“…”来缩写目录；构建分布式minio时，设置为HTTP(s) URIs；其对应的核心代码如下：
1.格式：mc [FLAGS] COMMAND [COMMAND FLAGS | -h][ARGUMENTS...]
2.COMMAND：
3.ls 列出文件和文件夹；
4.mb 创建一个存储桶或一个文件夹；
5.cat 显示文件和对象内容；
6.pipe 将一个STDIN重定向到一个对象或者文件或者STDOUT；
7.share 生成用于共享的URL；
8.cp 拷贝文件和对象；
9.mirror 给存储桶和文件夹做镜像；
10.find 基于参数查找文件；
11.diff 对两个文件夹或者存储桶比较差异；
12.rm 删除文件和对象；
13.events 管理对象通知；
14.watch 监视文件和对象的事件；
15.policy 管理访问策略；
16.session 为cp命令管理保存的会话；
17.config 管理mc配置文件；
18.update 检查软件更新；
19.version 输出版本信息；
20.
21.配置文件：/root/.mc/config.json。
上述完全的配置完毕后，由MINIO作为分布式数据的前置工具输入至存储服务器时，其已经将不同的数据进行了分类，本申请只需要对数据的来源（基于配置文件来识别）就知道是结构化数据还是非结构化数据。
对应的，在上述中，当将时空大数据片段从存储缓存区块移存到对应的存储区块后，存储缓存区块被释放，存储缓存区块恢复到设定的存储值，进行下一轮的数据存储，其原理是采用了分块存储的方式，将多个时空大数据片段先汇聚成一个数据分块，在将数据分块存储到存储区块内，这样，极大的降低了存储目录，由于在存储缓存区块形成了一个数据列表，将数据分块移存到存储区块后，对应的数据列表被配置到存储区块中形成存储列表，因此并不会导致数据混乱。本申请为了降低存储目录进行有效存储，在存储之前设置了一个存储缓存区块，存储缓存区块被配置成具有设定的缓存存储空间值，比如每一个缓存存储空间值为50M，当时空大数据片段在存储之前，先存储到存储缓存区块中，当存储到一定量后，在移存到存储区块中，这种存储方式不需要建立树模型，也不会产生大量的存储目录，能够有效的对存储空间进行优化。
在上述中，在控制所述存储线程将时空大数据片段存储到存储缓存区块的过程中，通过程序计数器来调用和控制存储线程，并通过程序计数器内的监听单元将调用的存储线程进行关联，通过监听单元实时的获取存储线程的执行状态；
同时程序计数器向CPU发送线程检测指令，CPU基于线程检测指令对应的输出存储线程并将存储线程的运行状态一并输出，其中运行状态表示为对CPU运行资源的占用状态；
基于存储线程的执行状态和CPU输出的存储线程的运行状态来综合判断存储线程是否在执行时空大数据片段的存储任务；
若监测到存储线程具有存储任务的执行，获取对应的时空大数据片段的特征编码，基于每一时空大数据片段的特征编码将时空大数据片段对应的存储到存储缓存区块中，并基于每一时空大数据片段的特征编码形成一个数据列表。
在上述中，对存储缓存区块的有效存储空间值进行检测的方法为：
读取对存储线程的综合判断结果，以确定存储线程在执行时空大数据片段的存储任务；
控制模块发送内存检测指令，以对存储缓存区块在设定周期内进行内存监测轮检；每一次监测后对应的记录存储缓存区块的有效存储空间值；
并将每一设定周期中最终记录的存储缓存区块的有效存储空间值作为下一周期进行内存监测轮检的初始值。
在上述中，基于所述移存指令将所有时空大数据片段从存储缓存区块移存到对应的存储区块的方法为：
控制模块读取移存指令，基于所述移存指令对应的调取数据列表；
获取存储缓存区块内的所有时空大数据片段的存储空间占用值，基于存储空间占用值来对应的选择移存路径，并将移存路径匹配到存储区块的存储地址中，并以数据列表形成存储列表；基于配置好的移存路径将所有时空大数据片段从存储缓存区块移存到对应的存储区块；
同时基于存储区块的原始存储空间值和每一次移存过程中所有时空大数据片段的存储空间占用值来换算得到存储区块的实时存储空间。
在上述中，在移存过程中，控制模块基于存储列表与数据列表的对应关系，以获取每一时空大数据片段的特征编码；通过对每一时空大数据片段的特征编码的识别来判断移存任务是否被移存至存储单元中。
利用本申请的方法构建好时空大数据的存储后，在后期的数据使用中，还包括了对时空大数据的管理，可以提供对海量时空大数据进行空间数据资源管理、业务数据资源管理、数据资源质量管理和数据资源安全监控等数据治理与综合管理，并提供数据资源元数据管理、挖掘分析等相关功能，确保多源数据的一体化治理、管理与应用。
实施例2：
参照图5，以及图1-图4，另一方面，本申请还提供了一种基于分布式技术的时空大数据存储系统，包括：存储服务器，该存储服务器被配置成按照数据形式划分为若干个存储单元，每一存储单元具有唯一的存储位置；
所述存储单元被配置成若干个存储区块，记录每一存储区块的存储地址；
存储缓存区块，设置在存储服务器中，并与存储区块一一对应，且所述存储缓存区块被配置成具有设定的缓存存储空间值；
所述存储服务器内还设置有分析模块、控制模块、移存模块、存储线程配置模块以及初始化模块；
所述分析模块用于当时空大数据片段输入到存储服务器后，对时空大数据片段的来源进行分析，以确定时空大数据片段对应的存储路径；
所述控制模块基于时空大数据片段对应的存储路径来控制存储线程配置模块生成存储线程并调用该存储线程，所述控制模块控制所述存储线程将时空大数据片段存储到对应的存储缓存区块中；在时空大数据片段存储到存储缓存区块的过程中，对存储缓存区块的有效存储空间值进行检测，当存储缓存区块的有效存储空间值降低至设定阈值后，将存储缓存区块内的所有时空大数据片段进行移存，并形成移存指令，
所述移存模块用于基于移存指令将所有时空大数据片段从存储缓存区块移存到对应的存储区块中；
当所有时空大数据片段从存储缓存区块移存到对应的存储区块后，所述控制模块控制初始化模块对存储缓存区块进行初始化操作，初始化操作完毕后存储缓存区块被占用的内存被释放，恢复到设定的缓存存储空间值。
进一步地，所述控制模块设置有程序计数器；
在所述程序计数器内设置有监听单元、协同监听检测单元、判断单元、识别单元以及列表生成单元；
其中，在控制所述存储线程将时空大数据片段存储到存储缓存区块的过程中，通过程序计数器来调用和控制存储线程，并将所述监听单元和调用的存储线程进行关联，通过监听单元实时的获取存储线程的执行状态；
所述协同监听检测单元用于在监听单元实时的获取存储线程的执行状态的同时向CPU发送线程检测指令，CPU基于线程检测指令对应的输出存储线程并将存储线程的运行状态一并输出，其中运行状态表示为对CPU运行资源的占用状态；
所述判断单元用于基于存储线程的执行状态和CPU输出的存储线程的运行状态来综合判断存储线程是否在执行时空大数据片段的存储任务，输出判断结果；
所述识别单元用于基于判断单元来对应的获取时空大数据片段的特征编码，基于每一时空大数据片段的特征编码将时空大数据片段对应的存储到存储缓存区块中，
所述列表生成单元用于基于每一时空大数据片段的特征编码形成一个数据列表。
进一步地，所述控制模块内设置有检测单元、存储任务确定单元以及记录单元；
所述存储任务确定单元用于读取对存储线程的综合判断结果，以确定存储线程在执行时空大数据片段的存储任务；
所述检测单元发送内存检测指令，以对存储缓存区块在设定周期内进行内存监测轮检；每一次监测后对应的记录存储缓存区块的有效存储空间值；
所述记录单元用于将每一设定周期中最终记录的存储缓存区块的有效存储空间值作为下一周期进行内存监测轮检的初始值。
进一步地，所述移存模块基于所述移存指令将所有时空大数据片段从存储缓存区块移存到对应的存储区块的方法为：
控制模块读取移存指令，基于所述移存指令对应的调取数据列表；
获取存储缓存区块内的所有时空大数据片段的存储空间占用值，基于存储空间占用值来对应的选择移存路径，并将移存路径匹配到存储区块的存储地址中，并以数据列表形成存储列表；基于配置好的移存路径将所有时空大数据片段从存储缓存区块移存到对应的存储区块；
同时基于存储区块的原始存储空间值和每一次移存过程中所有时空大数据片段的存储空间占用值来换算得到存储区块的实时存储空间。
本申请的原理为：
将存储服务器按照数据形式划分为若干个存储单元，每一存储单元具有唯一的存储位置；
将每一存储单元划分成若干个存储区块，记录每一存储区块的存储地址，以及在存储服务器中设置有与存储区块对应的存储缓存区块；
当时空大数据片段输入到存储服务器后，对时空大数据片段的来源进行分析，以确定时空大数据片段对应的存储路径，基于时空大数据片段对应的存储路径调取对应的存储线程，控制模块控制所述存储线程将时空大数据片段存储到对应的存储缓存区块中；在时空大数据片段存储到存储缓存区块的过程中，对存储缓存区块的有效存储空间值进行检测，当存储缓存区块的有效存储空间值降低至设定阈值后，将存储缓存区块内的所有时空大数据片段进行移存，并形成移存指令，基于移存指令将所有时空大数据片段从存储缓存区块移存到对应的存储区块中。
其中，在控制所述存储线程将时空大数据片段存储到存储缓存区块的过程中，通过程序计数器来调用和控制存储线程，并通过程序计数器内的监听单元将调用的存储线程进行关联，通过监听单元实时的获取存储线程的执行状态；
同时程序计数器向CPU发送线程检测指令，CPU基于线程检测指令对应的输出存储线程并将存储线程的运行状态一并输出，其中运行状态表示为对CPU运行资源的占用状态；
基于存储线程的执行状态和CPU输出的存储线程的运行状态来综合判断存储线程是否在执行时空大数据片段的存储任务；
若监测到存储线程具有存储任务的执行，获取对应的时空大数据片段的特征编码，基于每一时空大数据片段的特征编码将时空大数据片段对应的存储到存储缓存区块中，并基于每一时空大数据片段的特征编码形成一个数据列表。
在上述中，对存储缓存区块的有效存储空间值进行检测的方法为：
读取对存储线程的综合判断结果，以确定存储线程在执行时空大数据片段的存储任务；
控制模块发送内存检测指令，以对存储缓存区块在设定周期内进行内存监测轮检；每一次监测后对应的记录存储缓存区块的有效存储空间值；
并将每一设定周期中最终记录的存储缓存区块的有效存储空间值作为下一周期进行内存监测轮检的初始值。
在上述中，基于所述移存指令将所有时空大数据片段从存储缓存区块移存到对应的存储区块的方法为：
控制模块读取移存指令，基于所述移存指令对应的调取数据列表；
获取存储缓存区块内的所有时空大数据片段的存储空间占用值，基于存储空间占用值来对应的选择移存路径，并将移存路径匹配到存储区块的存储地址中，并以数据列表形成存储列表；基于配置好的移存路径将所有时空大数据片段从存储缓存区块移存到对应的存储区块；
同时基于存储区块的原始存储空间值和每一次移存过程中所有时空大数据片段的存储空间占用值来换算得到存储区块的实时存储空间。
在移存过程中，控制模块基于存储列表与数据列表的对应关系，以获取每一时空大数据片段的特征编码；通过对每一时空大数据片段的特征编码的识别来判断移存任务是否被移存至存储单元中。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (9)
1.一种基于分布式技术的时空大数据存储方法，其特征在于，包括如下步骤：
将存储服务器按照数据形式划分为若干个存储单元，每一存储单元具有唯一的存储位置；
将每一存储单元划分成若干个存储区块，记录每一存储区块的存储地址，以及在存储服务器中设置有与存储区块对应的存储缓存区块；
当时空大数据片段输入到存储服务器后，对时空大数据片段的来源进行分析，以确定时空大数据片段对应的存储路径，基于时空大数据片段对应的存储路径调取对应的存储线程，控制模块控制所述存储线程将时空大数据片段存储到对应的存储缓存区块中；在时空大数据片段存储到存储缓存区块的过程中，对存储缓存区块的有效存储空间值进行检测，当存储缓存区块的有效存储空间值降低至设定阈值后，将存储缓存区块内的所有时空大数据片段进行移存，并形成移存指令，基于移存指令将所有时空大数据片段从存储缓存区块移存到对应的存储区块中；
在控制所述存储线程将时空大数据片段存储到存储缓存区块的过程中，通过程序计数器来调用和控制存储线程，并通过程序计数器内的监听单元将调用的存储线程进行关联，通过监听单元实时的获取存储线程的执行状态；
同时程序计数器向CPU发送线程检测指令，CPU基于线程检测指令对应的输出存储线程并将存储线程的运行状态一并输出，其中运行状态表示为对CPU运行资源的占用状态；
基于存储线程的执行状态和CPU输出的存储线程的运行状态来综合判断存储线程是否在执行时空大数据片段的存储任务；
若监测到存储线程具有存储任务的执行，获取对应的时空大数据片段的特征编码，基于每一时空大数据片段的特征编码将时空大数据片段对应的存储到存储缓存区块中，并基于每一时空大数据片段的特征编码形成一个数据列表。
2.根据权利要求1所述的基于分布式技术的时空大数据存储方法，其特征在于，将时空大数据片段从存储缓存区块移存到对应的存储区块后，存储缓存区块被释放。
3.根据权利要求1所述的基于分布式技术的时空大数据存储方法，其特征在于，对存储缓存区块的有效存储空间值进行检测的方法为：
读取对存储线程的综合判断结果，以确定存储线程在执行时空大数据片段的存储任务；
控制模块发送内存检测指令，以对存储缓存区块在设定周期内进行内存监测轮检；每一次监测后对应的记录存储缓存区块的有效存储空间值；
并将每一设定周期中最终记录的存储缓存区块的有效存储空间值作为下一周期进行内存监测轮检的初始值。
4.根据权利要求1所述的基于分布式技术的时空大数据存储方法，其特征在于，基于所述移存指令将所有时空大数据片段从存储缓存区块移存到对应的存储区块的方法为：
控制模块读取移存指令，基于所述移存指令对应的调取数据列表；
获取存储缓存区块内的所有时空大数据片段的存储空间占用值，基于存储空间占用值来对应的选择移存路径，并将移存路径匹配到存储区块的存储地址中，并以数据列表形成存储列表；基于配置好的移存路径将所有时空大数据片段从存储缓存区块移存到对应的存储区块；
同时基于存储区块的原始存储空间值和每一次移存过程中所有时空大数据片段的存储空间占用值来换算得到存储区块的实时存储空间。
5.根据权利要求4所述的基于分布式技术的时空大数据存储方法，其特征在于，在移存过程中，控制模块基于存储列表与数据列表的对应关系，以获取每一时空大数据片段的特征编码；通过对每一时空大数据片段的特征编码的识别来判断移存任务是否被移存至存储单元中。
6.一种基于分布式技术的时空大数据存储系统，使用权利要求1至5任意一项所述的基于分布式技术的时空大数据存储方法，其特征在于，包括：
存储服务器，该存储服务器被配置成按照数据形式划分为若干个存储单元，每一存储单元具有唯一的存储位置；
所述存储单元被配置成若干个存储区块，记录每一存储区块的存储地址；
存储缓存区块，设置在存储服务器中，并与存储区块一一对应，且所述存储缓存区块被配置成具有设定的缓存存储空间值；
所述存储服务器内还设置有分析模块、控制模块、移存模块、存储线程配置模块以及初始化模块；
所述分析模块用于当时空大数据片段输入到存储服务器后，对时空大数据片段的来源进行分析，以确定时空大数据片段对应的存储路径；
所述控制模块基于时空大数据片段对应的存储路径来控制存储线程配置模块生成存储线程并调用该存储线程，所述控制模块控制所述存储线程将时空大数据片段存储到对应的存储缓存区块中；在时空大数据片段存储到存储缓存区块的过程中，对存储缓存区块的有效存储空间值进行检测，当存储缓存区块的有效存储空间值降低至设定阈值后，将存储缓存区块内的所有时空大数据片段进行移存，并形成移存指令，
所述移存模块用于基于移存指令将所有时空大数据片段从存储缓存区块移存到对应的存储区块中；
当所有时空大数据片段从存储缓存区块移存到对应的存储区块后，所述控制模块控制初始化模块对存储缓存区块进行初始化操作，初始化操作完毕后存储缓存区块被占用的内存被释放，恢复到设定的缓存存储空间值。
7.根据权利要求6所述的基于分布式技术的时空大数据存储系统，其特征在于，所述控制模块设置有程序计数器；
在所述程序计数器内设置有监听单元、协同监听检测单元、判断单元、识别单元以及列表生成单元；
其中，在控制所述存储线程将时空大数据片段存储到存储缓存区块的过程中，通过程序计数器来调用和控制存储线程，并将所述监听单元和调用的存储线程进行关联，通过监听单元实时的获取存储线程的执行状态；
所述协同监听检测单元用于在监听单元实时的获取存储线程的执行状态的同时向CPU发送线程检测指令，CPU基于线程检测指令对应的输出存储线程并将存储线程的运行状态一并输出，其中运行状态表示为对CPU运行资源的占用状态；
所述判断单元用于基于存储线程的执行状态和CPU输出的存储线程的运行状态来综合判断存储线程是否在执行时空大数据片段的存储任务，输出判断结果；
所述识别单元用于基于判断单元来对应的获取时空大数据片段的特征编码，基于每一时空大数据片段的特征编码将时空大数据片段对应的存储到存储缓存区块中，
所述列表生成单元用于基于每一时空大数据片段的特征编码形成一个数据列表。
8.根据权利要求6所述的基于分布式技术的时空大数据存储系统，其特征在于，所述控制模块内设置有检测单元、存储任务确定单元以及记录单元；
所述存储任务确定单元用于读取对存储线程的综合判断结果，以确定存储线程在执行时空大数据片段的存储任务；
所述检测单元发送内存检测指令，以对存储缓存区块在设定周期内进行内存监测轮检；每一次监测后对应的记录存储缓存区块的有效存储空间值；
所述记录单元用于将每一设定周期中最终记录的存储缓存区块的有效存储空间值作为下一周期进行内存监测轮检的初始值。
9.根据权利要求6所述的基于分布式技术的时空大数据存储系统，其特征在于，所述移存模块基于所述移存指令将所有时空大数据片段从存储缓存区块移存到对应的存储区块的方法为：
控制模块读取移存指令，基于所述移存指令对应的调取数据列表；
获取存储缓存区块内的所有时空大数据片段的存储空间占用值，基于存储空间占用值来对应的选择移存路径，并将移存路径匹配到存储区块的存储地址中，并以数据列表形成存储列表；基于配置好的移存路径将所有时空大数据片段从存储缓存区块移存到对应的存储区块；
同时基于存储区块的原始存储空间值和每一次移存过程中所有时空大数据片段的存储空间占用值来换算得到存储区块的实时存储空间。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310646011.6A CN116382596B (zh) | 2023-06-02 | 2023-06-02 | 基于分布式技术的时空大数据存储方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310646011.6A CN116382596B (zh) | 2023-06-02 | 2023-06-02 | 基于分布式技术的时空大数据存储方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116382596A CN116382596A (zh) | 2023-07-04 |
| CN116382596B true CN116382596B (zh) | 2023-08-11 |
Family
ID=86967854
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310646011.6A Active CN116382596B (zh) | 2023-06-02 | 2023-06-02 | 基于分布式技术的时空大数据存储方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116382596B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107707619A (zh) * | 2017-08-28 | 2018-02-16 | 北京小米移动软件有限公司 | 分布式存储方法及装置 |
| CN108595121A (zh) * | 2018-04-17 | 2018-09-28 | 湖北文理学院 | 数据存储方法和装置 |
| KR101966928B1 (ko) * | 2018-11-05 | 2019-04-08 | 주식회사 포스웨이브 | 이동객체 시공간정보의 고속분산처리를 위한 색인 및 저장 시스템 |
| CN109947354A (zh) * | 2017-12-20 | 2019-06-28 | 北京航天泰坦科技股份有限公司 | 一种基于Agent的无中心异构时空数据存储系统与方法 |
| CN111651489A (zh) * | 2020-06-05 | 2020-09-11 | 厦门理工学院 | 一种大数据处理服务器系统 |
| CN113010496A (zh) * | 2021-03-19 | 2021-06-22 | 腾讯科技（深圳）有限公司 | 一种数据迁移方法、装置、设备和存储介质 |
| CN113190580A (zh) * | 2021-04-16 | 2021-07-30 | 国能大渡河检修安装有限公司 | 一种水力发电站数据缓存操作方法和系统 |
| CN114328134A (zh) * | 2022-03-16 | 2022-04-12 | 深圳超盈智能科技有限公司 | 计算机内存动态测试系统 |
| CA3150483A1 (en) * | 2021-02-26 | 2022-08-26 | 10353744 Canada Ltd. | Heterogeneous distributed model processing method, device, equipment and storage medium |
-
2023
- 2023-06-02 CN CN202310646011.6A patent/CN116382596B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107707619A (zh) * | 2017-08-28 | 2018-02-16 | 北京小米移动软件有限公司 | 分布式存储方法及装置 |
| CN109947354A (zh) * | 2017-12-20 | 2019-06-28 | 北京航天泰坦科技股份有限公司 | 一种基于Agent的无中心异构时空数据存储系统与方法 |
| CN108595121A (zh) * | 2018-04-17 | 2018-09-28 | 湖北文理学院 | 数据存储方法和装置 |
| KR101966928B1 (ko) * | 2018-11-05 | 2019-04-08 | 주식회사 포스웨이브 | 이동객체 시공간정보의 고속분산처리를 위한 색인 및 저장 시스템 |
| CN111651489A (zh) * | 2020-06-05 | 2020-09-11 | 厦门理工学院 | 一种大数据处理服务器系统 |
| CA3150483A1 (en) * | 2021-02-26 | 2022-08-26 | 10353744 Canada Ltd. | Heterogeneous distributed model processing method, device, equipment and storage medium |
| CN113010496A (zh) * | 2021-03-19 | 2021-06-22 | 腾讯科技（深圳）有限公司 | 一种数据迁移方法、装置、设备和存储介质 |
| CN113190580A (zh) * | 2021-04-16 | 2021-07-30 | 国能大渡河检修安装有限公司 | 一种水力发电站数据缓存操作方法和系统 |
| CN114328134A (zh) * | 2022-03-16 | 2022-04-12 | 深圳超盈智能科技有限公司 | 计算机内存动态测试系统 |
Non-Patent Citations (1)
| Title |
|---|
| 大规模时空数据分布式存储方法研究;钟运琴;方金云;赵晓芳;;高技术通讯(第12期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116382596A (zh) | 2023-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9742845B2 (en) | Multi-service cloud storage decision optimization process | |
| CN111475757B (zh) | 页面更新方法和装置 | |
| CN110795257A (zh) | 处理多集群作业记录的方法、装置、设备及存储介质 | |
| AU2015204742B2 (en) | Methods for generating an activity stream | |
| US11811839B2 (en) | Managed distribution of data stream contents | |
| US20150058282A1 (en) | Assigning and managing reviews of a computing file | |
| CN112860777B (zh) | 数据处理方法、装置及设备 | |
| CN107111649B (zh) | 将用户和系统数据从源位置上传到目的地位置 | |
| CN113254534A (zh) | 数据同步方法、装置及计算机存储介质 | |
| CN112235253B (zh) | 数据资产的梳理方法、装置、计算机设备和存储介质 | |
| CN115309648A (zh) | 机器人自动化流程管理方法及系统 | |
| US11223528B2 (en) | Management of cloud-based shared content using predictive cost modeling | |
| US20090327303A1 (en) | Intelligent allocation of file server resources | |
| CN111611276A (zh) | 数据查询方法、装置及存储介质 | |
| CN115185967A (zh) | 数据处理方法、装置、电子设备和存储介质 | |
| CN114329366A (zh) | 网盘文件控制方法、装置、网盘及存储介质 | |
| CN116644250B (zh) | 页面检测方法、装置、计算机设备和存储介质 | |
| US7693185B1 (en) | Method and apparatus for creation and management of intelligent packets | |
| CN117235400A (zh) | 一种基于Kafka技术统一多平台门户系统 | |
| CN116382596B (zh) | 基于分布式技术的时空大数据存储方法及系统 | |
| CN104281486B (zh) | 一种虚拟机处理方法和装置 | |
| CN115130130A (zh) | 网盘文件解锁方法、装置、网盘及存储介质 | |
| KR102093764B1 (ko) | 서버 및 스토리지 관리 서버 | |
| KR20110070767A (ko) | 네트워크 기반 원격 포렌식 시스템 | |
| CN114385722A (zh) | 接口属性的一致性校验方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |