CN113946294A - 一种分布式储存系统及其数据处理方法 - Google Patents
一种分布式储存系统及其数据处理方法 Download PDFInfo
- Publication number
- CN113946294A CN113946294A CN202111269106.8A CN202111269106A CN113946294A CN 113946294 A CN113946294 A CN 113946294A CN 202111269106 A CN202111269106 A CN 202111269106A CN 113946294 A CN113946294 A CN 113946294A
- Authority
- CN
- China
- Prior art keywords
- data
- storage
- data information
- information
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 11
- 238000004364 calculation method Methods 0.000 claims abstract description 12
- 238000013500 data storage Methods 0.000 claims abstract description 11
- 238000012544 monitoring process Methods 0.000 claims description 18
- 238000000034 method Methods 0.000 claims description 14
- 238000013480 data collection Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 230000003321 amplification Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims 1
- 239000003550 marker Substances 0.000 description 4
- 230000003068 static effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0608—Saving storage space on storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据储存技术领域，公开了一种分布式储存系统，包括采集模块、匹配模块、数据库、确定模块、执行模块、均衡器、存储容器和存储集群，其中，所述采集模块用于获取待处理特性数据的类型、容量、接收时长以及特征标识，并生成当前特征标识状态下的数据归属计算节点。本发明通过多级均衡的方式，将采集的数据信息分发到多个不同的存储容器内进行暂存，有效缓解了单个节点上负载过高的现象，从而提高了系统整体的稳定性和安全性，在数据信息采集后会分析和判断每个数据信息的类型、信息完整度、实时状态以及误差率，对有损数据和错误数据信息进行及时去除，大大提高了整个储存系统的运行速度。
Description
技术领域
本发明涉及数据储存技术领域，具体是一种分布式储存系统及其数据处理方法。
背景技术
数据储存是数据流在加工过程中产生的临时文件或加工过程中需要查找的信息，数据以某种格式记录在计算机内部或外部存储介质上。数据存储要命名，这种命名要反映信息特征的组成含义。数据流反映了系统中流动的数据，表现出动态数据的特征；数据存储反映系统中静止的数据，表现出静态数据的特征。
然而现有的分布式储存系统在应对较大的数据存储时稳定性不够好，容易造成储存空间拥挤，并且采集的数据有时无法与所需的数据进行匹配，而多余的数据则会占用大量的数据存储空间，延缓储存系统的运行速度。因此，本领域技术人员提供了一种分布式储存系统及其数据处理方法，以解决上述背景技术中提出的问题。
发明内容
本发明的目的在于提供一种分布式储存系统及其数据处理方法，本发明通过多级均衡的方式，将采集的数据信息分发到多个不同的存储容器内进行暂存，有效缓解了单个节点上负载过高的现象，从而提高了系统整体的稳定性和安全性，并且将采集的数据信息与所需的数据信息进行匹配，在数据信息采集后会分析和判断每个数据信息的类型、信息完整度、实时状态以及误差率，对有损数据和错误数据信息进行及时去除，防止多余的数据信息占用大量的数据存储空间，大大提高了整个储存系统的运行速度。
为实现上述目的，本发明提供如下技术方案：
一种分布式储存系统，包括采集模块、匹配模块、数据库、确定模块、执行模块、均衡器、存储容器和存储集群，其中，
所述采集模块用于获取待处理特性数据的类型、容量、接收时长以及特征标识，并生成当前特征标识状态下的数据归属计算节点；
所述匹配模块用于对采集模块获取的数据信息进行接收，同时获取数据库中标准数据信息的种类，经过匹配和分析后，对获取的数据信息进行集中分类和集中标记；
所述数据库用于实时更新大数据下的数据状态信息，并建立起独立的搜索引擎；
所述确定模块用于对匹配模块分类和集中标记后的数据信息进行确定，同时建立起当前数据的标记群；
所述执行模块用于对确定模块发送的数据信息进行接收，同时加载数据采集前的接口规则，对数据采集过程进行分时段监听，并判断数据的采集时长；
所述均衡器用于对执行模块发送的数据信息进行接收，并创建外部客户端的访问窗口，同时识别多个存储容器当前的权重系数和存储容量，并根据权重系数和存储容量将访问请求调度至目标存储容器中；
所述存储容器用于解析均衡器调度的访问请求和访问数量，并在存储集群中对当前访问请求和访问数量指定的数据进行集中处理；
所述存储集群用于对多个存储容器发送的存储信息进行集中存储。
作为本发明再进一步的方案：所述均衡器还用于识别多个存储容器中连接数和连接时长最小的均衡器，并将连接数和连接时长最小的均衡器作为分配的目标均衡器，同时对当前目标均衡器中的待传输数据进行状态监测。
作为本发明再进一步的方案：所述匹配模块还用于对数据库中标准数据信息和获取的数据信息完整度、实时状态以及误差率进行匹配和分析，同时对完整度较低和误差率过大的数据信息进行实时修复和重新采集。
作为本发明再进一步的方案：所述存储集群还用于计算出当前多个存储容器中可选择的权重系数所对应的系数比例，并计算当前多个存储容器的已知数据流量比例和历史访问次数，并对已获知的数据流量比例和历史访问次数进行双向加密。
作为本发明再进一步的方案：所述确定单元在建立起当前数据的标记群后，还应获取当前标记群下的进程索引信息，同时在进程索引信息上建立多个归属计算节点，并在多个归属计算节点上创建首尾相接的多组信息监测点。
一种分布式储存系统的数据处理方法，包括以下步骤：
S1、采集待处理特性数据的类型、容量、接收时长以及特征标识，并生成当前特征标识状态下的数据归属计算节点和采集任务，然后将生成的数据归属计算节点进行矫正，并得到矫正后的前向信号和后向信号，同时建立起当前信号下的分布式节点；
S2、将采集模块获取的数据信息和数据库中的标准数据信息进行匹配和分析，对获取的数据信息进行集中分类和集中标记，生成当前正确匹配下的数据反馈信号，并对数据反馈信号进行放大处理，同时对放大处理后的反馈信号进行AD转换，生成匹配数据信息；
S3、对匹配模块分类和集中标记后的数据信息进行确定，当获取的数据信息与数据库中的标准数据信息无法匹配时，对获取的数据信息进行重新采集，当获取的数据信息与数据库中的标准数据信息可以正常匹配时，建立起当前匹配数据的标记群；
S4、加载数据采集前的接口规则，对数据采集过程进行分时段监听，并判断数据的采集时长，对监听过程中存在的重复数据进行及时删除，并对待执行的数据内容进行调整，然后对调整后的数据内容在同一格式下进行封装和保存；
S5、对分时段监听后的数据内容进行获取，创建外部客户端的访问窗口，同时识别多个存储容器当前的权重系数和存储容量，并根据权重系数和存储容量将访问请求调度至目标存储容器中，同时根据不同存储容器的容量大小来确定待输入数据的传输速度以及传输量，并判断当前不同时段下的数据存储状态是否出现异常；
S6、将多个存储容器中存储的数据信息集中输送在存储集群中，对存储容器中的数据信息进行实时更新，同时对存储时间过长的数据信息状态栏上标注首次存储的日期，并按照日期前后顺序进行逐次排列。
作为本发明再进一步的方案：所述更新的数据信息包括待处理特性数据的类型和特性标识，类型用于标识待处理特性数据的归属计算节点，特征标识用于准确查找当前更新数据信息的存储位置和展示状态。
作为本发明再进一步的方案：所述采集任务对应指定的数据采集接口，通过修改不同的数据采集信息来添加不同类型的数据采集接口。
作为本发明再进一步的方案：所述存储容器包括RAM存储器和FLASH存储器。
与现有技术相比，本发明的有益效果是：本发明通过多级均衡的方式，将采集的数据信息分发到多个不同的存储容器内进行暂存，有效缓解了单个节点上负载过高的现象，从而提高了系统整体的稳定性和安全性，并且将采集的数据信息与所需的数据信息进行匹配，在数据信息采集后会分析和判断每个数据信息的类型、信息完整度、实时状态以及误差率，对有损数据和错误数据信息进行及时去除，防止多余的数据信息占用大量的数据存储空间，大大提高了整个储存系统的运行速度。
附图说明
图1为一种分布式储存系统的框架图。
具体实施方式
实施例1
请参阅图1，一种分布式储存系统，包括采集模块、匹配模块、数据库、确定模块、执行模块、均衡器、存储容器和存储集群，其中，
采集模块用于获取待处理特性数据的类型、容量、接收时长以及特征标识，并生成当前特征标识状态下的数据归属计算节点；
匹配模块用于对采集模块获取的数据信息进行接收，同时获取数据库中标准数据信息的种类，经过匹配和分析后，对获取的数据信息进行集中分类和集中标记；
数据库用于实时更新大数据下的数据状态信息，并建立起独立的搜索引擎；
确定模块用于对匹配模块分类和集中标记后的数据信息进行确定，同时建立起当前数据的标记群；
执行模块用于对确定模块发送的数据信息进行接收，同时加载数据采集前的接口规则，对数据采集过程进行分时段监听，并判断数据的采集时长；
均衡器用于对执行模块发送的数据信息进行接收，并创建外部客户端的访问窗口，同时识别多个存储容器当前的权重系数和存储容量，并根据权重系数和存储容量将访问请求调度至目标存储容器中；
存储容器用于解析均衡器调度的访问请求和访问数量，并在存储集群中对当前访问请求和访问数量指定的数据进行集中处理；
存储集群用于对多个存储容器发送的存储信息进行集中存储。
优选的：均衡器还用于识别多个存储容器中连接数和连接时长最小的均衡器，并将连接数和连接时长最小的均衡器作为分配的目标均衡器，同时对当前目标均衡器中的待传输数据进行状态监测。
优选的：匹配模块还用于对数据库中标准数据信息和获取的数据信息完整度、实时状态以及误差率进行匹配和分析，同时对完整度较低和误差率过大的数据信息进行实时修复和重新采集。
优选的：存储集群还用于计算出当前多个存储容器中可选择的权重系数所对应的系数比例，并计算当前多个存储容器的已知数据流量比例和历史访问次数，并对已获知的数据流量比例和历史访问次数进行双向加密。
优选的：确定单元在建立起当前数据的标记群后，还应获取当前标记群下的进程索引信息，同时在进程索引信息上建立多个归属计算节点，并在多个归属计算节点上创建首尾相接的多组信息监测点。
一种分布式储存系统的数据处理方法，包括以下步骤：
S1、采集待处理特性数据的类型、容量、接收时长以及特征标识，并生成当前特征标识状态下的数据归属计算节点和采集任务，然后将生成的数据归属计算节点进行矫正，并得到矫正后的前向信号和后向信号，同时建立起当前信号下的分布式节点；
S2、将采集模块获取的数据信息和数据库中的标准数据信息进行匹配和分析，对获取的数据信息进行集中分类和集中标记，生成当前正确匹配下的数据反馈信号，并对数据反馈信号进行放大处理，同时对放大处理后的反馈信号进行AD转换，生成匹配数据信息；
S3、对匹配模块分类和集中标记后的数据信息进行确定，当获取的数据信息与数据库中的标准数据信息无法匹配时，对获取的数据信息进行重新采集，当获取的数据信息与数据库中的标准数据信息可以正常匹配时，建立起当前匹配数据的标记群；
S4、加载数据采集前的接口规则，对数据采集过程进行分时段监听，并判断数据的采集时长，对监听过程中存在的重复数据进行及时删除，并对待执行的数据内容进行调整，然后对调整后的数据内容在同一格式下进行封装和保存；
S5、对分时段监听后的数据内容进行获取，创建外部客户端的访问窗口，同时识别多个存储容器当前的权重系数和存储容量，并根据权重系数和存储容量将访问请求调度至目标存储容器中，同时根据不同存储容器的容量大小来确定待输入数据的传输速度以及传输量，并判断当前不同时段下的数据存储状态是否出现异常；
S6、将多个存储容器中存储的数据信息集中输送在存储集群中，对存储容器中的数据信息进行实时更新，同时对存储时间过长的数据信息状态栏上标注首次存储的日期，并按照日期前后顺序进行逐次排列。
优选的：更新的数据信息包括待处理特性数据的类型和特性标识，类型用于标识待处理特性数据的归属计算节点，特征标识用于准确查找当前更新数据信息的存储位置和展示状态。
优选的：采集任务对应指定的数据采集接口，通过修改不同的数据采集信息来添加不同类型的数据采集接口。
优选的：存储容器包括RAM存储器和FLASH存储器。
本发明通过多级均衡的方式，将采集的数据信息分发到多个不同的存储容器内进行暂存，有效缓解了单个节点上负载过高的现象，从而提高了系统整体的稳定性和安全性，并且将采集的数据信息与所需的数据信息进行匹配，在数据信息采集后会分析和判断每个数据信息的类型、信息完整度、实时状态以及误差率，对有损数据和错误数据信息进行及时去除，防止多余的数据信息占用大量的数据存储空间，大大提高了整个储存系统的运行速度。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。
Claims (9)
1.一种分布式储存系统，其特征在于，包括采集模块、匹配模块、数据库、确定模块、执行模块、均衡器、存储容器和存储集群，其中，
所述采集模块用于获取待处理特性数据的类型、容量、接收时长以及特征标识，并生成当前特征标识状态下的数据归属计算节点；
所述匹配模块用于对采集模块获取的数据信息进行接收，同时获取数据库中标准数据信息的种类，经过匹配和分析后，对获取的数据信息进行集中分类和集中标记；
所述数据库用于实时更新大数据下的数据状态信息，并建立起独立的搜索引擎；
所述确定模块用于对匹配模块分类和集中标记后的数据信息进行确定，同时建立起当前数据的标记群；
所述执行模块用于对确定模块发送的数据信息进行接收，同时加载数据采集前的接口规则，对数据采集过程进行分时段监听，并判断数据的采集时长；
所述均衡器用于对执行模块发送的数据信息进行接收，并创建外部客户端的访问窗口，同时识别多个存储容器当前的权重系数和存储容量，并根据权重系数和存储容量将访问请求调度至目标存储容器中；
所述存储容器用于解析均衡器调度的访问请求和访问数量，并在存储集群中对当前访问请求和访问数量指定的数据进行集中处理；
所述存储集群用于对多个存储容器发送的存储信息进行集中存储。
2.根据权利要求1所述的一种分布式储存系统，其特征在于，所述均衡器还用于识别多个存储容器中连接数和连接时长最小的均衡器，并将连接数和连接时长最小的均衡器作为分配的目标均衡器，同时对当前目标均衡器中的待传输数据进行状态监测。
3.根据权利要求1所述的一种分布式储存系统，其特征在于，所述匹配模块还用于对数据库中标准数据信息和获取的数据信息完整度、实时状态以及误差率进行匹配和分析，同时对完整度较低和误差率过大的数据信息进行实时修复和重新采集。
4.根据权利要求1所述的一种分布式储存系统，其特征在于，所述存储集群还用于计算出当前多个存储容器中可选择的权重系数所对应的系数比例，并计算当前多个存储容器的已知数据流量比例和历史访问次数，并对已获知的数据流量比例和历史访问次数进行双向加密。
5.根据权利要求1所述的一种分布式储存系统，其特征在于，所述确定单元在建立起当前数据的标记群后，还应获取当前标记群下的进程索引信息，同时在进程索引信息上建立多个归属计算节点，并在多个归属计算节点上创建首尾相接的多组信息监测点。
6.一种分布式储存系统的数据处理方法，其特征在于，包括以下步骤：
S1、采集待处理特性数据的类型、容量、接收时长以及特征标识，并生成当前特征标识状态下的数据归属计算节点和采集任务，然后将生成的数据归属计算节点进行矫正，并得到矫正后的前向信号和后向信号，同时建立起当前信号下的分布式节点；
S2、将采集模块获取的数据信息和数据库中的标准数据信息进行匹配和分析，对获取的数据信息进行集中分类和集中标记，生成当前正确匹配下的数据反馈信号，并对数据反馈信号进行放大处理，同时对放大处理后的反馈信号进行AD转换，生成匹配数据信息；
S3、对匹配模块分类和集中标记后的数据信息进行确定，当获取的数据信息与数据库中的标准数据信息无法匹配时，对获取的数据信息进行重新采集，当获取的数据信息与数据库中的标准数据信息可以正常匹配时，建立起当前匹配数据的标记群；
S4、加载数据采集前的接口规则，对数据采集过程进行分时段监听，并判断数据的采集时长，对监听过程中存在的重复数据进行及时删除，并对待执行的数据内容进行调整，然后对调整后的数据内容在同一格式下进行封装和保存；
S5、对分时段监听后的数据内容进行获取，创建外部客户端的访问窗口，同时识别多个存储容器当前的权重系数和存储容量，并根据权重系数和存储容量将访问请求调度至目标存储容器中，同时根据不同存储容器的容量大小来确定待输入数据的传输速度以及传输量，并判断当前不同时段下的数据存储状态是否出现异常；
S6、将多个存储容器中存储的数据信息集中输送在存储集群中，对存储容器中的数据信息进行实时更新，同时对存储时间过长的数据信息状态栏上标注首次存储的日期，并按照日期前后顺序进行逐次排列。
7.根据权利要求6所述的一种分布式储存系统的数据处理方法，其特征在于，所述更新的数据信息包括待处理特性数据的类型和特性标识，类型用于标识待处理特性数据的归属计算节点，特征标识用于准确查找当前更新数据信息的存储位置和展示状态。
8.根据权利要求6所述的一种分布式储存系统的数据处理方法，其特征在于，所述采集任务对应指定的数据采集接口，通过修改不同的数据采集信息来添加不同类型的数据采集接口。
9.根据权利要求6所述的一种分布式储存系统的数据处理方法，其特征在于，所述存储容器包括RAM存储器和FLASH存储器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111269106.8A CN113946294A (zh) | 2021-10-29 | 2021-10-29 | 一种分布式储存系统及其数据处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111269106.8A CN113946294A (zh) | 2021-10-29 | 2021-10-29 | 一种分布式储存系统及其数据处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113946294A true CN113946294A (zh) | 2022-01-18 |
Family
ID=79336975
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111269106.8A Pending CN113946294A (zh) | 2021-10-29 | 2021-10-29 | 一种分布式储存系统及其数据处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113946294A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115525235A (zh) * | 2022-11-04 | 2022-12-27 | 上海威固信息技术股份有限公司 | 一种基于存储结构的数据运算方法及系统 |
| CN115905324A (zh) * | 2023-02-21 | 2023-04-04 | 中科迅联智慧网络科技(北京)有限公司 | 一种应用于多种数据相互关联的智能匹配方法及其系统 |
| CN116707934A (zh) * | 2023-06-20 | 2023-09-05 | 甘肃省地震局（中国地震局兰州地震研究所） | 一种基于无线传感网络的数据加密传送方法 |
| CN117061170A (zh) * | 2023-08-14 | 2023-11-14 | 长沙诺邦机电设备有限公司 | 一种基于特征选择的智能制造工业大数据分析方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107357639A (zh) * | 2016-05-09 | 2017-11-17 | 腾讯科技（深圳）有限公司 | 一种分布式处理系统、数据处理的方法及设备 |
| US20190042303A1 (en) * | 2015-09-24 | 2019-02-07 | Wangsu Science & Technology Co.,Ltd. | Distributed storage-based file delivery system and method |
| CN110008257A (zh) * | 2019-04-10 | 2019-07-12 | 深圳市腾讯计算机系统有限公司 | 数据处理方法、装置、系统、计算机设备和存储介质 |
| CN111181962A (zh) * | 2019-12-30 | 2020-05-19 | 成都科来软件有限公司 | 一种数据完整度合并系统 |
| CN112445774A (zh) * | 2020-11-20 | 2021-03-05 | 网宿科技股份有限公司 | 一种分布式共享文件系统及其数据处理方法 |
| CN112597373A (zh) * | 2020-12-29 | 2021-04-02 | 科技谷（厦门）信息技术有限公司 | 一种基于分布式爬虫引擎的数据采集方法 |
| CN112685385A (zh) * | 2020-12-31 | 2021-04-20 | 广西中科曙光云计算有限公司 | 一种用于智慧城市建设的大数据平台 |
| CN112883110A (zh) * | 2021-02-02 | 2021-06-01 | 山东立信特信息技术有限公司 | 一种基于nifi的终端大数据分发方法、存储介质及系统 |
-
2021
- 2021-10-29 CN CN202111269106.8A patent/CN113946294A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190042303A1 (en) * | 2015-09-24 | 2019-02-07 | Wangsu Science & Technology Co.,Ltd. | Distributed storage-based file delivery system and method |
| CN107357639A (zh) * | 2016-05-09 | 2017-11-17 | 腾讯科技（深圳）有限公司 | 一种分布式处理系统、数据处理的方法及设备 |
| CN110008257A (zh) * | 2019-04-10 | 2019-07-12 | 深圳市腾讯计算机系统有限公司 | 数据处理方法、装置、系统、计算机设备和存储介质 |
| CN111181962A (zh) * | 2019-12-30 | 2020-05-19 | 成都科来软件有限公司 | 一种数据完整度合并系统 |
| CN112445774A (zh) * | 2020-11-20 | 2021-03-05 | 网宿科技股份有限公司 | 一种分布式共享文件系统及其数据处理方法 |
| CN112597373A (zh) * | 2020-12-29 | 2021-04-02 | 科技谷（厦门）信息技术有限公司 | 一种基于分布式爬虫引擎的数据采集方法 |
| CN112685385A (zh) * | 2020-12-31 | 2021-04-20 | 广西中科曙光云计算有限公司 | 一种用于智慧城市建设的大数据平台 |
| CN112883110A (zh) * | 2021-02-02 | 2021-06-01 | 山东立信特信息技术有限公司 | 一种基于nifi的终端大数据分发方法、存储介质及系统 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115525235A (zh) * | 2022-11-04 | 2022-12-27 | 上海威固信息技术股份有限公司 | 一种基于存储结构的数据运算方法及系统 |
| CN115525235B (zh) * | 2022-11-04 | 2023-09-08 | 上海威固信息技术股份有限公司 | 一种基于存储结构的数据运算方法及系统 |
| CN115905324A (zh) * | 2023-02-21 | 2023-04-04 | 中科迅联智慧网络科技(北京)有限公司 | 一种应用于多种数据相互关联的智能匹配方法及其系统 |
| CN116707934A (zh) * | 2023-06-20 | 2023-09-05 | 甘肃省地震局（中国地震局兰州地震研究所） | 一种基于无线传感网络的数据加密传送方法 |
| CN116707934B (zh) * | 2023-06-20 | 2023-10-24 | 甘肃省地震局（中国地震局兰州地震研究所） | 一种基于无线传感网络的数据加密传送方法 |
| CN117061170A (zh) * | 2023-08-14 | 2023-11-14 | 长沙诺邦机电设备有限公司 | 一种基于特征选择的智能制造工业大数据分析方法 |
| CN117061170B (zh) * | 2023-08-14 | 2024-04-30 | 长沙诺邦机电设备有限公司 | 一种基于特征选择的智能制造工业大数据分析方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113946294A (zh) | 一种分布式储存系统及其数据处理方法 | |
| CN106611064B (zh) | 分布式关系数据库的数据处理方法和装置 | |
| CN111061752B (zh) | 数据处理方法、装置及电子设备 | |
| CN110147470B (zh) | 一种跨机房数据比对系统及方法 | |
| CN111400288A (zh) | 数据质量检查方法及系统 | |
| CN110647447A (zh) | 用于分布式系统的异常实例检测方法、装置、设备和介质 | |
| CN107393308A (zh) | 一种识别车牌的方法、装置及停车场管理系统 | |
| CN106095850A (zh) | 一种数据处理方法及设备 | |
| US20200293543A1 (en) | Method and apparatus for transmitting data | |
| WO2021147319A1 (zh) | 一种数据处理方法、装置、设备及介质 | |
| CN116091175B (zh) | 一种基于大数据的交易信息数据管理系统及方法 | |
| CN114528231A (zh) | 一种数据动态存储方法、装置、电子设备及存储介质 | |
| CN107273423B (zh) | 多媒体消息数据处理方法、装置和系统 | |
| CN112632132B (zh) | 一种异常导入数据的处理方法、装置及设备 | |
| CN112163015B (zh) | 一种物联网时序数据实时监控方法、装置和系统 | |
| CN113360551B (zh) | 一种靶场中时序数据的存储与快速统计方法及系统 | |
| CN114564501A (zh) | 一种数据库数据存储、查询方法、装置、设备及介质 | |
| CN102447589B (zh) | 一种聚合记录的方法及装置 | |
| CN115221218A (zh) | 车辆数据的质量评估方法、装置、计算机设备和存储介质 | |
| CN115269519A (zh) | 一种日志检测方法、装置及电子设备 | |
| CN108984101B (zh) | 在分布式存储系统中确定事件之间关系的方法及装置 | |
| CN117453493B (zh) | 大规模多数据中心的gpu算力集群监控方法及系统 | |
| CN115994172B (zh) | 一种业务访问关系确定的方法、装置、设备及介质 | |
| CN117131000B (zh) | 一种NetCDF气象数据处理方法及终端 | |
| CN112150248B (zh) | 一种基于批流融合的挂货量统计方法、系统、装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |