CN112202910A - 一种计算机分布式存储系统 - Google Patents
一种计算机分布式存储系统 Download PDFInfo
- Publication number
- CN112202910A CN112202910A CN202011077396.1A CN202011077396A CN112202910A CN 112202910 A CN112202910 A CN 112202910A CN 202011077396 A CN202011077396 A CN 202011077396A CN 112202910 A CN112202910 A CN 112202910A
- Authority
- CN
- China
- Prior art keywords
- data
- reading
- written
- module
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000638 solvent extraction Methods 0.000 claims abstract description 10
- 230000002159 abnormal effect Effects 0.000 claims description 37
- 230000000903 blocking effect Effects 0.000 claims description 33
- 241000700605 Viruses Species 0.000 claims description 9
- 238000000034 method Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 7
- 238000012790 confirmation Methods 0.000 claims description 6
- 230000000737 periodic effect Effects 0.000 claims description 6
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 230000008439 repair process Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 239000002699 waste material Substances 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 9
- 230000009286 beneficial effect Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000013500 data storage Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- ZXQYGBMAQZUVMI-GCMPRSNUSA-N gamma-cyhalothrin Chemical compound CC1(C)[C@@H](\C=C(/Cl)C(F)(F)F)[C@H]1C(=O)O[C@H](C#N)C1=CC=CC(OC=2C=CC=CC=2)=C1 ZXQYGBMAQZUVMI-GCMPRSNUSA-N 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种计算机分布式存储系统,包括:获取模块、发送模块、数据分块模块、控制模块、数据模块、重复写入模块、替换模块和读取模块。本发明可以判断待存储的数据是否需要,从而避免浪费存储资,通过重复写入模块和替换模块可以提高计算机分布式存储系统的存储效率和系统的稳定性,通过读取模块还保证了用户读取存储数据的安全性。
Description
技术领域
本发明涉及存储技术领域,特别涉及一种计算机分布式存储系统。
背景技术
目前,随着计算机技术的快速发展,产生的数据量也在不断的增长,传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。分布式存储系统中,现有的数据存储方法无法快速判别存储的数据是否已有,从而浪费存储资源。
发明内容
本发明提供一种计算机分布式存储系统,用于快速判别存储的数据是否已有,从而避免浪费存储资源,还提高了用户读取数据的安全性。
一种计算机分布式存储系统,其特征在于,包括:
获取模块,用于接收用户终端发送的数据写入请求命令,确定待写入数据;
发送模块,用于发送所述待写入数据的分块命令;
数据分块模块,用于接收所述分块命令,将所述待写入数据进行分块,形成数据块集合;
控制模块,用于在待写入数据分块后,生成数据写入命令,并通过预设的控制节点将所述写入命令发送至对应的数据节点;
数据模块,用于通过预设的数据节点接收所述写入命令,并根据所述写入命令,将所述数据块写入数据节点;
重复写入模块,用于在所述数据块写入失败时,确定写入失败因素,并基于所述写入失败因素,重新将所述数据块写入数据节点;
替换模块,用于在所述数据块写入数据节点后,判断是否存在非正常读写数据,并在具有非正常读写数据时,基于预设的替换策略,对所述非正常读写数据进行替换;
读取模块,用于在接收到用户的读取指令时,确定需要读取的数据信息,读取相应数据节点中写入的数据块。
进一步的,所述数据分块模块包括:
识别单元,用于将所述待写入数据的通过预设的阈值存储量划分为大型数据和小型数据;其中,
所述大型数据为大于等于阈值存储量的数据;
所述小型数据为小于阈值存储量的数据;
第一分块单元,用于将所述大型数据进行分块,形成数据组;其中,
所述分块后的数据块大于1;
第二分块单元,用于将所述小型数据划分为独立数据块;
集合模块:用于通过所述独立数据块和数据组生成数据块集合。
进一步的,所述数据模块包括:
对比单元,用于将所述数据块与存储在所述数据节点中的预存数据块进行比较,判断所述数据块与存储在所述数据节点中的预存数据块是否相同;
执行单元,用于在所述数据块与所述数据节点中预存数据块相同时,控制所述预设的数据节点不接收所述控制模块的写入命令,还用于在所述数据块与所述数据节点中预存数据块不相同时,所述预设的数据节点接收所述控制模块的写入命令。
进一步的,所述重复写入模块包括:
检测单元,用于通过读写数据节点来检测所述数据节点是否正常读写数据;
修复单元,用于通过冗余节点的数据修复所述数据节点;
发送单元,用于发送所述数据块重新写入到所述预设的数据节点的命令。
进一步的,所述替换模块包括:
第一自检单元,用于通过读写数据节点来检测所述数据节点的读写数据功能是否正常;
第二自检单元,用于通过控制节点来发送命令来检测所述数据节点是否能够接收所述控制模块的命令;
标记单元,用于当所述数据节点无法读写数据或所述数据节点不能接收所述控制模块的命令时,将所述数据节点标记为异常状态,其中,
在所述异常状态时,所述数据节点非正常读写数据,并停止存储数据块。
替换单元,用于将所述异常状态的数据节点基于预设的替换策略,替换成为正常读写数据的数据节点。
6.进一步的,所述第一自检单元和第二自检单元的检测为在设定时间段内的周期性自检,其中,
所述周期性自检包括检测所述数据节点的读写数据功能是否正常和所述数据节点是否能够接收所述控制模块的命令。
进一步的,所述读取模块包括:
存储单元,用于预先存储用户个人信息和用于设备信息;其中,
所述个人信息为所述用户设置的账号和密码信息,所述的设备信息为所述用户设备的IP地址;
第一认证单元,用于对所述用户发起的读取数据指令时,根据所述设备信息,进行设备信息认证,判断所述设备是否为预先存储的设备信息;
第二认证单元,用于当所述第一认证单元通过时,再次进行指令源认证;
第一确认单元;用于确定所述设备信息和用户个人信息认证成功时,进行读取数据。
进一步的,所述第二认证单元包括:
滑块验证子单元,用于确定所述读取数据指令的指令源地址,并根据所述指令源地址验证所述读取数据指令是否为病毒操作;
第二确认子单元,用于在所述读取数据指令为病毒操作时,对所述指令源地址进行不信任标记;
计时子单元,用于设定读取时间,当所述读取指令在所述读取时间内没有进行读取数据操作,将会自动退出读取数据。
进一步地:所述数据分块模块划分数据块包括以下步骤:
所述数据分块模块将所述待写入数据进行分块,形成数据块集合包括以下步骤:
步骤2:根据所述待写入数据的数据特征,确定每类待写入数据权重值:
步骤3:根据所述待写入数据权重值,将每类待写入数据代入下式进行划分:
其中,所述表示待写入数据的数据特征的均值;所述表示待写入数据的权重值的均值;所述表示划分所述数据块的阈值储存量;当时,将所述待写入数据通过所述阈值储存量进行划分,生成多个数据块的集合;当时,直接生成独立数据块。
进一步地:所述读取模块还包括:
流量统计模块:用于在所述接收到用户的读取指令时,统计用户发出所述读取指令时,从用户端到指令接收端的本次流量数据;
历史流量模块:用户获取历史接收读取指令时的历史流量数据,并将所述历史流量数据划分为正常读取流量范围和异常读取流量范围;
判断模块:用于判断所述本次流量数据在所述正常读取流量范围或异常读取流量范围;
正常模块:用于在本次流量数据在正常读取流量范围内时,确定需要读取的数据信息,读取相应数据节点中的数据块;
异常模块:用于在本次流量数据在异常读取流量范围内时,将本次流量数据归类为异常读取流量,并不进行读取操作。
本发明的有益效果在于:在本发明中用户终端包括手机、电脑等可以进行人机交互的智能设备,用户的命令可以以语音、文字等方式通过用户终端生成对应的请求命令,请求写入哪些数据;待写入数据可以时用户手机电脑、读卡器、等存储设备或者云端网络上调取的数据。本发明通过分块,待写入数据被分成小块之后,在数据链路中传输时,可以更加快速传输数据,进而可以减少数据块在传输时的丢包率。本发明能够通过对数据节点中的已有的数据进行一个比较,比较结果不同时,数据能够正常写入到数据节点当中去,比较结果不同时,数据无法进行写入,能够避免内存资源的浪费。还能够对数据进行重复写入、对数据进行替换。本发明通过设置用户设备认证和指令源信息认证来保护读取数据的安全性,还通过设定一个用户读取数据操作时间段,用户读取数据之后忘记关闭读取完成数据,防止其他人进行读取数据。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例中一种计算机分布式存储系统的框架图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
本发明的一种计算机分布式存储系统用于网络数据的存储,能够提高计算机分布式存储数据的效率和存储数据读取的安全性。
如附图所示,本发明为一种计算机分布式存储系统,包括:
获取模块,用于接收用户终端发送的数据写入请求命令,确定待写入数据;在本发明中用户终端包括手机、电脑等可以进行人机交互的智能设备,用户的命令可以以语音、文字等方式通过用户终端生成对应的请求命令,请求写入哪些数据;待写入数据可以时用户手机电脑、读卡器、等存储设备或者云端网络上调取的数据。
发送模块,用于发送所述待写入数据的分块命令;在用户的写入请求指令生成后,本发明会通过预设的分块策略进行分块,通过待写入数据的分块,能够提升传输数据的速度。待写入数据被分成小块之后,在数据链路中传输时,可以更加快速,进而可以减少数据块在传输时的丢包率。
数据分块模块,用于接收所述分块命令,将所述待写入数据进行分块,形成多个数据块;本发明会通过预设的分块策略进行分块,首先对写入数据进行识别为大型数据或小型数据,优选为:大型数据为大于128M的数据,小型数据为小于等于128M的数据,通过数据把数据分块为大小128M的数据块,能够提升数据的传输速度。
控制模块,用于在待写入数据分块后,生成数据写入命令,并通过预设的控制节点将所述写入命令发送至对应的数据节点;本发明中控制模块相当于一个命令中转站,通过手机、电脑等用户终端设备发出的指令来进行相应的答复,把所答复的在传递到数据模块当中。
数据模块,用于通过预设的数据节点接收所述写入命令,并根据所述写入命令,将所述数据块写入数据节点;当用户进行一个数据的写入操作时,本发明能够通过对数据节点中的已有的数据进行一个比较,比较结果不同时,数据能够正常写入到数据节点当中去,比较结果不同时,数据无法进行写入,能够避免内存资源的浪费。
本发明数据模块相当于一个实际完成手机、电脑等用户终端设备发出指令,比如进行读取网络中存储的数据,或者把自己所需要的文件进行存储到网络中。
重复写入模块,用于在所述数据块写入失败时,确定写入失败因素,并基于所述写入失败因素,重新将所述数据块写入数据节点;用户通过手机、电脑等用户终端设备发出的写入数据指令,到达数据模块时,发现无法进行把待写入数据写入,那么此时重复写入模块会进行对数据节点进行读写功能的检测,然后进行一个通过冗余节点的数据修复数据节点,此时数据节点读写功能正常,会再次进行数据写入,能够提高分布式系统的稳定性。
替换模块,用于在所述数据块写入数据节点后,判断是否存在非正常读写数据,并在具有非正常读写数据时,基于预设的替换策略,对所述非正常读写数据进行替换;本发明还通过设定一个时间进行周期性的检测数据节点读写功能是否正常,当数据节点读写功能出现问题时,无法对用户发送的数据进行一个写入或者读取,那么系统将会直接把不正常的数据模块通过预设准备的正常的数据节点进行一个替换,能使高分布式系统更好的运行。
读取模块,用于在接收到用户的读取指令时,确定需要读取的数据信息,并根据接收所述需要读取的数据信息,读取相应数据节点中写入的数据块。当用户想要通过手机或电脑等终端设备进行一个数据的读取时,本发明通过设置用户设备认证和指令源信息认证来保护读取数据的安全性,还通过设定一个用户读取数据操作时间段,用户读取数据之后忘记关闭读取完成数据,防止其他人进行读取数据。
作为本发明的一种实施例:所述数据分块模块包括:
识别单元,用于将所述待写入数据的通过预设的阈值存储量划分为大型数据和小型数据;其中,
所述大型数据为大于等于阈值存储量的数据;
所述小型数据为小于阈值存储量的数据;
第一分块单元,用于将所述大型数据进行分块形成数据组;其中,
所述分块后的数据块大于1;
第二分块单元,用于将所述小型数据划分为独立数据块;
集合模块:用于通过所述独立数据块和数据组生成数据块集合。
上述技术方案的技术原理在于:数据块越大,寻址时间越短,磁盘传输时间越长;数据块越小,寻址时间越长,但磁盘传输时间越短。因此数据块分块越小,传输越快,也越能较少丢包率。阈值储存量为用户设置的,也可以通过获取历史数据读取和存储数据,判断丢包率最的数据块的数据存储量为阈值存储量。
上述技术方案的有益效果在于:把写入数据优选分为大小128M的数据块,寻址时间和磁盘传输时间为最佳的状态,可以实现快速传输数据。
作为本发明的一种实施例:所述数据模块包括:
对比单元,用于将所述数据块与存储在所述数据节点中的预存数据块进行比较,判断所述数据块与存储在所述数据节点中的预存数据块是否相同;
执行单元,用于在所述数据块与所述数据节点中预存数据块相同时,控制所述预设的数据节点不接收所述控制模块的写入命令,还用于在所述数据块与所述数据节点中预存数据块不相同时,所述预设的数据节点接收所述控制模块的写入命令。
上述技术方案的原理和有益效果在于:通过对数据节点中自身存储的数据与待写入的数据进行数据比较,来确定数据是否需要存储,提高存储效率。
作为本发明的一种实施例:所述重复写入模块包括:
检测单元,用于通过读写数据节点来检测所述数据节点是否正常读写数据;读写数据节点是用于判断数据节点读取数据时是否能能够读取或不能够读取。写入数据是,能够将数据写入对应的数据节点或者不能写入对应的数据节点。
修复单元,用于通过冗余节点的数据修复所述数据节点;冗余节点是一种备份节点,可以用备份的数据修复数据节点的数据。
发送单元,用于发送所述数据块重新写入到所述预设的数据节点的命令。
上述技术方案的原理和有益效果在于:通过冗余节点的数据修复不能正常工作的数据节点,然后再次进行写入,把数据块写入到数据节点当中,保证了用户数据写入数据,提高了分布式存储系统的稳定性。
作为本发明的一种实施例:所述替换模块包括:
第一自检单元,用于通过读写数据节点来检测所述数据节点的读写数据功能是否正常,当所述读写数据功能正常时,执行替换。
第二自检单元,用于通过控制节点来发送命令来检测所述数据节点是否能够接收所述控制模块的命令;
标记单元,用于当所述数据节点无法读写数据或所述数据节点不能接收所述控制模块的命令时,将所述数据节点标记为异常状态,其中,
在所述异常状态时,所述数据节点非正常读写数据,并停止存储数据块。通过异常状态的标记可以防止数据存储出现异常,数据节点不能存储或者数据节点为病毒节点时,进行数据存储。
替换单元,用于将所述标记为异常状态的数据节点基于预设的替换策略,替换成为正常读写数据的数据节点。数据节点的替换是通过将数据节点进行废弃,然后通过临近替换策略、对称替换策略或者加权替换策略实现对数据节点的替换。替换后不影响原数据节点的高效性能为主。
作为本发明的一种实施例:所述第一自检单元和第二自检单元的检测为在设定时间段内的周期性自检,其中,
所述周期性自检包括检测所述数据节点的读写数据功能是否正常和所述数据节点是否能够接收所述控制模块的命令。
上述技术方案的原理和有益效果在于:通过定时检测来判断数据节点能否读取数据和数据节点能否正常接收控制模块的命令,来确定数据节点是否异常,如果异常则进行不再存储数据,用工作正常的数据节点替换此不正常的数据节点,有效的防止在异常的数据节点进行做无用的数据存储。
作为本发明的一种实施例:所述读取模块包括:
存储单元,用于预先存储用户个人信息和用于设备信息;其中,
所述个人信息为所述用户设置的账号和密码信息,所述的设备信息为所述用户设备的IP地址;
第一认证单元,用于对所述用户发起的读取数据指令时,根据所述设备信息,进行设备信息认证,判断所述设备是否为预先存储的设备信息;
第二认证单元,用于当所述第一认证单元通过时,再次进行指令源认证;
第一确认单元;用于确定所述设备信息和用户个人信息认证成功时,进行读取数据。
上述技术方案的原理和有益效果在于:用户进行读取需要保密的数据时,必须通过一定的认证才能进行对保密数据进行读取,本发明通过设定设备信息认证和指令源信息认证才能进行对保密数据进行读取,设备信息认证是系统预先存储用户设备的IP地址,来确认是否为能够读取的设备,个人信息认证也是系统预先存储用户设置的账户和密码,用户通过第一次认证了的设备来进行输入账户和密码,再次确认是指令源不是病毒或者其它程序,从而可以对保密数据进行读写,通过设置设备信息认证和用户个人信息认证来提高读取数据的安全性。
作为本发明的一种实施例:所述第二认证单元包括:
滑块验证子单元,用于确定所述读取数据指令的指令源地址,并根据所述指令源地址验证所述读取数据指令是否为病毒操作;
第二确认子单元,用于在所述读取数据指令为病毒操作时,对所述指令源地址进行不信任标记;
计时子单元,用于设定读取时间,当所述读取指令在所述读取时间内没有进行读取数据操作,将会自动退出读取数据。
上述技术方案的原理和有益效果在于:用户在进行对保密数据进行读取时,已经通过了设备认证和指令源信息认证,如果用户在读取保密数据时离开了设备,忘记关闭浏览器或软件,那么本发明通过设定一个用户读取数据操作时间段,当用户读取数据之后忘记关闭浏览器或软件时,将会自动退出读取数据,防止其他人进行读取数据。
进一步地:所述数据分块模块将所述待写入数据进行分块,形成数据块集合包括以下步骤:
步骤2:根据所述待写入数据的数据特征,确定每类待写入数据权重值:
步骤3:根据所述待写入数据权重值,将每类待写入数据代入下式进行划分:
其中,所述表示待写入数据的数据特征的均值;所述表示待写入数据的权重值的均值;所述表示划分所述数据块的阈值储存量;当时,将所述待写入数据通过所述阈值储存量进行划分,生成多个数据块的集合;当时,直接生成独立数据块。
本发明的生成数据块包括三个步骤,先确定待写入数据的数据特征,这个数据特征是基于数据类型确定计算得到。不同类型的数据具有不同的数据特征,因此本发明基于不同类性的待写入数据的计算数据特征,计算得到的数据特征是总的数据特征,其也表现了数据的倾向性。在第二个步骤中,本名通过待写入数据的数据特征,基于每类待写入数据的储存量,确定待写入数据的权重值,本次权重值的计算是基于数据特征和数据储存量得到的权重值,权重值的偏向特征偏向于储存需求。最终基于预设的阈值存储量对存储的数据进行划分确定需要划分的数据和不需要划分的数据,需要划分的数据为大型数据,不需要划分的为小型数据。最后将需要划分的待写入类型的数据根据阈值储存量进行划分,划分时,大型数据划分后的数据块只要小于阈值储存量就可以。进而实现数据的快速传输。
作为本发明的一种实施例:所述读取模块还包括:
流量统计模块:用于在所述接收到用户的读取指令时,统计用户发出所述读取指令时,从用户端到指令接收端的本次流量数据;
历史流量模块:用户获取历史接收读取指令时的历史流量数据,并将所述历史流量数据划分为正常读取流量范围和异常读取流量范围;
判断模块:用于判断所述本次流量数据在所述正常读取流量范围或异常读取流量范围;
正常模块:用于在本次流量数据在正常读取流量范围内时,确定需要读取的数据信息,读取相应数据节点中的数据块;
异常模块:用于在本次流量数据在异常读取流量范围内时,将本次流量数据归类为异常读取流量,并不进行读取操作。
本发明在对读取指令进行判断时,还根据读取指令在下发过程中的数据量进行判断,因为如果时通过用户自己进行数据读取时,因为有相关的认证方式,因此数据的流量波动比较小,而是通过其它方式进行破解时,例如木马病毒,此时数据的流量必定高于正常数据读取时的流量波动。因此本发明通过对流量的范围进行判断,确定读取和写入数据在正常是的操作和异常时的操作。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种计算机分布式存储系统,其特征在于,包括:
获取模块,用于接收用户终端发送的数据写入请求命令,确定待写入数据;
发送模块,用于发送所述待写入数据的分块命令;
数据分块模块,用于接收所述分块命令,将所述待写入数据进行分块,形成数据块集合;
控制模块,用于在待写入数据分块后,生成数据写入命令,并通过预设的控制节点将所述写入命令发送至对应的数据节点;
数据模块,用于通过预设的数据节点接收所述写入命令,并根据所述写入命令,将所述数据块写入数据节点;
重复写入模块,用于在所述数据块写入失败时,确定写入失败因素,并基于所述写入失败因素,重新将所述数据块写入数据节点;
替换模块,用于在所述数据块写入数据节点后,判断是否存在非正常读写数据,并在具有非正常读写数据时,基于预设的替换策略,对所述非正常读写数据进行替换;
读取模块,用于在接收到用户的读取指令时,确定需要读取的数据信息,读取相应数据节点中的数据块。
2.根据权利要求1所述的一种计算机分布式存储系统,其特征在于,所述数据分块模块包括:
识别单元,用于将所述待写入数据的通过预设的阈值存储量划分为大型数据和小型数据;其中,
所述大型数据为大于等于阈值存储量的数据;
所述小型数据为小于阈值存储量的数据;
第一分块单元,用于将所述大型数据进行分块,获得数据组;其中,
所述分块后的数据块大于1;
第二分块单元,用于将所述小型数据划分为独立数据块;
集合模块:用于通过所述独立数据块和数据组生成数据块集合。
3.根据权利要求1所述的一种计算机分布式存储系统,其特征在于,所述数据模块包括:
对比单元,用于将所述数据块与存储在所述数据节点中的预存数据块进行比较,判断所述数据块与存储在所述数据节点中的预存数据块是否相同;
执行单元,用于在所述数据块与所述数据节点中预存数据块相同时,控制所述预设的数据节点不接收所述控制模块的写入命令,还用于在所述数据块与所述数据节点中预存数据块不相同时,所述预设的数据节点接收所述控制模块的写入命令。
4.根据权利要求1所述的一种计算机分布式存储系统,其特征在于,所述重复写入模块包括:
检测单元,用于通过读写数据节点来检测所述数据节点是否正常读写数据;
修复单元,用于通过冗余节点的数据修复所述数据节点;
发送单元,用于发送所述数据块重新写入到所述预设的数据节点的命令。
5.根据权利要求1所述的一种计算机分布式存储系统,其特征在于,所述替换模块包括:
第一自检单元,用于通过读写数据节点来检测所述数据节点的读写数据功能是否正常,当所述读写数据功能正常时,执行替换;
第二自检单元,用于通过控制节点来发送命令来检测所述数据节点是否能够接收所述控制模块的命令;
标记单元,用于当所述数据节点无法读写数据或所述数据节点不能接收所述控制模块的命令时,将所述数据节点标记为异常状态,其中,
在所述异常状态时,所述数据节点非正常读写数据,并停止存储数据块;
替换单元,用于将所述异常状态的数据节点基于预设的替换策略,替换成为正常读写数据的数据节点。
6.根据权利要求5所述的一种计算机分布式存储系统,其特征在于,所述第一自检单元和第二自检单元的检测为在设定时间段内的周期性自检,其中,
所述周期性自检包括检测所述数据节点的读写数据功能是否正常和所述数据节点是否能够接收所述控制模块的命令。
7.根据权利要求1所述的一种计算机分布式存储系统,其特征在于,所述读取模块包括:
存储单元,用于预先存储用户个人信息和用于设备信息;其中,
所述个人信息为所述用户设置的账号和密码信息,所述的设备信息为所述用户设备的IP地址;
第一认证单元,用于对所述用户发起的读取数据指令时,根据所述设备信息,进行设备信息认证,判断所述设备是否为预先存储的设备信息;
第二认证单元,用于当所述第一认证单元通过时,再次进行指令源认证;
第一确认单元;用于确定所述设备信息和用户个人信息认证成功时,进行读取数据。
8.根据权利要求7所述的一种计算机分布式存储系统,其特征在于,所述第二认证单元包括:
滑块验证子单元,用于确定所述读取数据指令的指令源地址,并根据所述指令源地址验证所述读取数据指令是否为病毒操作;
第二确认子单元,用于在所述读取数据指令为病毒操作时,对所述指令源地址进行不信任标记;
计时子单元,用于设定读取时间,当所述读取指令在所述读取时间内没有进行读取数据操作,将会自动退出读取数据。
9.根据权利要求1所述的一种计算机分布式存储系统,其特征在于,所述数据分块模块将所述待写入数据进行分块,形成数据块集合包括以下步骤:
步骤2:根据所述待写入数据的数据特征,确定每类待写入数据权重值:
步骤3:根据所述待写入数据权重值,将每类待写入数据代入下式进行划分:
10.根据权利要求1所述的一种计算机分布式存储系统,其特征在于,所述读取模块还包括:
流量统计模块:用于在所述接收到用户的读取指令时,统计用户发出所述读取指令时,从用户端到指令接收端的本次流量数据;
历史流量模块:用户获取历史接收读取指令时的历史流量数据,并将所述历史流量数据划分为正常读取流量范围和异常读取流量范围;
判断模块:用于判断所述本次流量数据在所述正常读取流量范围或异常读取流量范围;
正常模块:用于在本次流量数据在正常读取流量范围内时,确定需要读取的数据信息,读取相应数据节点中的数据块;
异常模块:用于在本次流量数据在异常读取流量范围内时,将本次流量数据归类为异常读取流量,并不进行读取操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011077396.1A CN112202910B (zh) | 2020-10-10 | 2020-10-10 | 一种计算机分布式存储系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011077396.1A CN112202910B (zh) | 2020-10-10 | 2020-10-10 | 一种计算机分布式存储系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112202910A true CN112202910A (zh) | 2021-01-08 |
CN112202910B CN112202910B (zh) | 2021-10-08 |
Family
ID=74013921
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011077396.1A Active CN112202910B (zh) | 2020-10-10 | 2020-10-10 | 一种计算机分布式存储系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112202910B (zh) |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101706825A (zh) * | 2009-12-10 | 2010-05-12 | 华中科技大学 | 一种基于文件内容类型的重复数据删除方法 |
CN101989929A (zh) * | 2010-11-17 | 2011-03-23 | 中兴通讯股份有限公司 | 容灾数据备份的方法及系统 |
US20140101168A1 (en) * | 2008-07-02 | 2014-04-10 | Lexisnexis Risk Solutions Fl Inc. | Technique for recycling match weight calculations |
CN103731505A (zh) * | 2014-01-17 | 2014-04-16 | 中国联合网络通信集团有限公司 | 一种数据分布式存储方法及系统 |
CN104063631A (zh) * | 2014-06-13 | 2014-09-24 | 周家锐 | 一种面向大数据的代谢组特征数据分析方法及其系统 |
US20150120793A1 (en) * | 2013-10-24 | 2015-04-30 | Samsung Electronics Co., Ltd. | Managing device of distributed file system, distributed computing system therewith, and operating method of distributed file system |
US20160070481A1 (en) * | 2011-03-08 | 2016-03-10 | Rackspace Us, Inc. | Massively Scalable Object Storage for Storing Object Replicas |
CN105808339A (zh) * | 2014-12-29 | 2016-07-27 | 华为技术有限公司 | 大数据并行计算方法及装置 |
CN108241640A (zh) * | 2016-12-23 | 2018-07-03 | 航天星图科技(北京)有限公司 | 一种分布式的文件存储方法 |
CN108243207A (zh) * | 2016-12-23 | 2018-07-03 | 航天星图科技(北京)有限公司 | 一种网络云盘的数据存储方法 |
CN110413223A (zh) * | 2019-06-25 | 2019-11-05 | 汉纳森(厦门)数据股份有限公司 | Flash存储器的数据读写方法、介质、设备及装置 |
CN110427347A (zh) * | 2019-07-08 | 2019-11-08 | 新华三技术有限公司成都分公司 | 重复数据删除的方法、装置、存储节点及存储介质 |
CN111258815A (zh) * | 2020-01-16 | 2020-06-09 | 西安奥卡云数据科技有限公司 | 适用于基于哈希的多节点备份系统的数据备份方法及装置 |
-
2020
- 2020-10-10 CN CN202011077396.1A patent/CN112202910B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140101168A1 (en) * | 2008-07-02 | 2014-04-10 | Lexisnexis Risk Solutions Fl Inc. | Technique for recycling match weight calculations |
CN101706825A (zh) * | 2009-12-10 | 2010-05-12 | 华中科技大学 | 一种基于文件内容类型的重复数据删除方法 |
CN101989929A (zh) * | 2010-11-17 | 2011-03-23 | 中兴通讯股份有限公司 | 容灾数据备份的方法及系统 |
US20160070481A1 (en) * | 2011-03-08 | 2016-03-10 | Rackspace Us, Inc. | Massively Scalable Object Storage for Storing Object Replicas |
US20150120793A1 (en) * | 2013-10-24 | 2015-04-30 | Samsung Electronics Co., Ltd. | Managing device of distributed file system, distributed computing system therewith, and operating method of distributed file system |
CN103731505A (zh) * | 2014-01-17 | 2014-04-16 | 中国联合网络通信集团有限公司 | 一种数据分布式存储方法及系统 |
CN104063631A (zh) * | 2014-06-13 | 2014-09-24 | 周家锐 | 一种面向大数据的代谢组特征数据分析方法及其系统 |
CN105808339A (zh) * | 2014-12-29 | 2016-07-27 | 华为技术有限公司 | 大数据并行计算方法及装置 |
CN108241640A (zh) * | 2016-12-23 | 2018-07-03 | 航天星图科技(北京)有限公司 | 一种分布式的文件存储方法 |
CN108243207A (zh) * | 2016-12-23 | 2018-07-03 | 航天星图科技(北京)有限公司 | 一种网络云盘的数据存储方法 |
CN110413223A (zh) * | 2019-06-25 | 2019-11-05 | 汉纳森(厦门)数据股份有限公司 | Flash存储器的数据读写方法、介质、设备及装置 |
CN110427347A (zh) * | 2019-07-08 | 2019-11-08 | 新华三技术有限公司成都分公司 | 重复数据删除的方法、装置、存储节点及存储介质 |
CN111258815A (zh) * | 2020-01-16 | 2020-06-09 | 西安奥卡云数据科技有限公司 | 适用于基于哈希的多节点备份系统的数据备份方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112202910B (zh) | 2021-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103019970B (zh) | 存储装置及其控制方法 | |
US11200123B2 (en) | Consensus process recovery method and related node | |
KR20200085899A (ko) | 아이덴티티 검증 방법 및 장치 | |
CN102236750A (zh) | 在云存储系统中进行权限控制的方法和装置 | |
CN102426594A (zh) | 对数据库进行操作的方法和系统 | |
WO2020232859A1 (zh) | 分布式存储系统、数据写入方法、装置和存储介质 | |
CN105137227A (zh) | 智能卡掉电保护的测试装置及方法 | |
CN110995825A (zh) | 一种智能合约的发布方法、智能节点设备及存储介质 | |
US20090271449A1 (en) | Work support apparatus for information processing device | |
CN110489351A (zh) | 芯片指纹管理装置及安全芯片 | |
CN112202910B (zh) | 一种计算机分布式存储系统 | |
CN117391099B (zh) | 智能卡的数据下载及校验方法及其系统、存储介质 | |
CN107729182B (zh) | 数据存储和访问的方法及装置 | |
CN101178760A (zh) | 用于保护个人计算设备免受未经授权的数据复制和删除的方法和系统 | |
CN117687934A (zh) | 虚拟和物理扩展存储器阵列 | |
CN112000943A (zh) | 基于边缘计算和云边融合的信息验证方法及中心云平台 | |
CN105659174B (zh) | 分布式控制系统用控制设备以及基本单元 | |
JP2017527018A (ja) | 枯渇性ネットワーク資源を使用するための方法および装置 | |
CN111784359B (zh) | 多模式风控分级容灾方法及装置 | |
CN116560571B (zh) | 一种固态硬盘的安全数据读取方法及系统 | |
CN113268544B (zh) | 一种数据处理方法及装置 | |
CN116232720B (zh) | 一种api接口加密认证方法及存储装置 | |
CN114741324B (zh) | 区块链稳定性的测试方法和装置、电子设备和存储介质 | |
CN117040935B (zh) | 一种基于云计算的节点数据安全传输方法及系统 | |
US20240354448A1 (en) | Storage device including protected area and data write method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |