CN116185291A - 中间件存储方法、装置、电子设备及可读存储介质 - Google Patents
中间件存储方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN116185291A CN116185291A CN202310126260.2A CN202310126260A CN116185291A CN 116185291 A CN116185291 A CN 116185291A CN 202310126260 A CN202310126260 A CN 202310126260A CN 116185291 A CN116185291 A CN 116185291A
- Authority
- CN
- China
- Prior art keywords
- file
- stored
- storage
- preset
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000013507 mapping Methods 0.000 claims abstract description 10
- 238000013500 data storage Methods 0.000 abstract description 12
- 238000004590 computer program Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 101100384355 Mus musculus Ctnnbip1 gene Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000011437 continuous method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000013277 forecasting method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/062—Securing storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
- G06F21/78—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure storage of data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0643—Management of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Storage Device Security (AREA)
Abstract
本申请公开了一种中间件存储方法、装置、电子设备及可读存储介质,所述中间件存储方法包括:响应于待存储文件上传指令,对待存储文件进行数据加密,得到加密待存储文件;对所述加密待存储文件进行哈希,得到文件哈希内容标识;将所述文件哈希内容标识发送至IPFS节点,其中,所述IPFS节点用于根据所述文件哈希内容标识进行映射寻址,提取加密待存储文件,并将所述加密待存储文件上链存储。本申请解决了现有技术中数据存储无法兼顾高安全性和低成本的技术问题。
Description
技术领域
本申请涉及数据存储技术领域,尤其涉及一种中间件存储方法、装置、电子设备及可读存储介质。
背景技术
当前文件数据存储方式主要有两种,一种是自购存储服务器用来存储文件数据,如图片、视频等,另一种是使用oss(Object Storage Servi ce,对象存储服务)存储,比较出名的阿里云oss存储,其只需要调用的oss存储的应用程序编程接口,用来读取和存储文件,访问速度快。但随着存储需求不断增长,不管用哪种存储方式,都会带来一个重大问题就是成本问题,第一种存储方式需要增加存储服务器所带来的成本问题,同时也面临管理复杂、数据安全等问题,而第二种方式虽然安全、方便,但是其成本却非常高昂,所以目前的存储技术存在难以兼顾高安全性以及低成本的问题。
发明内容
本申请的主要目的在于提供一种中间件存储方法、装置、电子设备及可读存储介质,旨在解决现有技术中数据存储无法兼顾高安全性和低成本的技术问题。
为实现上述目的,本申请提供一种中间件存储方法,所述中间件存储方法包括:
响应于待存储文件上传指令,对待存储文件进行数据加密,得到加密待存储文件;
对所述加密待存储文件进行哈希,得到文件哈希内容标识;
将所述文件哈希内容标识发送至I PFS节点,其中,所述I PFS节点用于根据所述文件哈希内容标识进行映射寻址,提取加密待存储文件,并将所述加密待存储文件上链存储。
为实现上述目的,本申请还提供一种中间件存储装置,所述中间件存储装置包括:
加密模块,用于响应于待存储文件上传指令,对待存储文件进行数据加密,得到加密待存储文件;
标识模块,用于对所述加密待存储文件进行哈希,得到文件哈希内容标识;
存储模块,用于将所述文件哈希内容标识发送至I PFS节点,其中,所述I PFS节点用于根据所述文件哈希内容标识进行映射寻址,提取加密待存储文件,并将所述加密待存储文件上链存储。
本申请还提供一种电子设备,所述电子设备包括:存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述中间件存储方法的程序,所述中间件存储方法的程序被处理器执行时可实现如上述的中间件存储方法的步骤。
本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有实现中间件存储方法的程序,所述中间件存储方法的程序被处理器执行时实现如上述的中间件存储方法的步骤。
本申请还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述的中间件存储方法的步骤。
本申请提供了一种中间件存储方法、装置、电子设备及可读存储介质,所述中间件存储方法包括,响应于待存储文件上传指令,对待存储文件进行数据加密,得到加密待存储文件;对所述加密待存储文件进行哈希,得到文件哈希内容标识;将所述文件哈希内容标识发送至I PFS节点,其中,所述I PFS节点用于根据所述文件哈希内容标识进行映射寻址,提取加密待存储文件,并将所述加密待存储文件上链存储。由于接收待存储文件后,对待存储文件进行加密,保证待存储文件的不会被篡改,从而提高了文件存储的安全性,又因为对所述加密待存储文件进行哈希,能得到文件哈希内容标识,而文件哈希内容标识随待存储文件内容的变化而变化,不会因待存储文件的存储路径变化而变化,所以保证了待存储文件的安全性,且通过文件哈希内容标识就可以找到加密待存储文件,进而对加密待存储文件进行上链存储,不用额外增加存储服务器,就能存储文件,减少了存储成本。所以本申请解决了数据存储不能兼顾低成本与高安全性的技术问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,表示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请中间件存储方法第一实施例的流程示意图;
图2为本申请中间件存储方法第二实施例的流程示意图;
图3为本申请中间件存储方法第三实施例的流程示意图;
图4为本申请中间件存储装置一实施例的结构示意图;
图5为本申请实施例中中间件存储方法涉及的硬件运行环境的设备结构示意图。
本申请目的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例,均属于本申请保护的范围。
实施例一
参照图1,本申请实施例提供一种中间件存储方法,在本申请中间件存储方法的第一实施例中,所述中间件存储方法包括:
步骤S10,响应于待存储文件上传指令,对待存储文件进行数据加密,得到加密待存储文件;
步骤S20,对所述加密待存储文件进行哈希,得到文件哈希内容标识;
步骤S30,将所述文件哈希内容标识发送至I PFS节点,其中,所述I PFS节点用于根据所述文件哈希内容标识进行映射寻址,提取加密待存储文件,并将所述加密待存储文件上链存储。
在本实施例中,需要说明的是,所述待存储文件可以是图片、视频和文档等,文件类型不限,待存储文件可以由多个文件组成,所述待存储文件可以通过断点续传的方法上传文件,也即当一个文件过大时,可以将文件分成多个部分上传,每个部分采用一个线程进行上传处理,如果碰到网络故障,可以从已经上传部分继续上传未完成的部分,可以节省时间、提高速度。所述文件哈希内容标识可以用哈希SHA-256(SecureHashAl gor ithm 2,安全散列算法2)进行加密,所述文件哈希内容标识是根据所述待存储文件的内容生成,当文件哈希内容标识不一致,则生成的文件哈希内容标识也不同。
另外,还需要说明的是,所述文件哈希内容标识发送至I PFS(I nterP l anetaryFi l e System,星际文件系统)节点,所述I PFS节点会采用api技术自动同步所述待存储文件,其中,api(App l icat ion Programmi ng I nterface,应用程序编程接口)主要是基于RESTfu l(Representat iona l State Transfer fu l,代表性状态传输)协议的架构,采用单入口模式,多层路由解析,同时采用rsa签名(解密)以及非对称加密等技术,具体的,I PFS节点端调用api将加密待存储文件同步到本地,当在上链存储的过程中出现异常时,api会记录中间件端的已传输完成的加密待存储文件的位置,接收文件端也即I PFS节点,同样会记录已传输的加密待存储文件的位置。保证了加密待存储文件在上链存储过程中如果出现传输异常,当异常恢复后仍能接续传输,无需重复传输,提高了加密待存储文件上链存储的效率。
作为一种示例,步骤S10至步骤S30包括:响应于文件存储指令,接收所述待存储文件;基于所述待存储文件以及预设文件标签,确定待存储文件的文件标签;对带有文件标签的待存储文件进行数据加密,得到加密待存储文件;根据哈希函数SHA-256对加密待存储文件进行哈希,从而确定所述待存储文件的文件哈希内容标识;将所述文件哈希内容标识发送至I PFS节点,进一步的,I PFS节点返回所述内容标识以及存储位置偏移量,其中,所述存储位置偏移量用于校准所述待存储文件的地址。I PFS节点返回加密待存储文件的内容标识以及存储位置偏移量到区块链;根据内容标识以及存储位置偏移量能精准确定加密待存储文件的存入位置。通过返回内容寻址和存储地址偏移量到区块链,以方便查找已存入IPFS节点的加密待存储文件。
本申请提供了一种中间件存储方法,所述中间件存储方法包括,响应于待存储文件上传指令,对待存储文件进行数据加密,得到加密待存储文件;对所述加密待存储文件进行哈希,得到文件哈希内容标识;将所述文件哈希内容标识发送至I PFS节点,其中,所述IPFS节点用于根据所述文件哈希内容标识进行映射寻址,提取加密待存储文件,并将所述加密待存储文件上链存储。由于接收待存储文件后,对待存储文件进行加密,保证待存储文件的不会被篡改,从而提高了文件存储的安全性,又因为对所述加密待存储文件进行哈希,能得到文件哈希内容标识,而文件哈希内容标识随待存储文件内容的变化而变化,不会因待存储文件的存储路径变化而变化,所以保证了待存储文件的安全性,且通过文件哈希内容标识就可以找到加密待存储文件,进而对加密待存储文件进行上链存储,不用额外增加存储服务器,就能存储文件,减少了存储成本。所以本申请解决了数据存储不能兼顾低成本与高安全性的技术问题。
实施例二
进一步地,参照图2,基于本申请上述实施例,在本申请另一实施例中,与上述实施例相同或相似的内容,可以参考上文介绍,后续不再赘述。在此基础上,所述响应于待存储文件上传指令,对待存储文件进行数据加密,得到加密待存储文件的步骤之前,所述中间件存储方法还包括:
步骤A10,判断所述待存储文件内存大小是否超过预设存储阈值;
步骤A20,若判定所述待存储文件大小超过预设存储阈值,则分割所述待存储文件得到各所述待存储块文件,所述预设存储阈值用于确定所述待存储文件的分割单位。
在本实施例中,需要说明的是,所述待存储块文件是根据文件大小划分的,所述待存储块文件里也可以包括多个文件,可以根据存储的最大单位确定预设的存储阈值,可以以预设存储阈值为单位分割所述待存储文件,也可以以小于预设存储阈值的大小为单位分割所述待存储文件,例如,当最大的存储单位为17G,而待存储文件有20G,则可以将待存储文件划分为17G和3G。
作为一种示例,步骤A10至步骤A20包括:获取所述待存储文件的内存大小,判断所述待存储文件的内存大小是否超过预设存储阈值;若判定所述待存储文件大小超过预设存储阈值,则分割所述待存储文件得到各所述待存储块文件;若判定所述待存储文件大小未超过预设存储阈值,则不分割所述待存储文件。
其中,所述若判定所述待存储文件大小超过预设存储阈值,则分割所述待存储文件得到各所述待存储块文件的步骤之前,所述中间件存储方法包括:
步骤B10,若判定待存储文件包括一个待存储子文件,则根据预设文件标签,确定待存储文件的文件标签;
步骤B20,若判定待存储文件包括多个待存储子文件,则根据预设文件标签,确定各待存储子文件的各文件标签,其中,所述各待存储子文件与所述各文件标签一一对应。
在本实施例中,需要说明的是,所述待存储文件可以有多个待存储子文件组成,比如,1个待存储文件里可以有10个待存储子文件,这些待存储子文件可以是图片、视频和文档等,文件类型不限。
作为一种示例,步骤B10至步骤B20包括:若判定待存储文件包括一个待存储子文件时,根据预设的标签,确定待存储文件的文件标签;若判定待存储文件包括多个待存储子文件时;根据预设文件标签,确定多个待存储子文件的文件标签,其中,待存储子文件与文件标签一一对应,所述预设文件标签用于标识待存储子文件,预设文件标签可以根据文件内容确定,也可以根据文件类型确定,预设文件标签的形式不限,内容不限,在待存储文件中,同一个预设文件标签不能标识多个待存储子文件。
所述对所述加密待存储文件进行哈希,得到文件哈希内容标识的步骤包括:
步骤C10,若判定所述待存储文件超过预设存储阈值,则对所述加密待存储块文件进行哈希,得到多个文件哈希内容标识。
作为一种示例,步骤C10包括:若待存储文件为超过预设存储阈值,则对加密待存储文件,得到加密待存储文件的文件哈希内容标识;如果判定所述待存储文件超过预设存储阈值,则以预设存储阈值为单位分割待存储文件,得到多个待存储块文件;加密所述多个待存储块文件,确定各待存储块文件的加密待存储块文件;对所述加密待存储块文件进行哈希,确定加密待存储块文件对应的文件哈希内容标识。其中,所述加密待存储文件可以包括多个加密待存储块文件,加密待存储块文件有对应的文件哈希内容标识。
在本实施例中通过确定待存储子文件的文件标签,当待存储子文件被分割时,可以通过文件标签找到同一个待存储子文件,保证了待存储子文件的完整性,进而保证了待存储文件的完整性,且通过判断存储文件的大小,将超过预设存储阈值的待存储文件进行分割,保证了待存储文件不会因为文件过大而无法存储,并且对分割后的待存储块文件进行加密,保证了待存储文件的安全性。
实施例三
进一步地,参照图3,基于本申请上述实施例,在本申请另一实施例中,与上述实施例相同或相似的内容,可以参考上文介绍,后续不再赘述。在此基础上,所述将所述文件哈希内容标识发送至I PFS节点的步骤包括:
步骤D10,根据所述预设存储条件匹配I PFS节点,确定至少一个存储I PFS节点;
步骤D20,将所述文件哈希内容标识发送至存储I PFS节点。
在本实施例中,需要说明的是,所述预设存储条件至少包括预设成本、预设位置以及预设带宽中的一种,所述存储的I PFS节点可以是多个I PFS节点,所述预设存储条件可以根据用户的存储意向进行调整,所述文件哈希内容标识可以包括块文件哈希内容标识,其中,块文件哈希内容标识是对加密待存储块文件进行哈希后得到的文件哈希内容标识。
作为一种示例,步骤D10至步骤D20包括:根据预设成本、预设位置以及预设带宽,确定待存储文件的预设存储条件信息;根据预设存储条件信息匹配至少一个I PFS节点,确定存储的I PFS节点;若判定待存储文件未被分割,则将所述加密待存储文件对应的文件哈希内容标识发送到所述存储的I PFS节点;若判定待存储文件被分割,则将加密待存储块文件对应块文件哈希内容标识发送到所述存储的I PFS节点;其中,加密待存储文件可以存入多个I PFS节点,以保证待存储文件的安全性,多个加密待存储块文件分别存入了多个IPFS节点,同一个加密待存储块文件也可以存入多个I PFS节点。
其中,所述根据所述预设存储条件匹配I PFS节点,确定至少一个存储I PFS节点的步骤包括:
步骤E10,根据预设权重、预设成本、预设位置以及预设带宽,确定预设存储条件信息;
步骤E20,根据所述预设存储条件信息查找I PFS节点,确定至少一个存储I PFS节点。
在本申请实施例中,需要说明的是,所述预设存储条件至少包括预设成本、预设位置以及预设带宽中的一种,其中,预设成本为存储待存储文件的成本,预设位置是存储待存储文件的地理位置,当存入的地理位置离用户越近,提取文件的速度越快,存入的地理位置也会影响预设成本,当地理位置较偏远时,预设成本相对小,预设的地理位置可以根据待存储文件的重要性、使用频率来确定,预设带宽是指存入的I PFS节点的带宽,带宽会影响文件存取的速度,所述预设成本、预设位置以及预设带宽可以是一个范围,根据用户的意愿确定。所述预设权重可以根据用户意愿对预设成本、预设位置以及预设带宽的权重系数进行调整,所述预设存储条件信息可以为存储意向表。
作为一种示例,步骤E10至步骤E20包括:根据预设权重,确定预设成本、预设位置以及预设带宽的权重系数;根据所述预设成本、预设位置以及预设带宽以及各所述权重系数,建立存储意向表;根据存储意向表匹配至少一个I PFS节点,确定存储的I PFS节点。其中,所述存储意向表可以匹配满足多个条件的I PFS节点,同一个待存储文件也可以有多个存储意向表,例如,当用户意向将待存储文件存入预设位置为A,预设带宽为B,预设成本为C的I PFS节点,根据预设权重分配后,确定各权重系数为0.3A、0.3B和0.4C,从而确定存储意向表,根据存储意向表匹配I PFS节点,确定存储的I PFS节点a和I PFS节点b,则可将待存储文件存入I PFS节点a或I PFS节点b,但为节省成本,可以更新存储意向表,可以更新预设存储条件,确定预设位置为A,预设带宽为B,预设成本为x,也可以更新权重系数,从而匹配新的I PFS节点c,将待存储文件存入c。其中待存储文件存入I PFS节点的个数不限。
其中,所述根据所述预设存储条件信息查找I PFS节点,确定至少一个存储I PFS节点之后,所述中间件存储方法还包括:
步骤F10,获取各所述存储I PFS节点对应的预设节点值以及预设节点参数权重;
步骤F20,根据所述预设节点值以及各所述预设节点参数权重,确定节点目标权重值;
步骤F30,在各所述节点目标权重值中,选择最高节点目标权重值对应的存储IPFS节点作为第一存储I PFS节点。
在本实施例中,需要说明的是,所述预设节点值为I PFS节点对应的恒定节点值,可以任意设置,所述预设节点参数权重可以包括I PFS节点带宽权重、CDN速度权重、硬盘剩余容量权重、SSD硬盘权重、硬盘存储空间权重、I PFS节点位置权重以及I PFS节点定价权重等,所述节点目标权重值用于确定I PFS节点存储的优先级,也即,当节点目标权重值越高,存储待存储文件的优先级越高,所述第一存储I PFS节点为在各存储I PFS节点中节点权重值最高的存储I PFS节点。
作为一种示例,步骤F10至步骤F30包括:获取各所述存储I PFS节点对应的预设节点值以及各预设节点参数权重;对各预设节点参数权重与预设节点值,得到各节点权重中间值;对各节点权重中间值进行求和,得到节点目标权重值;在各所述节点目标权重值中,选择最高节点目标权重值对应的存储I PFS节点作为第一存储I PFS节点。在本实施例中,通过计算各存储I PFS节点的节点目标权重值,在各节点目标权重值中选取节点目标权重值最高的作为第一存储I PFS节点,从而将待存储文件存入第一存储I PFS节点中。通过进一步筛选存储I PFS节点,提高了待存储文件存入对应存储I PFS节点的准确性,起到了进一步减少存储成本的作用。
作为一种示例,所述根据所述预设节点值以及各所述预设节点参数权重,确定节点目标权重值可应用于公式:
其中,y为节点目标权重值,a为预设节点值,xi为预设节点参数权重,i相当于预设节点参数权重的标号,i不同,则xi表示的预设节点参数权重不同,为对每个预设节点参数权重与预设节点值之积进行求和。例如,当I PFS节点中各预设节点参数权重为带宽权重、CDN速度权重和硬盘剩余容量权重时,其中,带宽权重为x1、CDN速度权重为x2、硬盘剩余容量权重为x3、预设节点值为a时,则所述节点目标权重值y为:
y=a*x1+a*x2+a*x3
实施例四
参照图4,本申请实施例还提供一种中间件存储装置,所述中间件存储装置包括:
加密模块10,用于响应于待存储文件上传指令,对待存储文件进行数据加密,得到加密待存储文件;
标识模块20,用于对所述加密待存储文件进行哈希,得到文件哈希内容标识;
存储模块30,用于将所述文件哈希内容标识发送至I PFS节点,其中,所述I PFS节点用于根据所述文件哈希内容标识进行映射寻址,提取加密待存储文件,并将所述加密待存储文件上链存储。
可选地,所述加密模块10还用于:
判断所述待存储文件内存大小是否超过预设存储阈值;
若判定所述待存储文件大小超过预设存储阈值,则分割所述待存储文件得到各所述待存储块文件,其中,所述预设存储阈值用于确定所述待存储文件的分割单位。
可选地,所述加密模块10还用于:
若判定待存储文件包括一个待存储子文件,则根据预设文件标签,确定待存储文件的文件标签;
若判定待存储文件包括多个待存储子文件,则根据预设文件标签,确定各待存储子文件的各文件标签,其中,所述各待存储子文件与所述各文件标签之间一一对应。
可选地,所述标识模块20还用于:
若判定所述待存储文件超过预设存储阈值,则对所述加密待存储块文件进行哈希,得到多个文件哈希内容标识。
可选地,所述存储模块30还用于:
根据预设存储条件匹配I PFS节点,确定至少一个存储I PFS节点;
将所述文件哈希内容标识发送至存储I PFS节点。
可选地,所述存储模块30还用于:
根据预设权重、预设成本、预设位置以及预设带宽,确定预设存储条件信息;
根据所述预设存储条件信息查找I PFS节点,确定至少一个存储I PFS节点。
可选地,所述存储模块30还用于:
获取各所述存储I PFS节点对应的预设节点值以及预设节点参数权重;
根据所述预设节点值以及各所述预设节点参数权重,确定节点目标权重值;
在各所述节点目标权重值中,选择最高节点目标权重值对应的存储I PFS节点作为第一存储I PFS节点。
本申请提供的中间件存储装置,采用上述实施例中的中间件存储方法,解决了数据存储不能兼顾低成本与高安全性的技术问题。与现有技术相比,本申请实施例提供的中间件存储方法的有益效果与上述实施例提供的中间件存储方法的有益效果相同,且该中间件存储装置中的其他技术特征与上述实施例方法公开的特征相同,在此不做赘述。
实施例五
本申请实施例提供一种电子设备,所述电子设备可以为播放设备,电子设备包括:至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行上述实施例中的中间件存储方法。
下面参考图5,其示出了适于用来实现本公开实施例的电子设备的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(personal digital assistant,个人数字助理)、PAD(portable Android device,平板电脑)、PMP(Portable Media Player,便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示,电子设备可以包括处理装置1001(例如中央处理器、图形处理器等),其可以根据存储在ROM(Read-Only Memory,只读存储器)1002中的程序或者从存储装置1003加载到RAM(Random Access Memory,随机访问存储器)1004中的程序而执行各种适当的动作和处理。在RAM1004中,还存储有电子设备操作所需的各种程序和数据。处理装置1001、ROM1002以及RAM1004通过总线1005彼此相连。输入/输出(I/O)接口1006也连接至总线。
通常,以下系统可以连接至I/O接口1006:包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加转速计、陀螺仪等的输入装置1007;包括例如LCD(Liquid CrystalDisplay,液晶显示器)、扬声器、振动器等的输出装置1008;包括例如磁带、硬盘等的存储装置1003;以及通信装置1009。通信装置可以允许电子设备与其他设备进行无线或有线通信以交换数据。虽然图中示出了具有各种系统的电子设备,但是应理解的是,并不要求实施或具备所有示出的系统。可以替代地实施或具备更多或更少的系统。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信设备从网络上被下载和安装,或者从存储设备被安装,或者从ROM被安装。在该计算机程序被处理设备执行时,执行本公开实施例的方法中限定的上述功能。
本申请提供的电子设备,采用上述实施例一中的中间件存储方法解决了数据存储不能兼顾低成本与高安全性的技术问题。与现有技术相比,本申请实施例提供的中间件存储的有益效果与上述实施例提供的中间件存储方法的有益效果相同,且该中间件存储设备中的其他技术特征与上述实施例方法公开的特征相同,在此不做赘述。
应当理解,本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式的描述中,具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
实施例六
本实施例提供一种计算机可读存储介质,具有存储在其上的计算机可读程序指令,计算机可读程序指令用于执行上述实施例一中的中间件存储的方法。
本申请实施例提供的计算机可读存储介质例如可以是U盘,但不限于电、磁、光、电磁、红外线、或半导体的设备、设备或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程EPROM(Electrical ProgrammableRead Only Memory,只读存储器)或闪存、光纤、便携式紧凑磁盘CD-ROM(compact discread-only memory,只读存储器)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行设备、设备或者器件使用或者与其结合使用。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(RadioFrequency,射频)等等,或者上述的任意合适的组合。
上述计算机可读存储介质可以是电子设备中所包含的;也可以是单独存在,而未装配入电子设备中。
上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被电子设备执行时,使得电子设备:响应于待存储文件上传指令,对待存储文件进行数据加密,得到加密待存储文件;对所述加密待存储文件进行哈希,得到文件哈希内容标识;将所述文件哈希内容标识发送至I PFS节点,其中,所述I PFS节点用于根据所述文件哈希内容标识进行映射寻址,提取加密待存储文件,并将所述加密待存储文件上链存储。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Sma l lta lk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括LAN(local area network,局域网)或WAN(Wide Area Network,广域网)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本申请各种实施例的设备、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的设备来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,模块的名称在某种情况下并不构成对该单元本身的限定。
本申请提供的计算机可读存储介质,存储有用于执行上述中间件存储方法的计算机可读程序指令,解决了数据存储不能兼顾低成本与高安全性的技术问题。与现有技术相比,本申请实施例提供的计算机可读存储介质的有益效果与上述实施例提供的中间件存储方法的有益效果相同,在此不做赘述。
实施例七
本申请还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述的中间件存储预测方法的步骤。
本申请提供的计算机程序产品解决了数据存储不能兼顾低成本与高安全性的技术问题。与现有技术相比,本申请实施例提供的计算机程序产品的有益效果与上述实施例提供的中间件存储方法的有益效果相同,在此不做赘述。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利处理范围内。
Claims (10)
1.一种中间件存储方法,其特征在于,所述中间件存储方法包括:
响应于待存储文件上传指令,对待存储文件进行数据加密,得到加密待存储文件;
对所述加密待存储文件进行哈希,得到文件哈希内容标识;
将所述文件哈希内容标识发送至IPFS节点,其中,所述IPFS节点用于根据所述文件哈希内容标识进行映射寻址,提取加密待存储文件,并将所述加密待存储文件上链存储。
2.如权利要求1所述中间件存储方法,其特征在于,所述待存储文件包括待存储块文件,
所述响应于待存储文件上传指令,对待存储文件进行数据加密,得到加密待存储文件的步骤之前,所述中间件存储方法还包括:
判断所述待存储文件内存大小是否超过预设存储阈值;
若判定所述待存储文件内存大小超过预设存储阈值,则分割所述待存储文件得到各所述待存储块文件,其中,所述预设存储阈值用于确定所述待存储文件的分割单位。
3.如权利要求2所述中间件存储方法,其特征在于,所述待存储文件包括待存储子文件,
所述若判定所述待存储文件大小超过预设存储阈值,则分割所述待存储文件得到各所述待存储块文件的步骤之前,所述中间件存储方法包括:
若判定待存储文件包括一个待存储子文件,则根据预设文件标签,确定待存储文件的文件标签;
若判定待存储文件包括多个待存储子文件,则根据预设文件标签,确定各待存储子文件的各文件标签,其中,所述各待存储子文件与所述各文件标签之间一一对应。
4.如权利要求1所述中间件存储方法,其特征在于,所述加密待存储文件包括加密待存储块文件,
所述对所述加密待存储文件进行哈希,得到文件哈希内容标识的步骤包括:
若判定所述待存储文件超过预设存储阈值,则对所述加密待存储块文件进行哈希,得到多个文件哈希内容标识。
5.如权利要求1所述中间件存储方法,其特征在于,所述IPFS节点包括存储IPFS节点,
所述将所述文件哈希内容标识发送至IPFS节点的步骤包括:
根据预设存储条件匹配IPFS节点,确定至少一个存储IPFS节点;
将所述文件哈希内容标识发送至存储IPFS节点。
6.如权利要求5所述中间件存储方法,其特征在于,所述IPFS节点包括存储IPFS节点,所述预设存储条件至少包括预设成本、预设位置以及预设带宽中的一种,
所述根据预设存储条件匹配IPFS节点,确定至少一个存储IPFS节点的步骤包括:
根据预设权重、预设成本、预设位置以及预设带宽,确定预设存储条件信息;
根据所述预设存储条件信息查找IPFS节点,确定至少一个存储IPFS节点。
7.如权利要求6所述中间件存储方法,其特征在于,所述根据所述预设存储条件信息查找IPFS节点,确定至少一个存储IPFS节点之后,所述中间件存储方法还包括:
获取各所述存储IPFS节点对应的预设节点值以及预设节点参数权重;
根据所述预设节点值以及各所述预设节点参数权重,确定节点目标权重值;
在各所述节点目标权重值中,选择最高节点目标权重值对应的存储IPFS节点作为第一存储IPFS节点。
8.一种中间件存储装置,其特征在于,所述中间件存储装置包括:
加密模块,用于响应于待存储文件上传指令,对待存储文件进行数据加密,得到加密待存储文件;
标识模块,用于对所述加密待存储文件进行哈希,得到文件哈希内容标识;
存储模块,用于将所述文件哈希内容标识发送至IPFS节点,其中,所述IPFS节点用于根据所述文件哈希内容标识进行映射寻址,提取加密待存储文件,并将所述加密待存储文件上链存储。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;
以及与所述至少一个处理器通信连接的存储器;
其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至7中任一项所述中间件存储方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有实现中间件存储方法的程序,所述实现中间件存储方法的程序被处理器执行以实现如权利要求1至7中任一项所述中间件存储方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310126260.2A CN116185291A (zh) | 2023-02-06 | 2023-02-06 | 中间件存储方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310126260.2A CN116185291A (zh) | 2023-02-06 | 2023-02-06 | 中间件存储方法、装置、电子设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116185291A true CN116185291A (zh) | 2023-05-30 |
Family
ID=86445783
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310126260.2A Pending CN116185291A (zh) | 2023-02-06 | 2023-02-06 | 中间件存储方法、装置、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116185291A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113535648A (zh) * | 2021-07-27 | 2021-10-22 | 浪潮卓数大数据产业发展有限公司 | 一种基于ipfs的分布式云存储方法、设备及存储介质 |
CN114020705A (zh) * | 2021-10-19 | 2022-02-08 | 卓尔智联(武汉)研究院有限公司 | 一种文件处理方法、装置和存储介质 |
CN114265815A (zh) * | 2021-12-21 | 2022-04-01 | 中国联合网络通信集团有限公司 | 交通媒体数据存储方法、服务器、存储介质及系统 |
CN114615031A (zh) * | 2022-02-28 | 2022-06-10 | 中国农业银行股份有限公司 | 文件存储方法、装置、电子设备及存储介质 |
CN115544574A (zh) * | 2022-10-26 | 2022-12-30 | 中国银行股份有限公司 | 基于区块链的文件管理方法及装置 |
-
2023
- 2023-02-06 CN CN202310126260.2A patent/CN116185291A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113535648A (zh) * | 2021-07-27 | 2021-10-22 | 浪潮卓数大数据产业发展有限公司 | 一种基于ipfs的分布式云存储方法、设备及存储介质 |
CN114020705A (zh) * | 2021-10-19 | 2022-02-08 | 卓尔智联(武汉)研究院有限公司 | 一种文件处理方法、装置和存储介质 |
CN114265815A (zh) * | 2021-12-21 | 2022-04-01 | 中国联合网络通信集团有限公司 | 交通媒体数据存储方法、服务器、存储介质及系统 |
CN114615031A (zh) * | 2022-02-28 | 2022-06-10 | 中国农业银行股份有限公司 | 文件存储方法、装置、电子设备及存储介质 |
CN115544574A (zh) * | 2022-10-26 | 2022-12-30 | 中国银行股份有限公司 | 基于区块链的文件管理方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20130232187A1 (en) | Systems and methods for managing data in a networked communication system | |
US20180026965A1 (en) | Live Tiles Without Application-Code Execution | |
CN111198859B (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
CN110275723A (zh) | 获取资源的方法、装置、电子设备及可读介质 | |
US20140337408A1 (en) | Systems, methods and media for minimizing data downloads | |
CN110222775A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN112269959B (zh) | 展示内容的控制方法、装置、可读介质和电子设备 | |
CN109684589B (zh) | 客户端的评论数据的处理方法、装置及计算机存储介质 | |
US11809429B2 (en) | Method for processing model parameters, and apparatus | |
EP4089516A1 (en) | Icon updating method and apparatus, and electronic device | |
US20130219021A1 (en) | Predictive caching for telecommunication towers using propagation of identification of items of high demand data at a geographic level | |
US20170180293A1 (en) | Contextual temporal synchronization markers | |
CN110908752A (zh) | 控件设置方法、装置、电子设备及交互系统 | |
CN113918659A (zh) | 数据操作方法、装置、存储介质及电子设备 | |
CN110719499B (zh) | 视频下载方法、系统、介质和电子设备 | |
CN111274104B (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
CN112131181A (zh) | 存储路径的展示方法、装置以及电子设备 | |
CN116185291A (zh) | 中间件存储方法、装置、电子设备及可读存储介质 | |
CN107480269B (zh) | 对象展示方法及系统、介质和计算设备 | |
CN112346870B (zh) | 模型处理方法及系统 | |
CN109522133B (zh) | 一种数据拼接方法、装置、电子设备及存储介质 | |
US20140108413A1 (en) | Responsive Images Service | |
CN115103023B (zh) | 视频缓存方法、装置、设备及存储介质 | |
CN117692672B (zh) | 基于快照的视频信息发送方法、装置、电子设备和介质 | |
CN113672675B (zh) | 数据检测方法、装置和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230530 |