CN109347788A - 一种基于存储网关的数据去重方法、系统及装置 - Google Patents

一种基于存储网关的数据去重方法、系统及装置 Download PDF

Info

Publication number
CN109347788A
CN109347788A CN201810941351.0A CN201810941351A CN109347788A CN 109347788 A CN109347788 A CN 109347788A CN 201810941351 A CN201810941351 A CN 201810941351A CN 109347788 A CN109347788 A CN 109347788A
Authority
CN
China
Prior art keywords
file
server
uploaded
storage gateway
abstract
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810941351.0A
Other languages
English (en)
Inventor
柳毅
王平雁
李进
梁若涵
谭陆元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Guangzhou University
Tianxun Ruida Communications Technology Co Ltd
Tisson Regaltec Communications Tech Co Ltd
Original Assignee
Guangdong University of Technology
Guangzhou University
Tianxun Ruida Communications Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology, Guangzhou University, Tianxun Ruida Communications Technology Co Ltd filed Critical Guangdong University of Technology
Priority to CN201810941351.0A priority Critical patent/CN109347788A/zh
Publication of CN109347788A publication Critical patent/CN109347788A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于存储网关的数据去重方法、系统及装置，方法包括：存储网关计算待上传文件的摘要并将摘要发送至服务器，以使服务器发出权限验证挑战指令或者文件上传指令；存储网关根据服务器的权限验证挑战指令生成响应数组，以使服务器进行权限验证；存储网关根据服务器的文件上传指令，结合混淆文件将待上传文件上传至服务器；服务器接收存储网关发送的待上传文件的摘要；服务器对待上传文件的摘要进行重复检查，以生成文件上传指令或权限验证挑战指令；系统包括存储网关和服务器；装置包括存储器和处理器。本发明大大减少了用户的工作量且安全性高，可广泛应用于云计算技术领域。

Description

一种基于存储网关的数据去重方法、系统及装置
技术领域
本发明涉及云计算技术领域，尤其是一种基于存储网关的数据去重方法、系统及装置。
背景技术
近年来，随着云计算技术的快速发展，越来越多的用户使用云存储服务存储和管理数据，因此造成大量冗余数据。为了节省存储空间和网络带宽的消耗，研究者们提出数据去重(deduplication)技术，也被称为重复数据删除技术。利用该技术，消除了云存储中冗余的文件或更细粒度的数据，云存储服务器只需保留一份数据副本。
数据去重技术根据去重发生的位置可分为：客户端数据去重和服务器端数据去重。在客户端数据去重方案中，用户首先上传文件标识(如hash值)至服务器中进行重复检测，若存在重复，则无需重复上传该文件，并且服务器将该用户记为文件拥有者。在服务器端数据去重方案中，用户不管文件是否重复，总是将文件上传至服务器，随后服务器检测文件的重复性，并将重复文件删除，仅保留一份数据副本。显然，服务器端数据去重需要消耗更多的网络带宽，因此客户端数据去重是目前云服务提供商(CSP,Cloud ServiceProvider)普遍采用的方法。
由于典型的客户端数据去重云系统常采用文件的摘要(即hash值)作为用户的文件凭证，由此带来一个问题，即攻击者可能仅凭借文件的摘要就可以获得整个文件，例如攻击者只需上传摘要H(F)就会被云服务器认为拥有文件F的权限。针对于此，研究者们提出了所有权证明(PoW,Proof of Ownership)的概念，用户必须通过云服务器的验证才能拥有相关文件的权限。PoW方案通常包括四个阶段：文件上传(upload)、云服务器发起挑战(challenge)、客户端响应(proof)以及云服务器验证(verification)。
然而，现有的PoW方案容易遭受侧信道攻击，攻击者可能通过在上传文件过程中观察网络流量状况就能判断去重是否发生，从而可知道云存储服务器上是否已存储该文件。例如，攻击者监听到某个时段网络流量大小等于文件F，则可判断存储网关正在上传F至服务器。攻击者可能利用这一点发起侧信道攻击，甚至可以获取文件内容，使得用户的数据安全和隐私受到严重的威胁。
为了避免侧信道攻击，有研究者提出了存储网关(SG,Storage Gateway)的概念，利用存储网关代替用户与云服务器进行交互，使得数据去重过程对用户透明。存储网关由多个本地磁盘连接而成的服务器，拥有一个较大容量的存储空间，与某个局域网内(如公司、学校、社区等)所有的用户相连，能够直接与云服务器进行交互，如上传/下载文件等。用户的所有待上传文件都会传输到存储网关，数据去重过程发生在存储网关中。然而，目前基于存储网关的方案都未考虑所有权证明，攻击者可能凭借文件摘要来获取整个文件，安全性较低。
发明内容
为解决上述技术问题，本发明的目的在于：提供一种安全性高且工作量小的，基于存储网关的数据去重方法、系统及装置。
本发明所采取的第一技术方案是：
一种基于存储网关的数据去重方法，包括以下步骤：
存储网关计算待上传文件的摘要并将摘要发送至服务器，以使服务器发出权限验证挑战指令或者文件上传指令；
存储网关根据服务器的权限验证挑战指令生成响应数组，以使服务器进行权限验证；
存储网关根据服务器的文件上传指令，结合混淆文件将待上传文件上传至服务器。
进一步，所述存储网关计算待上传文件的摘要这一步骤，包括以下步骤：
存储网关获取用户上传的待上传文件；
存储网关对待上传文件的摘要进行计算，所述摘要的计算公式为：hf＝H(F)，其中，hf代表待上传文件F的摘要，H()代表散列函数。
进一步，所述存储网关根据服务器的权限验证挑战指令生成响应数组，以使服务器进行权限验证这一步骤，包括以下步骤：
根据服务器的权限验证挑战指令，存储网关基于待上传文件生成响应数组，所述响应数组包括若干个数据块摘要；
存储网关将响应数组发送至服务器，以使服务器对响应数组进行比对后得到权限验证挑战结果；
存储网关接收服务器的权限验证挑战结果，对第一权限集合进行更新；
存储网关在经过预设的第一时间后，将待上传文件删除。
进一步，所述存储网关根据服务器的文件上传指令，结合混淆文件将待上传文件上传至服务器这一步骤，包括以下步骤：
存储网关将待上传文件和待上传文件的摘要加入上传队列；
判断上传队列中是否存在混淆文件，若是，则直接执行下一步骤；反之，则通过存储网关生成虚拟数据加入到上传队列后，再执行下一步骤；
存储网关在预设的第二时间之内将上传队列的内容上传至服务器。
本发明所采取的第二技术方案是：
一种基于存储网关的数据去重方法，包括以下步骤：
服务器接收存储网关发送的待上传文件的摘要；
服务器对待上传文件的摘要进行重复检查，判断所述待上传文件的摘要是否在服务器中重复存在，若是，则生成文件上传指令，以使存储网关进行文件上传；反之，则生成权限验证挑战指令，以使存储网关生成响应数组。
进一步，所述生成权限验证挑战指令，以使存储网关生成响应数组这一步骤，其具体为：
服务器运行PoW协议，然后根据待上传文件随机生成挑战数组，所述挑战数组包括若干个数据块索引。
进一步，还包括以下步骤：
服务器接收存储网关的响应数组；
服务器对响应数组进行比对，判断响应数组与预设的应答是否相等，若是，则将权限验证挑战结果标为成功并对第二权限集合进行更新；反之，则将权限验证挑战结果标为失败；
将权限验证挑战结果发送至存储网关。
进一步，还包括以下步骤：
服务器根据接收到的待上传文件，对第二权限集合进行更新。
本发明所采取的第三技术方案是：
一种基于存储网关的数据去重系统，包括：存储网关和服务器，其中，
所述存储网关包括：
摘要计算模块，用于计算待上传文件的摘要并将摘要发送至服务器，以使服务器发出权限验证挑战指令或者文件上传指令；
响应数组生成模块，用于根据服务器的权限验证挑战指令生成响应数组，以使服务器进行权限验证；
文件上传模块，用于根据服务器的文件上传指令，结合混淆文件将待上传文件上传至服务器；
所述服务器包括：
接收模块，用于接收存储网关发送的待上传文件的摘要；
重复检查模块，用于对待上传文件的摘要进行重复检查，判断所述待上传文件的摘要是否在服务器中重复存在，若是，则生成文件上传指令，以使存储网关进行文件上传；反之，则生成权限验证挑战指令，以使存储网关生成响应数组。
本发明所采取的第四技术方案是：
一种基于存储网关的数据去重装置，包括：
存储器，用于存储程序；
处理器，用于加载程序，以执行如第一技术方案和第二技术方案所述的一种基于存储网关的数据去重方法。
本发明的有益效果是：本发明利用存储网关与服务器进行交互，使得用户只需要将文件传输到存储网关，后续的工作由存储网关完成，大大减少了用户的工作量；再者，本发明的存储网关在上传文件的过程中，通过混淆文件来形成流量混淆，能够有效地防止攻击者通过监听网络流量发起侧信道攻击，提高了安全性；另外，本发明的存储网关需要通过权限验证才能拥有文件权限，能够防止攻击者仅凭借文件摘要或部分文件就能获取完整文件，进一步提高了安全性。
附图说明
图1为本发明实施例的上传队列的示意图；
图2为本发明实施例的步骤流程图。
具体实施方式
下面结合说明书附图和具体实施例对本发明作进一步解释和说明。对于本发明实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
一种基于存储网关的数据去重方法，包括以下步骤：
存储网关计算待上传文件的摘要并将摘要发送至服务器，以使服务器发出权限验证挑战指令或者文件上传指令；
存储网关根据服务器的权限验证挑战指令生成响应数组，以使服务器进行权限验证；
存储网关根据服务器的文件上传指令，结合混淆文件将待上传文件上传至服务器。
进一步作为优选的实施方式，所述存储网关计算待上传文件的摘要这一步骤，包括以下步骤：
存储网关获取用户上传的待上传文件；
存储网关对待上传文件的摘要进行计算，所述摘要的计算公式为：hf＝H(F)，其中，hf代表待上传文件F的摘要，H()代表散列函数，其中散列函数包括MD5算法和SHA-1算法等。
进一步作为优选的实施方式，所述存储网关根据服务器的权限验证挑战指令生成响应数组，以使服务器进行权限验证这一步骤，包括以下步骤：
根据服务器的权限验证挑战指令，存储网关基于待上传文件生成响应数组，所述响应数组包括若干个数据块摘要；
存储网关将响应数组发送至服务器，以使服务器对响应数组进行比对后得到权限验证挑战结果；
存储网关接收服务器的权限验证挑战结果，对第一权限集合进行更新；
存储网关在经过预设的第一时间后，将待上传文件删除。
进一步作为优选的实施方式，所述存储网关根据服务器的文件上传指令，结合混淆文件将待上传文件上传至服务器这一步骤，包括以下步骤：
存储网关将待上传文件和待上传文件的摘要加入上传队列；
判断上传队列中是否存在混淆文件，若是，则直接执行下一步骤；反之，则通过存储网关生成虚拟数据加入到上传队列后，再执行下一步骤；
存储网关在预设的第二时间之内将上传队列的内容上传至服务器。
一种基于存储网关的数据去重方法，包括以下步骤：
服务器接收存储网关发送的待上传文件的摘要；
服务器对待上传文件的摘要进行重复检查，判断所述待上传文件的摘要是否在服务器中重复存在，若是，则生成文件上传指令，以使存储网关进行文件上传；反之，则生成权限验证挑战指令，以使存储网关生成响应数组。
进一步作为优选的实施方式，所述生成权限验证挑战指令，以使存储网关生成响应数组这一步骤，其具体为：
服务器运行PoW协议，然后根据待上传文件随机生成挑战数组，所述挑战数组包括若干个数据块索引。
进一步作为优选的实施方式，还包括以下步骤：
服务器接收存储网关的响应数组；
服务器对响应数组进行比对，判断响应数组与预设的应答是否相等，若是，则将权限验证挑战结果标为成功并对第二权限集合进行更新；反之，则将权限验证挑战结果标为失败；
将权限验证挑战结果发送至存储网关。
进一步作为优选的实施方式，还包括以下步骤：
服务器根据接收到的待上传文件，对第二权限集合进行更新。
一种基于存储网关的数据去重系统，包括：存储网关和服务器，其中，
所述存储网关包括：
摘要计算模块，用于计算待上传文件的摘要并将摘要发送至服务器，以使服务器发出权限验证挑战指令或者文件上传指令；
响应数组生成模块，用于根据服务器的权限验证挑战指令生成响应数组，以使服务器进行权限验证；
文件上传模块，用于根据服务器的文件上传指令，结合混淆文件将待上传文件上传至服务器；
所述服务器包括：
接收模块，用于接收存储网关发送的待上传文件的摘要；
重复检查模块，用于对待上传文件的摘要进行重复检查，判断所述待上传文件的摘要是否在服务器中重复存在，若是，则生成文件上传指令，以使存储网关进行文件上传；反之，则生成权限验证挑战指令，以使存储网关生成响应数组。
一种基于存储网关的数据去重装置，包括：
存储器，用于存储程序；
处理器，用于加载程序，以执行本发明的一种基于存储网关的数据去重方法。
参照图2，下面对本发明一种基于存储网关的数据去重方法进行的具体实施步骤进行详细说明：
S1、用户端将待上传文件F传输到存储网关SG。传输完毕后，后续的步骤由SG完成，用户无须参与。
S2：SG计算待上传文件F的摘要hf＝H(F)，并将该摘要上传到服务器CSP中，服务器对待上传文件的摘要进行重复检查，判断所述待上传文件的摘要是否在服务器中重复存在，若存在重复，则生成权限验证挑战指令，对SG发起PoW权限验证挑战(即执行步骤S3)；反之，则生成文件上传指令，要求SG上传文件(即执行步骤S4)。
S3：服务器对存储网关发起权限验证挑战，所述步骤S3具体为：
服务器运行PoW协议，然后根据待上传文件随机生成挑战数组，所述挑战数组包括若干个数据块索引；
存储网关接收到服务器的挑战数组后，根据待上传文件生成响应数组，所述响应数组包括若干个数据块摘要；存储网关将响应数组发送至服务器；
服务器对响应数组进行比对，判断响应数组与预设的应答是否相等，若是，则将权限验证挑战结果标为成功并对第二权限集合进行更新；反之，则将权限验证挑战结果标为失败；然后将权限验证挑战结果发送至存储网关；其中，当权限验证挑战成功时，服务器将对应的存储网关记录为拥有待上传文件的权限，并将该存储网关加入第二权限集合中，所述第二权限集合是指拥有文件权限的存储网关集合；
存储网关接收服务器的权限验证挑战结果，对第一权限集合进行更新；当权限验证挑战成功时，存储网关记录该用户拥有待上传文件的权限，并将该用户加入第一权限集合，所述第一权限集合是指具有文件权限的用户集合；
存储网关在经过预设的第一时间后，将待上传文件从磁盘中删除，以释放存储网关的存储空间。
S4、文件上传阶段，所述步骤S4具体为：
如图1所示，存储网关将待上传文件和待上传文件的摘要加入上传队列Q；
判断上传队列中是否存在混淆文件，若是，则直接执行下一步骤；反之，则通过存储网关生成虚拟数据加入到上传队列后，再执行下一步骤；
存储网关在预设的第二时间之内将上传队列的内容上传至服务器，同时将该用户加入到第一权限集合中；
服务器根据接收到的待上传文件，对第二权限集合进行更新，也就是将对应的存储网关加入到第二权限集合中。
本发明提出了一种基于存储网关的数据去重方法、系统及装置，其中，本发明在用户与服务器之间部署了存储网关，用户只需要将文件传输到存储网关，后续的工作由存储网关完成；由于用户和存储网关在同一个局域网内，因此文件传输速度非常快，例如在千兆以太网(1Gb/s)中传输1GB文件仅需8秒。由于存储网关代替用户与服务器进行交互，将计算文件摘要和响应服务器等繁琐的工作放到存储网关中完成，大大节省了用户的工作量。
在实际应用中，尽管攻击者能够轻易监控到用户(如攻击者本身)与存储网关之间的网络流量，然而不管文件是否重复，用户都需要将文件传输到存储网关，因此攻击者无法通过用户与存储网关之间的网络流量获得任何有效信息；于是，攻击者企图通过某种手段监控到存储网关与服务器之间的网络流量。在本发明中，当存储网关接收到用户的文件后，若服务器中无重复文件，存储网关将该文件加入上传队列进行等候；因此在某一段时间内上传队列中有多个用户的待上传文件，假设文件F的网络流量为B，则多个文件混淆后的流量为O＝B1+B2+……+Bn，本发明通过多个文件形成流量混淆干扰，使得攻击者无法通过监听网络流量发起侧信道攻击；另外，如果在较长的一段时间内没有其他文件作为流量混淆，例如T时间内都没有其他用户进行上传操作，则存储网关将自动生成虚拟数据v作为噪声，此时，混淆后的流量为O＝B+Bv，攻击者依然不能监听到真实的网络流量，安全性高。
此外，本发明在存储网关与服务器交互过程运用所有权验证方法，使得存储网关必须通过PoW协议验证才能获得文件权限，因此即使攻击者控制了存储网关，也无法仅凭借文件摘要或部分文件就能获取完整文件，进一步提高了安全性。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种基于存储网关的数据去重方法，其特征在于：包括以下步骤：
存储网关计算待上传文件的摘要并将摘要发送至服务器，以使服务器发出权限验证挑战指令或者文件上传指令；
存储网关根据服务器的权限验证挑战指令生成响应数组，以使服务器进行权限验证；
存储网关根据服务器的文件上传指令，结合混淆文件将待上传文件上传至服务器。
2.根据权利要求1所述的一种基于存储网关的数据去重方法，其特征在于：所述存储网关计算待上传文件的摘要这一步骤，包括以下步骤：
存储网关获取用户上传的待上传文件；
存储网关对待上传文件的摘要进行计算，所述摘要的计算公式为：hf＝H(F)，其中，hf代表待上传文件F的摘要，H()代表散列函数。
3.根据权利要求1所述的一种基于存储网关的数据去重方法，其特征在于：所述存储网关根据服务器的权限验证挑战指令生成响应数组，以使服务器进行权限验证这一步骤，包括以下步骤：
根据服务器的权限验证挑战指令，存储网关基于待上传文件生成响应数组，所述响应数组包括若干个数据块摘要；
存储网关将响应数组发送至服务器，以使服务器对响应数组进行比对后得到权限验证挑战结果；
存储网关接收服务器的权限验证挑战结果，对第一权限集合进行更新；
存储网关在经过预设的第一时间后，将待上传文件删除。
4.根据权利要求1所述的一种基于存储网关的数据去重方法，其特征在于：所述存储网关根据服务器的文件上传指令，结合混淆文件将待上传文件上传至服务器这一步骤，包括以下步骤：
存储网关将待上传文件和待上传文件的摘要加入上传队列；
判断上传队列中是否存在混淆文件，若是，则直接执行下一步骤；反之，则通过存储网关生成虚拟数据加入到上传队列后，再执行下一步骤；
存储网关在预设的第二时间之内将上传队列的内容上传至服务器。
5.一种基于存储网关的数据去重方法，其特征在于：包括以下步骤：
服务器接收存储网关发送的待上传文件的摘要；
服务器对待上传文件的摘要进行重复检查，判断所述待上传文件的摘要是否在服务器中重复存在，若是，则生成文件上传指令，以使存储网关进行文件上传；反之，则生成权限验证挑战指令，以使存储网关生成响应数组。
6.根据权利要求5所述的一种基于存储网关的数据去重方法，其特征在于：所述生成权限验证挑战指令，以使存储网关生成响应数组这一步骤，其具体为：
服务器运行PoW协议，然后根据待上传文件随机生成挑战数组，所述挑战数组包括若干个数据块索引。
7.根据权利要求5所述的一种基于存储网关的数据去重方法，其特征在于：还包括以下步骤：
服务器接收存储网关的响应数组；
服务器对响应数组进行比对，判断响应数组与预设的应答是否相等，若是，则将权限验证挑战结果标为成功并对第二权限集合进行更新；反之，则将权限验证挑战结果标为失败；
将权限验证挑战结果发送至存储网关。
8.根据权利要求5所述的一种基于存储网关的数据去重方法，其特征在于：还包括以下步骤：
服务器根据接收到的待上传文件，对第二权限集合进行更新。
9.一种基于存储网关的数据去重系统，其特征在于：包括：存储网关和服务器，其中，
所述存储网关包括：
摘要计算模块，用于计算待上传文件的摘要并将摘要发送至服务器，以使服务器发出权限验证挑战指令或者文件上传指令；
响应数组生成模块，用于根据服务器的权限验证挑战指令生成响应数组，以使服务器进行权限验证；
文件上传模块，用于根据服务器的文件上传指令，结合混淆文件将待上传文件上传至服务器；
所述服务器包括：
接收模块，用于接收存储网关发送的待上传文件的摘要；
重复检查模块，用于对待上传文件的摘要进行重复检查，判断所述待上传文件的摘要是否在服务器中重复存在，若是，则生成文件上传指令，以使存储网关进行文件上传；
反之，则生成权限验证挑战指令，以使存储网关生成响应数组。
10.一种基于存储网关的数据去重装置，其特征在于：包括：
存储器，用于存储程序；
处理器，用于加载程序，以执行如权利要求1-8任一项所述的一种基于存储网关的数据去重方法。
CN201810941351.0A 2018-08-17 2018-08-17 一种基于存储网关的数据去重方法、系统及装置 Pending CN109347788A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810941351.0A CN109347788A (zh) 2018-08-17 2018-08-17 一种基于存储网关的数据去重方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810941351.0A CN109347788A (zh) 2018-08-17 2018-08-17 一种基于存储网关的数据去重方法、系统及装置

Publications (1)

Publication Number Publication Date
CN109347788A true CN109347788A (zh) 2019-02-15

Family

ID=65291399

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810941351.0A Pending CN109347788A (zh) 2018-08-17 2018-08-17 一种基于存储网关的数据去重方法、系统及装置

Country Status (1)

Country Link
CN (1) CN109347788A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110099097A (zh) * 2019-03-18 2019-08-06 广东工业大学 一种抵抗侧信道攻击的数据去重方法
CN114760061A (zh) * 2020-12-29 2022-07-15 深信服科技股份有限公司 数据上传的方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102761596A (zh) * 2011-04-28 2012-10-31 汤姆森许可贸易公司 在在线存储系统中上载文件的方法及相应在线存储系统
CN105915332A (zh) * 2016-07-04 2016-08-31 广东工业大学 一种云存储加密及去重复方法及其系统
CN106100832A (zh) * 2016-06-12 2016-11-09 广东工业大学 一种云存储数据去重中基于收敛加密的密钥管理方法
CN106101257A (zh) * 2016-07-07 2016-11-09 广东工业大学 一种基于布隆过滤器的云存储数据管理方法及装置
CN107196998A (zh) * 2017-04-28 2017-09-22 华中科技大学 基于数据去重的移动Web请求处理方法、设备及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102761596A (zh) * 2011-04-28 2012-10-31 汤姆森许可贸易公司 在在线存储系统中上载文件的方法及相应在线存储系统
CN106100832A (zh) * 2016-06-12 2016-11-09 广东工业大学 一种云存储数据去重中基于收敛加密的密钥管理方法
CN105915332A (zh) * 2016-07-04 2016-08-31 广东工业大学 一种云存储加密及去重复方法及其系统
CN106101257A (zh) * 2016-07-07 2016-11-09 广东工业大学 一种基于布隆过滤器的云存储数据管理方法及装置
CN107196998A (zh) * 2017-04-28 2017-09-22 华中科技大学 基于数据去重的移动Web请求处理方法、设备及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘竹松: "基于布隆过滤器所有权证明的高效安全可去重云存储方案", 《计算机应用》 *
曾博铭: "《中国优秀硕士学位论文全文数据库》", 1 December 2017 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110099097A (zh) * 2019-03-18 2019-08-06 广东工业大学 一种抵抗侧信道攻击的数据去重方法
CN110099097B (zh) * 2019-03-18 2021-12-17 广东工业大学 一种抵抗侧信道攻击的数据去重方法
CN114760061A (zh) * 2020-12-29 2022-07-15 深信服科技股份有限公司 数据上传的方法、装置、设备及存储介质
CN114760061B (zh) * 2020-12-29 2023-09-05 深信服科技股份有限公司 数据上传的方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US10474635B1 (en) Dynamic evaluation and selection of file system pre-fetch policy
CN107241344B (zh) 拦截客户端对恶意网络服务器的访问的方法、设备和系统
CN106250270B (zh) 一种云计算平台下的数据备份方法
WO2018095192A1 (zh) 网站攻击的检测和防护方法及系统
CN104662517B (zh) 安全漏洞检测技术
US20190364067A1 (en) Methods for detecting and mitigating malicious network behavior and devices thereof
Greensmith et al. Dendritic cells for SYN scan detection
US8266274B2 (en) Method and apparatus for data processing
US8612594B1 (en) Systems and methods for preventing data loss from files sent from endpoints
Yu et al. CoRE: Cooperative end-to-end traffic redundancy elimination for reducing cloud bandwidth cost
CN105376270B (zh) 提高上传效率的方法、装置和系统
US10623450B2 (en) Access to data on a remote device
US10091235B1 (en) Method, system, and apparatus for detecting and preventing targeted attacks
CN103294947A (zh) 程序解析系统及方法
CN109347788A (zh) 一种基于存储网关的数据去重方法、系统及装置
US20160063379A1 (en) Anonymous Crowd Sourced Software Tuning
CN108540510A (zh) 一种云主机创建方法、装置及云服务系统
CN109451079A (zh) 一种云u盘及其存储方法和存储系统
Conti et al. ASAINT: a spy app identification system based on network traffic
CN105450513B (zh) 归档邮件附件的方法和云存储服务器
Fofack et al. An approximate analysis of heterogeneous and general cache networks
CN108769086A (zh) 一种用于通过用户设备检测中间人攻击的方法与设备
CN106027419B (zh) 一种数据结构的管理方法和装置
WO2023102105A1 (en) Detecting and mitigating multi-stage email threats
CN109862069A (zh) 消息处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190215

RJ01 Rejection of invention patent application after publication