CN107465676A - 一种向海量数据文件存储系统中上传文件的方法及其装置 - Google Patents

一种向海量数据文件存储系统中上传文件的方法及其装置 Download PDF

Info

Publication number
CN107465676A
CN107465676A CN201710641266.8A CN201710641266A CN107465676A CN 107465676 A CN107465676 A CN 107465676A CN 201710641266 A CN201710641266 A CN 201710641266A CN 107465676 A CN107465676 A CN 107465676A
Authority
CN
China
Prior art keywords
file
uploaded
content
storage system
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710641266.8A
Other languages
English (en)
Other versions
CN107465676B (zh
Inventor
薄景仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Guangzhou Shirui Electronics Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Guangzhou Shirui Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd, Guangzhou Shirui Electronics Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN201710641266.8A priority Critical patent/CN107465676B/zh
Publication of CN107465676A publication Critical patent/CN107465676A/zh
Application granted granted Critical
Publication of CN107465676B publication Critical patent/CN107465676B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明实施例还提供一种向海量数据文件存储系统上传文件的方法及其装置。所述方法根据所在的海量数据文件存储系统规则，从待上传文件中至少获取一段文件内容；分别对所获取的每段文件内容进行校验运算，得到各自的特征值；获取待上传文件的文件容量，确定文件容量参数；拼接排列所得到的每段文件内容的特征值以及文件容量参数，构成待上传文件摘要；将待上传文件摘要与海量数据文件存储系统中所存储的文件摘要进行对比；根据对比结果，确定是否上传文件。在本发明实施例在待上传文件摘要的计算中拼接排列了待上传文件的文件容量和不同部分的文件内容的特征值，可以大大减小文件内容不同而文件摘要相同的情况出现。

Description

一种向海量数据文件存储系统中上传文件的方法及其装置
技术领域
本发明涉及计算机数据文件传输领域，具体涉及一种向海量数据文件存储系统中上传文件的方法及其装置。
背景技术
随着计算机软硬件技术的迅速发展，社会信息化程度有了大幅提高，资源共享也成为各方关注的焦点。大量的数据需要上传到服务器上供更多的用户或人群去使用。
由于文件传输、尤其是大容量文件的传输会占用大量的系统资源，为了节省系统资源，希望仅传输与服务器中不同的文件，对于相同的文件不再进行重复传输。现有技术中，为了保证上传共享的文件都是最新版本或服务器上没有的文件，当用户需要向服务器上传大容量文件时，可通过提取上传文件的特征段进行内容摘要校验，按照相同的校验规则，例如使用MD5算法计算文件的特征段的内容摘要，计算得到的值作为该上传文件的MD5值发给服务器，如果服务器上已经存储了MD5值，则说明该上传文件已经存在于服务器上，不需要再次上传，如果服务器上不存在该MD5值，则将该上传文件传输到服务器。
其中，MD5即Message-Digest Algorithm 5(信息-摘要算法5)，是计算机广泛使用的杂凑算法之一，为计算机安全领域广泛使用的一种散列函数，将数据(如汉字)运算为另一固定长度值，用以提供消息的完整性保护。MD5算法具有以下特点：
1、压缩性：任意长度的数据，算出的MD5值长度都是固定的。
2、容易计算：从原数据计算出MD5值很容易。
3、抗修改性：对原数据进行任何改动，哪怕只修改1个字节，所得到的MD5值都有很大区别。
4、强抗碰撞：已知原数据和其MD5值，想找到一个具有相同MD5值的数据(即伪造数据)是非常困难的。
“海量数据”是近些年随着信息技术尤其是网络技术的发展而出现的，主要用来形容数量众多、容量巨大的数据，例如各种空间数据、报表统计数据、文字、声音、图像、超文本等各种环境和文化数据信息。当服务器上存储了海量数据的文件的MD5值后，会发生两个不同内容的文件但是MD5值相同的情况，会文件上传出现错误。
发明内容
为了解决海量数据文件上传校验错误的问题，本发明实施例提出了一种向海量数据文件存储系统上传文件的方法，包括以下步骤：
根据所述海量数据文件存储系统的规则，从待上传文件中获取至少一段文件内容；
使用校验算法分别对所获取的每段文件内容进行校验运算，得到每段文件内容各自的特征值；
获取待上传文件的文件容量，确定文件容量参数；
根据所述海量数据文件存储系统规则，拼接排列所得到的每段文件内容的特征值以及文件容量参数，构成待上传文件摘要；
将待上传文件摘要与海量数据文件存储系统中所存储的文件摘要进行对比；
在海量数据文件存储系统中没有存储所述待上传文件摘要的情况下，将该待上传文件传输到海量数据文件存储系统中，并在海量数据文件存储系统中存储其文件摘要。
进一步，所述一段文件内容是待上传文件的全部内容或待上传文件的部分内容。
进一步，所述待上传文件的部分内容是文件内容前十分之一部分或文件内容后十分之一部分。
进一步，所述文件容量参数为指定位数的参数，当所获取的待上传文件的文件容量能够由相应位数的参数表示时，则使用指定位数的参数进行记录作为文件容量参数；当所获取的待上传文件的文件容量不能够由相应位数的参数表示时，则从表示待上传文件的文件容量的参数的前部或后部截取相应位数的参数作为文件容量参数。
进一步，所述校验算法为MD5算法。
本发明实施例还提供一种向海量数据文件存储系统上传文件的装置，包括文件内容获取部件、文件内容校验部件、文件容量参数获取部件、待上传文件摘要拼接排列部件、文件摘要比较部件和文件上传部件，其中：
文件内容获取部件，根据所述海量数据文件存储系统规则，从待上传文件中至少获取一段文件内容；
文件内容校验部件，使用校验算法分别对所获取的每段文件内容进行校验运算，得到每段文件内容各自的特征值；
文件容量参数获取部件，获取待上传文件的文件容量，确定文件容量参数；
待上传文件摘要拼接排列部件，根据所述海量数据文件存储系统规则，拼接排列所得到的每文件内容的特征值以及文件容量参数，构成待上传文件摘要；
文件摘要比较部件，将待上传文件摘要与海量数据文件存储系统中所存储的文件摘要进行对比；
文件上传部件，在海量数据文件存储系统中没有该待上传文件的情况下，将该待上传文件传输到海量数据文件存储系统中，并在海量数据文件存储系统中存储其文件摘要。
进一步，所述一段文件内容是待上传文件的全部内容或待上传文件的部分内容。
进一步，所述待上传文件的部分内容是文件内容前十分之一部分或文件内容后十分之一部分。
进一步，所述文件容量参数为指定位数的参数，当所获取的待上传文件的文件容量能够由相应位数的参数表示时，则使用指定位数的参数进行记录作为文件容量参数；当所获取的待上传文件的文件容量不能够由相应位数的参数表示时，则从表示待上传文件的文件容量的参数的前部或后部截取相应位数的参数作为文件容量参数。
进一步，所述校验算法为MD5算法。
本发明实施例的有益效果：
在本发明实施例的方法和装置中，在待上传文件摘要的计算中拼接排列了待上传文件的文件容量和不同部分的文件内容的特征值，可以大大减小文件内容不同而文件摘要相同的情况出现。
附图说明
图1是本发明实施例提出的海量数据文件存储系统的文件上传方法的流程图；
图2是本发明实施例提出的海量数据文件存储系统的文件上传装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。但本领域技术人员知晓，本发明并不局限于附图和以下实施例。
实施例1：
如图1所示，本发明实施例提出了一种向海量数据文件存储系统上传文件的方法，包括以下步骤：
根据所在的海量数据文件存储系统规则，从待上传文件中至少获取一段特定文件内容。其中，特定文件内容可以是待上传文件的全部内容和/或待上传文件的部分内容。“一段”的表述并非表示文字段落，只是表示对文件内容的单纯的数量限定。
使用特定校验算法分别对所获取的每段特定文件内容进行校验运算，得到每段特定文件内容各自的特征值。在获取了三段特定文件内容的情况，在本步骤中，将根据所获得的三段特定文件内容，分别使用校验算法进行运算，得到每段特定文件内容的特征值，即特征值1、特征值2和特征值3。由于使用同样的校验算法，所以特征值1、特征值2和特征值3具有相同的位数。
获取待上传文件的文件容量(文件大小)，确定文件容量参数。所述文件容量参数为指定位数的参数，如16位、32位、64位。当所获取的待上传文件的文件容量能够由相应位数的参数表示时，则使用指定位数的参数进行记录；当所获取的待上传文件的文件容量不能够由相应位数的参数表示时，则从表示待上传文件的文件容量的参数的前部或后部截取相应位数的参数作为文件容量参数。例如，文件容量参数指定为16位时，当文件容量能够由16位数据表示时，则采用当前16位参数进行记录(高位补0)；当文件容量能够由16位数据表示时，例如实际为28位数据时，则可从28位数据参数的前部或后部截取16位参数作为文件容量参数。
根据所在的海量数据文件存储系统规则，拼接排列所得到的每段特定文件内容的特征值以及文件容量参数，构成待上传文件摘要。如前所述，在获取了三段特定文件内容的情况，拼接排列所获得的每段特定文件内容的特征值和文件容量参数，待上传文件摘要可为：特征值1+特征值2+特征值3+文件容量参数、特征值1+文件容量参数+特征值2+特征值3、特征值1+特征值2+文件容量参数+特征值3、文件容量参数+特征值1+特征值2+特征值3或特征值2+特征值1+特征值3+文件容量参数等。在上述实施例中，如果特征值1、特征值2、特征值3和文件容量参数均为32位数据，那么所得到的待上传文件摘要为32*4(128)位数据。
将待上传文件摘要与海量数据文件存储系统中所存储的文件摘要进行对比，如果海量数据文件存储系统中存在相同的文件摘要，则表明海量数据文件存储系统已有该待上传文件；如果海量数据文件存储系统中不存在相同的文件摘要，则表明海量数据文件存储系统中没有该待上传文件。
在海量数据文件存储系统中没有该待上传文件的情况下，将该待上传文件传输到海量数据文件存储系统中，并在海量数据文件存储系统中存储其文件摘要。
在本发明实施例的方法中，在待上传文件摘要的计算中拼接排列了待上传文件的文件容量和不同部分的文件内容的特征值，可以大大减小(数量级的减小)文件内容不同而文件摘要相同的情况出现。
实施例2
在本发明的另一个优选实施例中，所述向海量数据文件存储系统上传文件的方法包括以下步骤：
从待上传文件中获取整个文件内容。
使用MD5算法对所获取的待上传文件的整个文件内容进行校验运算，得到其特征值A，特征值A的位数为32位。
获取待上传文件的文件容量，确定文件容量参数。所述文件容量参数为32位数的参数Q。
拼接排列所得到的待上传文件的整个文件内容的特征值A以及文件容量参数Q，构成待上传文件摘要：特征值A+文件容量参数Q，待上传文件摘要为32+32(64)位数据。
将待上传文件摘要与海量数据文件存储系统中所存储的文件摘要进行对比，如果海量数据文件存储系统中存在相同的文件摘要，则表明海量数据文件存储系统已有该待上传文件；如果海量数据文件存储系统中不存在相同的文件摘要，则表明海量数据文件存储系统中没有该待上传文件。
在海量数据文件存储系统中没有该待上传文件的情况下，将该待上传文件传输到海量数据文件存储系统中，并在海量数据文件存储系统中存储其文件摘要。
实施例3
在本发明的再一个优选实施例中，所述向海量数据文件存储系统上传文件的方法包括以下步骤：
从待上传文件中获取整个文件内容、文件内容前十分之一部分和文件内容后十分之一部分。
使用MD5算法对所获取的上述各段文件内容进行校验运算，得到整个文件内容的特征值A、文件内容前十分之一部分的特征值B和文件内容后十分之一部分的特征值C，特征值A、特征值B和特征值C的位数分别为32位。
获取待上传文件的文件容量，确定文件容量参数。所述文件容量参数为32位数的参数Q。
拼接排列所得到的待上传文件的整个文件内容的特征值A、文件内容前十分之一部分的特征值B、文件内容后十分之一部分的特征值C以及文件容量参数Q，构成待上传文件摘要：特征值A+特征值B+特征值C+文件容量参数Q，待上传文件摘要为32*4(128)位数据。
将待上传文件摘要与海量数据文件存储系统中所存储的文件摘要进行对比，如果海量数据文件存储系统中存在相同的文件摘要，则表明海量数据文件存储系统已有该待上传文件；如果海量数据文件存储系统中不存在相同的文件摘要，则表明海量数据文件存储系统中没有该待上传文件。
在海量数据文件存储系统中没有该待上传文件的情况下，将该待上传文件传输到海量数据文件存储系统中，并在海量数据文件存储系统中存储其文件摘要。
实施例4：
如图2所示，本发明实施例提出了一种向海量数据文件存储系统上传文件的装置，包括文件内容获取部件、文件内容校验部件、文件容量参数获取部件、待上传文件摘要拼接排列部件、文件摘要比较部件和文件上传部件。其中，
文件内容获取部件，根据所在的海量数据文件存储系统规则，从待上传文件中至少获取一段特定文件内容。其中，特定文件内容可以是待上传文件的全部内容和/或待上传文件的部分内容。“一段”的表述并非表示文字段落，只是表示对文件内容的单纯的数量限定。
文件内容校验部件，使用特定校验算法分别对所获取的每段特定文件内容进行校验运算，得到每段特定文件内容各自的特征值。在获取了三段特定文件内容的情况，在本步骤中，将根据所获得的三段特定文件内容，分别使用校验算法进行运算，得到每段特定文件内容的特征值，即特征值1、特征值2和特征值3。由于使用同样的校验算法，所以特征值1、特征值2和特征值3具有相同的位数。
文件容量参数获取部件，获取待上传文件的文件容量(文件大小)，确定文件容量参数。所述文件容量参数为指定位数的参数，如16位、32位、64位。当所获取的待上传文件的文件容量能够由相应位数的参数表示时，则使用指定位数的参数进行记录；当所获取的待上传文件的文件容量不能够由相应位数的参数表示时，则从表示待上传文件的文件容量的参数的前部或后部截取相应位数的参数作为文件容量参数。例如，文件容量参数指定为16位时，当文件容量能够由16位数据表示时，则采用当前16位参数进行记录(高位补0)；当文件容量能够由16位数据表示时，例如实际为28位数据时，则可从28位数据参数的前部或后部截取16位参数作为文件容量参数。
待上传文件摘要拼接排列部件，根据所在的海量数据文件存储系统规则，拼接排列所得到的每段特定文件内容的特征值以及文件容量参数，构成待上传文件摘要。如前所述，在获取了三段特定文件内容的情况，拼接排列所获得的每段特定文件内容的特征值和文件容量参数，待上传文件摘要可为：特征值1+特征值2+特征值3+文件容量参数、特征值1+文件容量参数+特征值2+特征值3、特征值1+特征值2+文件容量参数+特征值3、文件容量参数+特征值1+特征值2+特征值3或特征值2+特征值1+特征值3+文件容量参数等。在上述实施例中，如果特征值1、特征值2、特征值3和文件容量参数均为32位数据，那么所得到的待上传文件摘要为32*4(128)位数据。
文件摘要比较部件，将待上传文件摘要与海量数据文件存储系统中所存储的文件摘要进行对比，如果海量数据文件存储系统中存在相同的文件摘要，则表明海量数据文件存储系统已有该待上传文件；如果海量数据文件存储系统中不存在相同的文件摘要，则表明海量数据文件存储系统中没有该待上传文件。
文件上传部件，在海量数据文件存储系统中没有该待上传文件的情况下，将该待上传文件传输到海量数据文件存储系统中，并在海量数据文件存储系统中存储其文件摘要。
在本发明实施例的装置中，在待上传文件摘要的计算中拼接排列了待上传文件的文件容量和不同部分的文件内容的特征值，可以大大减小(数量级的减小)文件内容不同而文件摘要相同的情况出现。
本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上，对本发明的实施方式进行了说明。但是，本发明不限定于上述实施方式。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种向海量数据文件存储系统上传文件的方法，其特征在于：包括以下步骤：
根据所述海量数据文件存储系统的规则，从待上传文件中获取至少一段文件内容；
使用校验算法分别对所获取的每段文件内容进行校验运算，得到每段文件内容各自的特征值；
获取待上传文件的文件容量，确定文件容量参数；
根据所述海量数据文件存储系统规则，拼接排列所得到的每段文件内容的特征值以及文件容量参数，构成待上传文件摘要；
将待上传文件摘要与海量数据文件存储系统中所存储的文件摘要进行对比；
在海量数据文件存储系统中没有存储所述待上传文件摘要的情况下，将该待上传文件传输到海量数据文件存储系统中，并在海量数据文件存储系统中存储其文件摘要。
2.如权利要求1所述的方法，其特征在于：所述一段文件内容是待上传文件的全部内容或待上传文件的部分内容。
3.如权利要求2所述的方法，其特征在于：所述待上传文件的部分内容是文件内容前十分之一部分或文件内容后十分之一部分。
4.如权利要求1-3之一所述的方法，其特征在于：所述文件容量参数为指定位数的参数，当所获取的待上传文件的文件容量能够由相应位数的参数表示时，则使用指定位数的参数进行记录作为文件容量参数；当所获取的待上传文件的文件容量不能够由相应位数的参数表示时，则从表示待上传文件的文件容量的参数的前部或后部截取相应位数的参数作为文件容量参数。
5.如权利要求4所述的方法，其特征在于：所述校验算法为MD5算法。
6.一种向海量数据文件存储系统上传文件的装置，其特征在于：包括文件内容获取部件、文件内容校验部件、文件容量参数获取部件、待上传文件摘要拼接排列部件、文件摘要比较部件和文件上传部件，其中：
文件内容获取部件，根据所述海量数据文件存储系统规则，从待上传文件中至少获取一段文件内容；
文件内容校验部件，使用校验算法分别对所获取的每段文件内容进行校验运算，得到每段文件内容各自的特征值；
文件容量参数获取部件，获取待上传文件的文件容量，确定文件容量参数；
待上传文件摘要拼接排列部件，根据所述海量数据文件存储系统规则，拼接排列所得到的每文件内容的特征值以及文件容量参数，构成待上传文件摘要；
文件摘要比较部件，将待上传文件摘要与海量数据文件存储系统中所存储的文件摘要进行对比；
文件上传部件，在海量数据文件存储系统中没有该待上传文件的情况下，将该待上传文件传输到海量数据文件存储系统中，并在海量数据文件存储系统中存储其文件摘要。
7.如权利要求6所述的装置，其特征在于：所述一段文件内容是待上传文件的全部内容或待上传文件的部分内容。
8.如权利要求7所述的装置，其特征在于：所述待上传文件的部分内容是文件内容前十分之一部分或文件内容后十分之一部分。
9.如权利要求6-8之一所述的装置，其特征在于：所述文件容量参数为指定位数的参数，当所获取的待上传文件的文件容量能够由相应位数的参数表示时，则使用指定位数的参数进行记录作为文件容量参数；当所获取的待上传文件的文件容量不能够由相应位数的参数表示时，则从表示待上传文件的文件容量的参数的前部或后部截取相应位数的参数作为文件容量参数。
10.如权利要求9所述的装置，其特征在于：所述校验算法为MD5算法。
CN201710641266.8A 2017-07-31 2017-07-31 一种向海量数据文件存储系统中上传文件的方法及其装置 Active CN107465676B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710641266.8A CN107465676B (zh) 2017-07-31 2017-07-31 一种向海量数据文件存储系统中上传文件的方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710641266.8A CN107465676B (zh) 2017-07-31 2017-07-31 一种向海量数据文件存储系统中上传文件的方法及其装置

Publications (2)

Publication Number Publication Date
CN107465676A true CN107465676A (zh) 2017-12-12
CN107465676B CN107465676B (zh) 2020-03-03

Family

ID=60547200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710641266.8A Active CN107465676B (zh) 2017-07-31 2017-07-31 一种向海量数据文件存储系统中上传文件的方法及其装置

Country Status (1)

Country Link
CN (1) CN107465676B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110300151A (zh) * 2019-05-22 2019-10-01 深圳壹账通智能科技有限公司 数据文件上传方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917396A (zh) * 2010-06-25 2010-12-15 清华大学 一种网络文件系统中数据的实时去重和传输方法
CN102456059A (zh) * 2010-10-21 2012-05-16 英业达股份有限公司 重复数据删除的处理系统
US20120233293A1 (en) * 2011-03-08 2012-09-13 Rackspace Us, Inc. Parallel Upload and Download of Large Files Using Bittorrent
CN105867934A (zh) * 2016-04-13 2016-08-17 厦门雅迅网络股份有限公司 一种基于二分法和md5校验的文件远程升级方法
CN105868305A (zh) * 2016-03-25 2016-08-17 西安电子科技大学 一种支持模糊匹配的云存储数据去重复方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917396A (zh) * 2010-06-25 2010-12-15 清华大学 一种网络文件系统中数据的实时去重和传输方法
CN102456059A (zh) * 2010-10-21 2012-05-16 英业达股份有限公司 重复数据删除的处理系统
US20120233293A1 (en) * 2011-03-08 2012-09-13 Rackspace Us, Inc. Parallel Upload and Download of Large Files Using Bittorrent
CN105868305A (zh) * 2016-03-25 2016-08-17 西安电子科技大学 一种支持模糊匹配的云存储数据去重复方法
CN105867934A (zh) * 2016-04-13 2016-08-17 厦门雅迅网络股份有限公司 一种基于二分法和md5校验的文件远程升级方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110300151A (zh) * 2019-05-22 2019-10-01 深圳壹账通智能科技有限公司 数据文件上传方法及系统
CN110300151B (zh) * 2019-05-22 2022-02-11 深圳壹账通智能科技有限公司 数据文件上传方法及系统

Also Published As

Publication number Publication date
CN107465676B (zh) 2020-03-03

Similar Documents

Publication Publication Date Title
CN109359277B (zh) 数据监控方法、设备及计算机存储介质
US10572544B1 (en) Method and system for document similarity analysis
US9971571B2 (en) Undo/redo in Javascript object notation
US10394579B2 (en) Automatically fixing inaccessible widgets during mobile application execution
CN110457628B (zh) 网页版本校验方法、装置、设备及存储介质
CN110119620A (zh) 训练用于检测恶意容器的机器学习模型的系统和方法
DE102012209006A1 (de) Testen von Web-Anwendungen auf Sicherheitslücken beim Heraufladen von Dateien
CN108959965B (zh) 数据合规性审查方法和装置
US20210326462A1 (en) Open source library security rating
US20150287071A1 (en) Performance based approval in cms workflow process
CN104778123A (zh) 一种检测系统性能的方法及装置
CN111371776A (zh) Http请求数据的异常检测方法、装置、服务器及存储介质
CN107566392A (zh) 一种报错型sql注入的检测方法和代理服务器
US9311134B1 (en) Automated creation of executable workflow
CN107819748A (zh) 一种抗破解的验证码实现方法及装置
CN107465676A (zh) 一种向海量数据文件存储系统中上传文件的方法及其装置
US10754949B1 (en) Using space-filling curves to fingerprint data
CN112529759B (zh) 文档处理方法、装置、设备、存储介质和计算机程序产品
US20200082080A1 (en) Binary risk evaluation
CN111737534B (zh) 文件处理方法、装置及设备
US20150363115A1 (en) Parallel storage system testing
CN112182112A (zh) 基于区块链的分布式数据动态存储方法和电子设备
CN112989364A (zh) 用于数据仿真的方法、设备和计算机程序产品
US20130097493A1 (en) Managing Digital Signatures
WO2021183382A1 (en) Graph-based method for inductive bug localization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant