CN106686148A - 一种用于提高对象存储系统中对象上传速度的方法和系统 - Google Patents

一种用于提高对象存储系统中对象上传速度的方法和系统 Download PDF

Info

Publication number
CN106686148A
CN106686148A CN201710165342.2A CN201710165342A CN106686148A CN 106686148 A CN106686148 A CN 106686148A CN 201710165342 A CN201710165342 A CN 201710165342A CN 106686148 A CN106686148 A CN 106686148A
Authority
CN
China
Prior art keywords
uploading
data
packet
little
uploaded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710165342.2A
Other languages
English (en)
Inventor
侯斌
白学余
任东旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201710165342.2A priority Critical patent/CN106686148A/zh
Publication of CN106686148A publication Critical patent/CN106686148A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H04L67/1078—Resource delivery mechanisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种用于提高对象存储系统中对象上传速度的方法和系统，该方法包括：根据对象上传请求，获取所需上传的各对象的文件大小；根据各对象的文件大小，将符合预设合并条件的对象进行合并，整合成若干个数据包；将各数据包进行上传；对上传的各数据包进行解析，并进行存储。在本技术方案中，将若干对象进行合并，整合成一个数据包，这样在进行对象上传时，就可以将一些符合预设合并条件的对象，如小对象，合并成若干个数据包，然后将这些数据包进行上传。对于一个数据包的上传操作而言，将多次对象的上传操作转化为一次数据包的上传操作，极大地降低了网络交互，从而提高了对象的上传速度以及网络利用率。

Description

一种用于提高对象存储系统中对象上传速度的方法和系统
技术领域
本发明涉及计算机存储技术领域，特别是涉及一种用于提高对象存储系统中对象上传速度的方法。
背景技术
随着大数据和互联网的不断发展，人们每天在各种社交网站上上传海量的视频、图片、语音，每天发送数亿封电子邮件，数据规模日益扩大。为了满足用户大数据量和非结构化数据，对象存储作为一种新型的存储系统应育而生。
对象存储是一种基于对象的存储系统，具备智能、自我管理能力，通过web服务协议(如：REST、SOAP)实现对象的读写和存储资源的访问。对象存储系统中包含两种数据描述：容器(bucket)、对象(object)，其中，容器和对象都有全局唯一的ID。对象存储采用扁平化结构管理所有数据，用户/应用通过接入码认证后，只需要通过ID就可以访问容器/对象及相关的数据(Data)和元数据(metadata)。对象存储系统通常在一个横向扩展架构上构建一个统一命名空间。
通常情况下，认为大小在1MB以内的数据为小对象。社交活动、移动通信、网络视频音频、电子商务、传感器网络、科学实验等各种应用往往会产生大量小对象，这些海量小对象在上传到对象存储时，由于受限于网络交互，导致小对象上传速度存在瓶颈。
因此，如何提高对象的上传速度，并提高网络利用率，是本领域技术人员目前需要解决的技术问题。
发明内容
本发明的目的是提供一种用于提高对象存储系统中对象上传速度的方法和系统，可以提高对象的上传速度，并提高网络利用率。
为解决上述技术问题，本发明提供了如下技术方案：
一种用于提高对象存储系统中对象上传速度的方法，包括：
根据对象上传请求，获取所需上传的各对象的文件大小；
根据各所述对象的文件大小，将符合预设合并条件的对象进行合并，整合成若干个数据包；
将各所述数据包进行上传；
对上传的各所述数据包进行解析，并进行存储。
优选地，所述根据对象上传请求，获取所需上传的各对象的文件大小，包括：
根据所述对象上传请求，通过多线程并发访问客户端所需上传的对象数据；
对所述对象数据中的各对象进行分析，获取各所述对象的文件大小。
优选地，所述根据各所述对象的文件大小，将符合预设合并条件的对象进行合并，整合成若干个数据包，包括：
筛选出文件大小小于预设阈值的对象，并定义为小对象；
对各所述小对象的对象数据、元数据和对象描述信息进行编码；
将编码后的小对象合并整合成若干个数据包。
优选地，将各所述数据包进行上传，包括：
判断上传的对象数据是否为由若干所述小对象合并成的数据包；
若是，则按照预设的合并对象上传协议对该数据包进行上传。
优选地，所述对上传的各所述数据包进行解析，并进行存储，包括：
通过对象存储网关对上传的对象数据进行解析；
判断该对象数据的上传协议是否为所述合并对象上传协议；
若是，则对该对象数据进行拆解和处理，解析出数据包中的所有对象的对象数据、元数据和对象描述信息；
对经过解析的各所述对象进行并行写入处理，并将对象上传结果返回至所述客户端。
一种用于提高对象存储系统中对象上传速度的系统，包括：
获取模块，用于根据对象上传请求，获取所需上传的各对象的文件大小；
对象合并模块，用于根据各所述对象的文件大小，将符合预设合并条件的对象进行合并，整合成若干个数据包；
数据上传模块，用于将各所述数据包进行上传；
处理模块，用于对上传的各所述数据包进行解析，并进行存储。
优选地，所述获取模块包括：
访问单元，用于根据所述对象上传请求，通过多线程并发访问客户端所需上传的对象数据；
对象大小获取单元，对所述对象数据中的各对象进行分析，获取各所述对象的文件大小。
优选地，所述对象合并模块包括：
筛选单元，用于筛选出文件大小小于预设阈值的对象，并定义为小对象；
编码单元，用于对各所述小对象的对象数据、元数据和对象描述信息进行编码；
整合单元，用于将编码后的小对象合并整合成若干个数据包。
优选地，所述数据上传模块包括：
第一判断单元，用于判断上传的对象数据是否为由若干所述小对象合并成的数据包；
上传单元，用于在所述第一判断单元判定上传的对象数据为由若干所述小对象合并成的数据包时，按照预设的合并对象上传协议对该数据包进行上传。
优选地，所述处理模块包括：
第一解析单元，用于通过对象存储网关对上传的对象数据进行解析；
第二判断单元，用于判断该对象数据的上传协议是否为所述合并对象上传协议；
第二解析单元，用于在所述第二判断单元判定该对象数据的上传协议为所述合并对象上传协议时，对该对象数据进行拆解和处理，解析出数据包中的所有对象的对象数据、元数据和对象描述信息；
存储单元，用于对经过解析的各所述对象进行并行写入处理，并将对象上传结果返回至所述客户端。
与现有技术相比，上述技术方案具有以下优点：
本发明所提供的一种用于提高对象存储系统中对象上传速度的方法，包括：根据对象上传请求，获取所需上传的各对象的文件大小；根据各对象的文件大小，将符合预设合并条件的对象进行合并，整合成若干个数据包；将各数据包进行上传；对上传的各数据包进行解析，并进行存储。在本技术方案中，将若干对象进行合并，整合成一个数据包，这样在进行对象上传时，就可以将一些符合预设合并条件的对象，如小对象，合并成若干个数据包，然后将这些数据包进行上传。对于一个数据包的上传操作而言，将多次对象的上传操作转化为一次数据包的上传操作，极大地降低了网络交互，从而提高了对象的上传速度以及网络利用率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种具体实施方式所提供的用于提高对象存储系统中对象上传速度的方法流程图；
图2为本发明一种具体实施方式所提供的用于提高对象存储系统中对象上传速度的系统结构示意图。
具体实施方式
本发明的核心是提供一种用于提高对象存储系统中对象上传速度的方法和系统，可以提高对象的上传速度，并提高网络利用率。
为了使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
在以下描述中阐述了具体细节以便于充分理解本发明。但是本发明能够以多种不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广。因此本发明不受下面公开的具体实施的限制。
请参考图1，图1为本发明一种具体实施方式所提供的用于提高对象存储系统中对象上传速度的方法流程图。
本发明的一种具体实施方式提供了一种用于提高对象存储系统中对象上传速度的方法，包括：
S11：根据对象上传请求，获取所需上传的各对象的文件大小。
在本发明的一种实施方式中，根据对象上传请求，获取所需上传的各对象的文件大小，包括：根据对象上传请求，通过多线程并发访问客户端所需上传的对象数据；对对象数据中的各对象进行分析，获取各对象的文件大小。
在本实施方式中，对客户端进行海量对象上传的分析，并获取各需要上传的对象的文件大小，以为后续的对象合并提供整合基础。
S12：根据各对象的文件大小，将符合预设合并条件的对象进行合并，整合成若干个数据包。
在本发明的一种实施方式中，根据各对象的文件大小，将符合预设合并条件的对象进行合并，整合成若干个数据包，包括：筛选出文件大小小于预设阈值的对象，并定义为小对象；对各小对象的对象数据、元数据和对象描述信息进行编码；将编码后的小对象合并整合成若干个数据包。
在本实施方式中，优选地将预设阈值定为1MB，正如背景技术部分所述，目前人们认为大小在1MB以内的数据为小对象。社交活动、移动通信、网络视频音频、电子商务、传感器网络、科学实验等各种应用往往会产生大量小对象，这些海量小对象在上传到对象存储时，由于受限于网络交互，导致小对象上传速度存在瓶颈。因此，提升对象的上传速度，主要是提升小对象的上传速度。通过客户端对小对象进行多线程并发访问，将小对象整合成多干个数据包，每个数据包包含若干个完成的小对象的对象数据、元数据以及对象描述，对象描述包括对象名和对象大小等信息。通过客户端利用多线程并发访问海量小对象，高速地实现了小对象的打包。
S13：将各数据包进行上传。
在本发明的一种实施方式中，将各数据包进行上传，包括：判断上传的对象数据是否为由若干小对象合并成的数据包；若是，则按照预设的合并对象上传协议对该数据包进行上传。
在本实施方式中，由于上传的对象并不仅仅包括小对象，还包括许多的大对象，在此所谓的大对象是相对小对象而言，指的是文件大小大于上述预设阈值的上传对象。
因此，当上传的对象为大对象时，则按照现有的普通对象上传协议对各大对象进行上传；当上传的对象是由多干小对象合并成的数据包时，则按照异于普通对象上传协议的预设的合并对象上传协议进行上传。即大对象按照原有流程进行处理。
S14：对上传的各数据包进行解析，并进行存储。
在本发明的一种实施方式中，对上传的各数据包进行解析，并进行存储，包括：通过对象存储网关对上传的对象数据进行解析；判断该对象数据的上传协议是否为合并对象上传协议；若是，则对该对象数据进行拆解和处理，解析出数据包中的所有对象的对象数据、元数据和对象描述信息；对经过解析的各对象进行并行写入处理，并将对象上传结果返回至客户端。
由于上传的对象均是由客户端上传至对象存储系统中，而对象存储系统通过对象存储网关来接收各对象。对象存储网关通过各对象数据的上传协议来辨别上传的是大对象还是由若干小对象合并的数据包。当上传的是大对象时，按照原有的流程将大对象写入对象存储；若上传的是数据包，则需要对数据包进行拆解，然后解析出所有对象的对象名、对象大小、数据、元数据，并利用对象存储系统的并发对象处理能力，将解析出来的对象写入对象存储系统中。
上述的各实施方式，主要针对有大量小对象上传的情况，对整个传输过程进行优化，通过在对象上传的起始端充分利用了多线程的并行处理能力对海量的对象尤其是小对象的流量进行整合，并在传输的接收端进行拆解处理，降低传输过程中的网络交互次数，从而大幅的提升海量小对象的上传速度，提升网络利用率。
请参考图2，图2为本发明一种具体实施方式所提供的用于提高对象存储系统中对象上传速度的系统结构示意图。
相应地，本发明一种实施方式还提供了一种用于提高对象存储系统中对象上传速度的系统，包括：获取模块21，用于根据对象上传请求，获取所需上传的各对象的文件大小；对象合并模块22，用于根据各对象的文件大小，将符合预设合并条件的对象进行合并，整合成若干个数据包；数据上传模块23，用于将各数据包进行上传；处理模块24，用于对上传的各数据包进行解析，并进行存储。
进一步地，获取模块包括：访问单元，用于根据对象上传请求，通过多线程并发访问客户端所需上传的对象数据；对象大小获取单元，对对象数据中的各对象进行分析，获取各对象的文件大小。
更进一步地，对象合并模块包括：筛选单元，用于筛选出文件大小小于预设阈值的对象，并定义为小对象；编码单元，用于对各小对象的对象数据、元数据和对象描述信息进行编码；整合单元，用于将编码后的小对象合并整合成若干个数据包。
在本实施方式中，优选地将预设阈值定为1MB，正如背景技术部分所述，目前人们认为大小在1MB以内的数据为小对象。通过客户端对小对象进行多线程并发访问，将小对象整合成多干个数据包，每个数据包包含若干个完成的小对象的对象数据、元数据以及对象描述，对象描述包括对象名和对象大小等信息。通过客户端利用多线程并发访问海量小对象，高速地实现了小对象的打包。
数据上传模块包括：第一判断单元，用于判断上传的对象数据是否为由若干小对象合并成的数据包；上传单元，用于在第一判断单元判定上传的对象数据为由若干小对象合并成的数据包时，按照预设的合并对象上传协议对该数据包进行上传。
在本实施方式中，由于上传的对象并不仅仅包括小对象，还包括许多的大对象，在此所谓的大对象是相对小对象而言，指的是文件大小大于上述预设阈值的上传对象。
因此，当上传的对象为大对象时，则按照现有的普通对象上传协议对各大对象进行上传；当上传的对象是由多干小对象合并成的数据包时，则按照异于普通对象上传协议的预设的合并对象上传协议进行上传。即大对象按照原有流程进行处理。
处理模块包括：第一解析单元，用于通过对象存储网关对上传的对象数据进行解析；第二判断单元，用于判断该对象数据的上传协议是否为合并对象上传协议；第二解析单元，用于在第二判断单元判定该对象数据的上传协议为合并对象上传协议时，对该对象数据进行拆解和处理，解析出数据包中的所有对象的对象数据、元数据和对象描述信息；存储单元，用于对经过解析的各对象进行并行写入处理，并将对象上传结果返回至客户端。
由于上传的对象均是由客户端上传至对象存储系统中，而对象存储系统通过对象存储网关来接收各对象。对象存储网关通过各对象数据的上传协议来辨别上传的是大对象还是由若干小对象合并的数据包。当上传的是大对象时，按照原有的流程将大对象写入对象存储；若上传的是数据包，则需要对数据包进行拆解，然后解析出所有对象的对象名、对象大小、数据、元数据，并利用对象存储系统的并发对象处理能力，将解析出来的对象写入对象存储系统中。
综上所述，本发明所提供的用于提高对象存储系统中对象上传速度的方法和系统，主要针对有大量小对象上传的情况，对整个传输过程进行优化，通过在对象上传的起始端充分利用了多线程的并行处理能力对海量的对象尤其是小对象的流量进行整合，并在传输的接收端进行拆解处理，降低传输过程中的网络交互次数，从而大幅的提升海量小对象的上传速度，提升网络利用率。
以上对本发明所提供的一种用于提高对象存储系统中对象上传速度的方法和系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种用于提高对象存储系统中对象上传速度的方法，其特征在于，包括：
根据对象上传请求，获取所需上传的各对象的文件大小；
根据各所述对象的文件大小，将符合预设合并条件的对象进行合并，整合成若干个数据包；
将各所述数据包进行上传；
对上传的各所述数据包进行解析，并进行存储。
2.根据权利要求1所述的方法，其特征在于，所述根据对象上传请求，获取所需上传的各对象的文件大小，包括：
根据所述对象上传请求，通过多线程并发访问客户端所需上传的对象数据；
对所述对象数据中的各对象进行分析，获取各所述对象的文件大小。
3.根据权利要求2所述的方法，其特征在于，所述根据各所述对象的文件大小，将符合预设合并条件的对象进行合并，整合成若干个数据包，包括：
筛选出文件大小小于预设阈值的对象，并定义为小对象；
对各所述小对象的对象数据、元数据和对象描述信息进行编码；
将编码后的小对象合并整合成若干个数据包。
4.根据权利要求3所述的方法，其特征在于，将各所述数据包进行上传，包括：
判断上传的对象数据是否为由若干所述小对象合并成的数据包；
若是，则按照预设的合并对象上传协议对该数据包进行上传。
5.根据权利要求4所述的方法，其特征在于，所述对上传的各所述数据包进行解析，并进行存储，包括：
通过对象存储网关对上传的对象数据进行解析；
判断该对象数据的上传协议是否为所述合并对象上传协议；
若是，则对该对象数据进行拆解和处理，解析出数据包中的所有对象的对象数据、元数据和对象描述信息；
对经过解析的各所述对象进行并行写入处理，并将对象上传结果返回至所述客户端。
6.一种用于提高对象存储系统中对象上传速度的系统，其特征在于，包括：
获取模块，用于根据对象上传请求，获取所需上传的各对象的文件大小；
对象合并模块，用于根据各所述对象的文件大小，将符合预设合并条件的对象进行合并，整合成若干个数据包；
数据上传模块，用于将各所述数据包进行上传；
处理模块，用于对上传的各所述数据包进行解析，并进行存储。
7.根据权利要求6所述的系统，其特征在于，所述获取模块包括：
访问单元，用于根据所述对象上传请求，通过多线程并发访问客户端所需上传的对象数据；
对象大小获取单元，对所述对象数据中的各对象进行分析，获取各所述对象的文件大小。
8.根据权利要求7所述的系统，其特征在于，所述对象合并模块包括：
筛选单元，用于筛选出文件大小小于预设阈值的对象，并定义为小对象；
编码单元，用于对各所述小对象的对象数据、元数据和对象描述信息进行编码；
整合单元，用于将编码后的小对象合并整合成若干个数据包。
9.根据权利要求8所述的系统，其特征在于，所述数据上传模块包括：
第一判断单元，用于判断上传的对象数据是否为由若干所述小对象合并成的数据包；
上传单元，用于在所述第一判断单元判定上传的对象数据为由若干所述小对象合并成的数据包时，按照预设的合并对象上传协议对该数据包进行上传。
10.根据权利要求9所述的系统，其特征在于，所述处理模块包括：
第一解析单元，用于通过对象存储网关对上传的对象数据进行解析；
第二判断单元，用于判断该对象数据的上传协议是否为所述合并对象上传协议；
第二解析单元，用于在所述第二判断单元判定该对象数据的上传协议为所述合并对象上传协议时，对该对象数据进行拆解和处理，解析出数据包中的所有对象的对象数据、元数据和对象描述信息；
存储单元，用于对经过解析的各所述对象进行并行写入处理，并将对象上传结果返回至所述客户端。
CN201710165342.2A 2017-03-20 2017-03-20 一种用于提高对象存储系统中对象上传速度的方法和系统 Pending CN106686148A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710165342.2A CN106686148A (zh) 2017-03-20 2017-03-20 一种用于提高对象存储系统中对象上传速度的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710165342.2A CN106686148A (zh) 2017-03-20 2017-03-20 一种用于提高对象存储系统中对象上传速度的方法和系统

Publications (1)

Publication Number Publication Date
CN106686148A true CN106686148A (zh) 2017-05-17

Family

ID=58829194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710165342.2A Pending CN106686148A (zh) 2017-03-20 2017-03-20 一种用于提高对象存储系统中对象上传速度的方法和系统

Country Status (1)

Country Link
CN (1) CN106686148A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109067733A (zh) * 2018-07-27 2018-12-21 成都华为技术有限公司 发送数据的方法和装置，以及接收数据的方法和装置
CN110297810A (zh) * 2019-07-05 2019-10-01 联想(北京)有限公司 一种流数据处理方法、装置及电子设备
CN111581016A (zh) * 2020-04-14 2020-08-25 上海爱数信息技术股份有限公司 一种现代应用的副本数据管理系统及方法
WO2021208400A1 (zh) * 2020-04-14 2021-10-21 上海爱数信息技术股份有限公司 现代应用的备份恢复系统及方法
CN114786212A (zh) * 2022-03-29 2022-07-22 江苏睿沃水利技术研究院有限公司 一种物联网传输控制方法、设备及在物联网组网中的应用

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110302583A1 (en) * 2010-06-04 2011-12-08 Yale University Systems and methods for processing data
CN103366016A (zh) * 2013-08-01 2013-10-23 南京大学 基于hdfs的电子文件集中存储及优化方法
CN103678491A (zh) * 2013-11-14 2014-03-26 东南大学 一种基于Hadoop中小文件优化和倒排索引的方法
CN104133882A (zh) * 2014-07-28 2014-11-05 四川大学 一种基于hdfs的小文件处理方法
CN105404652A (zh) * 2015-10-29 2016-03-16 河海大学 一种基于hdfs的海量小文件处理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110302583A1 (en) * 2010-06-04 2011-12-08 Yale University Systems and methods for processing data
CN103366016A (zh) * 2013-08-01 2013-10-23 南京大学 基于hdfs的电子文件集中存储及优化方法
CN103678491A (zh) * 2013-11-14 2014-03-26 东南大学 一种基于Hadoop中小文件优化和倒排索引的方法
CN104133882A (zh) * 2014-07-28 2014-11-05 四川大学 一种基于hdfs的小文件处理方法
CN105404652A (zh) * 2015-10-29 2016-03-16 河海大学 一种基于hdfs的海量小文件处理方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109067733A (zh) * 2018-07-27 2018-12-21 成都华为技术有限公司 发送数据的方法和装置，以及接收数据的方法和装置
WO2020019943A1 (zh) * 2018-07-27 2020-01-30 华为技术有限公司 发送数据的方法和装置，以及接收数据的方法和装置
US11405458B2 (en) 2018-07-27 2022-08-02 Huawei Cloud Computing Technologies Co., Ltd. Sending and receiving data using multiple objects with a single storage request
CN110297810A (zh) * 2019-07-05 2019-10-01 联想(北京)有限公司 一种流数据处理方法、装置及电子设备
CN110297810B (zh) * 2019-07-05 2022-01-18 联想(北京)有限公司 一种流数据处理方法、装置及电子设备
CN111581016A (zh) * 2020-04-14 2020-08-25 上海爱数信息技术股份有限公司 一种现代应用的副本数据管理系统及方法
WO2021208400A1 (zh) * 2020-04-14 2021-10-21 上海爱数信息技术股份有限公司 现代应用的备份恢复系统及方法
WO2021208402A1 (zh) * 2020-04-14 2021-10-21 上海爱数信息技术股份有限公司 现代应用的副本数据管理系统及方法
CN114786212A (zh) * 2022-03-29 2022-07-22 江苏睿沃水利技术研究院有限公司 一种物联网传输控制方法、设备及在物联网组网中的应用

Similar Documents

Publication Publication Date Title
CN106686148A (zh) 一种用于提高对象存储系统中对象上传速度的方法和系统
CN110365758A (zh) 一种协议自适应的物联网网关系统
CN104394211A (zh) 一种基于Hadoop用户行为分析系统设计与实现方法
CN106911782A (zh) 一种数据读取方法及装置
CN103095819A (zh) 推送数据信息的方法及数据信息推送系统
CN104408100B (zh) 结构化网站日志的压缩方法
CN110019267A (zh) 一种元数据更新方法、装置、系统、电子设备及存储介质
CN103685304A (zh) 一种共享session信息的方法和系统
CN104077420A (zh) 一种数据导入HBase数据库的方法和装置
CN114830080B (zh) 数据分发流程配置方法及装置、电子设备、存储介质
CN105357275A (zh) 智能聚合接口的方法及系统
CN102271331B (zh) 一种检测业务提供商sp站点可靠性的方法及系统
CN107291826A (zh) 文件搜索处理方法及装置
CN110413354A (zh) 一种实现与第三方平台交互的方法、设备以及存储介质
CN103916368A (zh) 一种实现不同数据源之间数据处理的方法及装置
CN103729440B (zh) 一种访问网站的方法及装置
CN103354546A (zh) 报文过滤方法与装置
CN109241157A (zh) 数据调用方法、装置、通信设备及存储介质
CN107277104A (zh) 一种网页访问数据的处理方法及无线路由器
CN104090801A (zh) 移动终端浏览器快速打开网页的方法及浏览器
CN102902593A (zh) 基于缓存机制的协议分发处理系统
CN103139227B (zh) 一种应用于移动终端的应用程序数据传输系统和方法
CN108769084A (zh) 一种处理器与防火墙
WO2017167101A1 (zh) 彩信附件管理方法、装置、通信系统及计算机存储介质
CN108023920A (zh) 一种数据包传输方法、设备及应用接口

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170517

RJ01 Rejection of invention patent application after publication