CN107590191A - 一种hdfs海量小文件处理方法及系统 - Google Patents
一种hdfs海量小文件处理方法及系统 Download PDFInfo
- Publication number
- CN107590191A CN107590191A CN201710686381.7A CN201710686381A CN107590191A CN 107590191 A CN107590191 A CN 107590191A CN 201710686381 A CN201710686381 A CN 201710686381A CN 107590191 A CN107590191 A CN 107590191A
- Authority
- CN
- China
- Prior art keywords
- file
- request
- mentioned
- current
- hdfs
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种HDFS海量小文件处理方法及系统，均先判定所接收到的当前请求上传的文件是否为小文件，若是，则分别对当前请求上传的文件进行缓存，并计算上述当前已缓存的各请求上传的文件的大小之和、统计上述当前已缓存的各请求上传的文件的总数量，且通过比较上述当前计算出的大小之和与预设的第二阈值的大小关系、及比较上述当前统计出的总数量与预先设定的特定数量阈值的大小关系，在上述任意一比较关系成立时，合并当前已缓存的各请求上传的文件并创建当前已缓存的各请求上传的文件文件索引列表；之后均将当前合并后的文件及其对应文件索引列表上传至HDFS集群，然后清空上述已缓存的各请求上传的文件。本发明能提高HDFS对海量小文件的访问效率。
Description
技术领域
本发明涉及HDFS数据存储领域，具体是一种HDFS海量小文件处理方法及系统，主要适用于应用于HDFS集群中能够与HDFS包含的各个节点交互的服务器。
背景技术
HDFS (Hadoop分布式文件系统)，由一个NameNode和若干个DataNode组成，是集群的重要组成部分，凭借其可靠、高效、可伸缩的特性，已在大规模计算领域得到了广泛应用。
在互联网的飞速发展下，电子商务、社交网络、移动通信等产生的数据种类很多，数据量非常大。HDFS海量的小文件数据量越来越大。
但HDFS主要针对一次写入、多次读出的使用模式，其设计目的是为了存储超大文件，主要针对百兆以上的文件。海量小文件的存储会造成NameNode节点内存的大量消耗，进而会影响对小文件的访问效率。此为现有技术的不足之处。
发明内容
本发明所要解决的技术问题是，针对现有技术的不足，提供一种HDFS海量小文件处理方法及系统，用于提高HDFS 对小文件的访问效率。
为解决上述技术问题，本发明提供了一种HDFS海量小文件处理方法，包括步骤：
S1、接收文件上传请求，并判定当前请求上传的文件是否为小文件，所述的小文件为满足文件大小不超过预设的第一阈值的条件的文件；若上述判定结果为是，则执行步骤S3，否则执行步骤S2；
S2、将当前请求上传的文件上传至HDFS集群；
S3、对上述当前请求上传的文件进行缓存；之后执行步骤S4；
S4、计算上述当前已缓存的各请求上传的文件的大小之和、以及统计上述当前已缓存的各请求上传的文件的总数量，并比较上述当前计算出的大小之和与预设的第二阈值的大小关系、且比较上述当前统计出的总数量与预先设定的特定数量阈值的大小关系；若上述比较的结果为上述当前计算出的大小之和大于或等于上述预设的第二阈值、或为上述统计出的总数量大于或等于预先设定的特定数量阈值，则执行步骤S5，否则继续执行步骤S1；其中，所述的第二阈值大于所述的第一阈值，所述的特定数量阈值为大于2的正整数；
S5、将当前已缓存的各请求上传的文件合并成一大文件，并创建当前已缓存的各请求上传的文件在所述大文件中的文件索引列表；之后执行步骤S6；
S6、将步骤S5中所述的大文件和文件索引列表，一并上传至HDFS集群；之后执行步骤S7；
S7、清空上述已缓存的各请求上传的文件，之后转而继续执行步骤S1。
进一步地，在上述步骤S3中，将所述的当前请求上传的文件缓存入预先设定的数据缓存队列。
其中，所述的第二阈值为64M。
其中，所述的第一阈值为2M。
另外，本发明还提供了一种HDFS海量小文件处理系统，包括：
合并单元，用于本系统中的文件合并；
上传单元，用于将本系统中相关的文件数据上传至HDFS集群；
缓存单元，用于本系统的文件缓存；
计算单元，用于计算所述缓存单元中当前已缓存的各请求上传的文件的大小之和，以及用于统计所述缓存单元中当前已缓存的各请求上传的文件的总数量；
上传文件请求接收单元，用于接收文件上传请求，并用于将当前接收到的文件上传请求发送至所述的决策单元；
决策单元，分别连接所述的上传文件请求接收单元、合并单元、上传单元、缓存单元和计算单元，用于接收上传文件请求接收单元发送来的文件上传请求，并用于判定当前接收到的文件上传请求中所包含的当前请求上传的文件是否为小文件，若判定结果为是，则用于调用所述的缓存单元，对上述当前接收到的当前请求上传的文件进行缓存；若上述判定结果为当前请求上传的文件不是小文件，则调用所述的上传单元，将上述当前接收到的当前请求上传的文件上传至HDFS集群；
该决策单元还用于在每次调用所述的缓存单元进行相应文件的缓存之后、以及在下一次调用所述的缓存单元进行相应文件的缓存之前，还用于调用所述的计算单元计算所述缓存单元中当前已缓存的各请求上传的文件的大小之和、以及统计所述缓存单元中当前已缓存的各请求上传的文件的总数量，并用于比较上述计算单元当前计算出的大小之和与预设的第二阈值的大小关系、且用于比较上述计算单元当前统计出的总数量与预先设定的特定数量阈值的大小关系，并用于在上述比较的结果为上述当前计算出的大小之和大于或等于上述预设的第二阈值、或为上述统计出的总数量大于或等于预先设定的特定数量阈值时，调用所述的合并单元，用于将所述缓存单元中当前已缓存的各请求上传的文件合并成一大文件；还用于在每次调用所述的合并单元完成当前次的文件合并后，用于创建上述缓冲单元中当前已缓存的各请求上传的文件在所述大文件中的文件索引列表，并用于调用所述的上传单元将上述当前次合并成的大文件及与该大文件相对应的文件索引列表上传至HDFS集群；还用于在每次将相应的大文件及其对应的文件索引列表上传至HDFS集群后，用于控制清空所述的缓存单元；
其中，所述的小文件为满足文件大小不超过预设的第一阈值的条件的文件，所述的第二阈值大于所述的第一阈值，所述的特定数量阈值为大于2的正整数。
其中，在该所述的HDFS海量小文件处理系统中，所述的缓冲单元采用数据缓存队列。
其中，在该所述的HDFS海量小文件处理系统中，所述的第二阈值为64M。
其中，在该所述的HDFS海量小文件处理系统中，所述的第一阈值为2M。
与现有技术相比，本发明的优点在于：
本发明采用文件大小和文件个数同时进行判断的处理方式，且在文件大小和文件个数中的任何一方对应满足特定的判定条件时，均能够实现小文件的合并，这既能够减少小文件对HDFS节点内存的占用，也能避免访问小文件过程的频繁跳转，还能够在服务器接收到的文件上传请求的数量相对较少的情况下，避免所接收到的请求上传的文件等待时间过长，因此能够有效地提高HDFS对小文件的访问效率。
由此可见，本发明与现有技术相比，具有突出的实质性特点和显著的进步，其实施的有益效果也是显而易见的。
附图说明
图1为本发明所述HDFS海量小文件处理方法的方法流程图示意图。
图2为本发明所述HDFS海量小文件处理系统的功能结构框图示意图。
具体实施方式
为使本发明的技术方案和优点更加清楚，下面将结合附图，对本发明的技术方案进行清楚、完整地描述。
具体实施方式1：
图1为本发明所述HDFS海量小文件处理方法的一种具体实施方式。在该具体实施方式中，所述的该HDFS海量小文件处理方法，应用于HDFS集群中能够与HDFS包含的各个节点交互的服务器，包括步骤：
S1、服务器接收文件上传请求，并判定当前请求上传的文件是否为小文件，所述的小文件为满足文件大小不超过预设的第一阈值的条件的文件；若上述判定结果为是，则执行步骤S3，否则执行步骤S2；
S2、将当前请求上传的文件上传至HDFS集群；
S3、对上述当前请求上传的文件进行缓存；之后执行步骤S4；
S4、计算上述当前已缓存的各请求上传的文件的大小之和、以及统计上述当前已缓存的各请求上传的文件的总数量，并比较上述当前计算出的大小之和与预设的第二阈值的大小关系、且比较上述当前统计出的总数量与预先设定的特定数量阈值的大小关系；若上述比较的结果为上述当前计算出的大小之和大于或等于上述预设的第二阈值、或为上述统计出的总数量大于或等于预先设定的特定数量阈值，则执行步骤S5，否则继续执行步骤S1；其中，所述的第二阈值大于所述的第一阈值，所述的特定数量阈值为大于2的正整数；
S5、将当前已缓存的各请求上传的文件合并成一大文件，并创建当前已缓存的各请求上传的文件在所述大文件中的文件索引列表；之后执行步骤S6；
S6、将步骤S5中所述的大文件和文件索引列表，一并上传至HDFS集群；之后执行步骤S7；
S7、清空上述已缓存的各请求上传的文件，之后转而继续执行步骤S1。
使用时，服务器接收文件上传请求，并判定当前请求上传的文件是否为小文件，若判定结果为否，则将当前请求上传的文件直接上传至HDFS集群，若上述判定结果为是，则对上述当前请求上传的文件进行缓存处理；之后，服务器计算上述当前已缓存的各请求上传的文件的大小之和、以及统计上述当前已缓存的各请求上传的文件的总数量，并比较上述当前计算出的大小之和与预设的第二阈值的大小关系、且比较上述当前统计出的总数量与预先设定的特定数量阈值的大小关系；若上述比较的结果为上述当前计算出的大小之和大于或等于上述预设的第二阈值、或为上述统计出的总数量大于或等于预先设定的特定数量阈值，则将当前已缓存的各请求上传的文件合并成一大文件，并创建当前已缓存的各请求上传的文件在所述大文件中的文件索引列表，之后将当前合并成的大文件及其对应的文件索引列表一并上传至HDFS集群，然后清空服务器中已缓存的各请求上传的文件，以等待缓存新的请求上传的文件。
其中，本发明在如上所述的两个判定条件（即：（1）当前计算出的大小之和大于或等于上述预设的第二阈值，（2）上述统计出的总数量大于或等于预先设定的特定数量阈值。）中的任意一个满足时，均能够实现小文件的合并，这既减少了小文件对HDFS节点内存的占用，也避免了访问小文件过程的频繁跳转，还在服务器接收到的文件上传请求的数量相对较少的情况下，避免了所接收到的请求上传的文件等待时间过长，因此提高了HDFS对小文件的访问效率。
其中，在上述步骤S3中，将所述的当前请求上传的文件缓存入预先设定的数据缓存队列。上述步骤S7中所述的清空上述已缓存的各请求上传的文件，即为清空所述的数据缓存队列，用于等待新的文件缓存。
在本实施方式中，所述的第二阈值为64M，所述的第一阈值为2M。
如图2所示，本发明还提供了一种HDFS海量小文件处理系统，包括：合并单元，用于本系统中的文件合并；上传单元，用于将本系统中相关的文件数据上传至HDFS集群；缓存单元，用于本系统的文件缓存；计算单元，用于计算所述缓存单元中当前已缓存的各请求上传的文件的大小之和，以及用于统计所述缓存单元中当前已缓存的各请求上传的文件的总数量；上传文件请求接收单元，用于接收文件上传请求，并用于将当前接收到的文件上传请求发送至所述的决策单元；决策单元，分别连接所述的上传文件请求接收单元、合并单元、上传单元、缓存单元和计算单元，用于接收上传文件请求接收单元发送来的文件上传请求，并用于判定当前接收到的文件上传请求中所包含的当前请求上传的文件是否为小文件，若判定结果为是，则用于调用所述的缓存单元，对上述当前接收到的当前请求上传的文件进行缓存；若上述判定结果为当前请求上传的文件不是小文件，则调用所述的上传单元，将上述当前接收到的当前请求上传的文件上传至HDFS集群；该决策单元还用于在每次调用所述的缓存单元进行相应文件的缓存之后、以及在下一次调用所述的缓存单元进行相应文件的缓存之前，还用于调用所述的计算单元计算所述缓存单元中当前已缓存的各请求上传的文件的大小之和、以及统计所述缓存单元中当前已缓存的各请求上传的文件的总数量，并用于比较上述计算单元当前计算出的大小之和与预设的第二阈值的大小关系、且用于比较上述计算单元当前统计出的总数量与预先设定的特定数量阈值的大小关系，并用于在上述比较的结果为上述当前计算出的大小之和大于或等于上述预设的第二阈值、或为上述统计出的总数量大于或等于预先设定的特定数量阈值时，调用所述的合并单元，用于将所述缓存单元中当前已缓存的各请求上传的文件合并成一大文件；还用于在每次调用所述的合并单元完成当前次的文件合并后，用于创建上述缓冲单元中当前已缓存的各请求上传的文件在所述大文件中的文件索引列表，并用于调用所述的上传单元将上述当前次合并成的大文件及与该大文件相对应的文件索引列表上传至HDFS集群；还用于在每次将相应的大文件及其对应的文件索引列表上传至HDFS集群后，用于控制清空所述的缓存单元。
其中，所述的小文件为满足文件大小不超过预设的第一阈值的条件的文件，所述的第二阈值为64M，所述的第一阈值采用2M，所述的缓冲单元采用数据缓存队列。
使用之前，将该安装于应用于HDFS集群中能够与HDFS包含的各个节点交互的服务器中。使用时，通过上传文件请求接收单元接收文件上传请求，并将其当前接收到的文件上传请求发送至所述的决策单元；之后，决策单元：接收上传文件请求接收单元发送来的文件上传请求，并判定当前接收到的文件上传请求中所包含的当前请求上传的文件是否为小文件，若判定结果为是，则调用所述的缓存单元，对上述当前接收到的当前请求上传的文件进行缓存；若上述判定结果为当前请求上传的文件不是小文件，则调用所述的上传单元，将上述当前接收到的当前请求上传的文件上传至HDFS集群。其中，使用时，该决策单元在每次调用所述的缓存单元进行相应文件的缓存之后、以及在下一次调用所述的缓存单元进行相应文件的缓存之前，调用所述的计算单元计算所述缓存单元中当前已缓存的各请求上传的文件的大小之和、以及统计所述缓存单元中当前已缓存的各请求上传的文件的总数量，并比较上述计算单元当前计算出的大小之和与预设的第二阈值的大小关系、且比较上述计算单元当前统计出的总数量与预先设定的特定数量阈值的大小关系，并在上述比较的结果为上述当前计算出的大小之和大于或等于上述预设的第二阈值、或为上述统计出的总数量大于或等于预先设定的特定数量阈值时，调用所述的合并单元，将所述缓存单元中当前已缓存的各请求上传的文件合并成一大文件；且在每次调用所述的合并单元完成当前次的文件合并后，通过所述的决策单元创建上述缓冲单元中当前已缓存的各请求上传的文件在所述大文件中的文件索引列表，并通过所述的决策单元调用所述的上传单元将当前次合并成的大文件及与该大文件相对应的文件索引列表上传至HDFS集群。在每次将相应的大文件及其对应的文件索引列表上传至HDFS集群后，在所述决策单元的控制下，控制清空所述的缓存单元，即清空所述的数据缓存队列，以等待缓存新的请求上传的文件。
综上，本发明所述的HDFS海量小文件处理系统，也采用文件大小和文件个数同时进行判断的处理方式，且在文件大小和文件个数中的任何一方对应满足特定的判定条件时，均能实现小文件的合并，可见与上述HDFS海量小文件处理方法具有相同的优点，在此不再赘述。
综上，本发明这既能够减少小文件对HDFS节点内存的占用，也能避免访问小文件过程的频繁跳转，还能够在服务器接收到的文件上传请求的数量相对较少的情况下，避免所接收到的请求上传的文件等待时间过长，因此提高了HDFS对小文件的访问效率。
以上实施方式仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施方式对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施方式技术方案的范围。
Claims (8)
1.一种HDFS海量小文件处理方法，其特征在于，包括步骤：
S1、接收文件上传请求，并判定当前请求上传的文件是否为小文件，所述的小文件为满足文件大小不超过预设的第一阈值的条件的文件；若上述判定结果为是，则执行步骤S3，否则执行步骤S2；
S2、将当前请求上传的文件上传至HDFS集群；
S3、对上述当前请求上传的文件进行缓存；之后执行步骤S4；
S4、计算上述当前已缓存的各请求上传的文件的大小之和、以及统计上述当前已缓存的各请求上传的文件的总数量，并比较上述当前计算出的大小之和与预设的第二阈值的大小关系、且比较上述当前统计出的总数量与预先设定的特定数量阈值的大小关系；若上述比较的结果为上述当前计算出的大小之和大于或等于上述预设的第二阈值、或为上述统计出的总数量大于或等于预先设定的特定数量阈值，则执行步骤S5，否则继续执行步骤S1；其中，所述的第二阈值大于所述的第一阈值，所述的特定数量阈值为大于2的正整数；
S5、将当前已缓存的各请求上传的文件合并成一大文件，并创建当前已缓存的各请求上传的文件在所述大文件中的文件索引列表；之后执行步骤S6；
S6、将步骤S5中所述的大文件和文件索引列表，一并上传至HDFS集群；之后执行步骤S7；
S7、清空上述已缓存的各请求上传的文件，之后转而继续执行步骤S1。
2.根据权利要求1所述的HDFS海量小文件处理方法，其特征在于，进一步地，在上述步骤S3中，将所述的当前请求上传的文件缓存入预先设定的数据缓存队列。
3.根据权利要求1或2所述的HDFS海量小文件处理方法，其特征在于，所述的第二阈值为64M。
4.根据权利要求1或2所述的HDFS海量小文件处理方法，其特征在于，所述的第一阈值为2M。
5.一种HDFS海量小文件处理系统，其特征在于，包括：
合并单元，用于本系统中的文件合并；
上传单元，用于将本系统中相关的文件数据上传至HDFS集群；
缓存单元，用于本系统的文件缓存；
计算单元，用于计算所述缓存单元中当前已缓存的各请求上传的文件的大小之和，以及用于统计所述缓存单元中当前已缓存的各请求上传的文件的总数量；
上传文件请求接收单元，用于接收文件上传请求，并用于将当前接收到的文件上传请求发送至所述的决策单元；
决策单元，分别连接所述的上传文件请求接收单元、合并单元、上传单元、缓存单元和计算单元，用于接收上传文件请求接收单元发送来的文件上传请求，并用于判定当前接收到的文件上传请求中所包含的当前请求上传的文件是否为小文件，若判定结果为是，则用于调用所述的缓存单元，对上述当前接收到的当前请求上传的文件进行缓存；若上述判定结果为当前请求上传的文件不是小文件，则调用所述的上传单元，将上述当前接收到的当前请求上传的文件上传至HDFS集群；
该决策单元还用于在每次调用所述的缓存单元进行相应文件的缓存之后、以及在下一次调用所述的缓存单元进行相应文件的缓存之前，还用于调用所述的计算单元计算所述缓存单元中当前已缓存的各请求上传的文件的大小之和、以及统计所述缓存单元中当前已缓存的各请求上传的文件的总数量，并用于比较上述计算单元当前计算出的大小之和与预设的第二阈值的大小关系、且用于比较上述计算单元当前统计出的总数量与预先设定的特定数量阈值的大小关系，并用于在上述比较的结果为上述当前计算出的大小之和大于或等于上述预设的第二阈值、或为上述统计出的总数量大于或等于预先设定的特定数量阈值时，调用所述的合并单元，用于将所述缓存单元中当前已缓存的各请求上传的文件合并成一大文件；还用于在每次调用所述的合并单元完成当前次的文件合并后，用于创建上述缓冲单元中当前已缓存的各请求上传的文件在所述大文件中的文件索引列表，并用于调用所述的上传单元将上述当前次合并成的大文件及与该大文件相对应的文件索引列表上传至HDFS集群；还用于在每次将相应的大文件及其对应的文件索引列表上传至HDFS集群后，用于控制清空所述的缓存单元；
其中，所述的小文件为满足文件大小不超过预设的第一阈值的条件的文件，所述的第二阈值大于所述的第一阈值，所述的特定数量阈值为大于2的正整数。
6.根据权利要求5所述的HDFS海量小文件处理系统，其特征在于，所述的缓冲单元采用数据缓存队列。
7.根据权利要求5或6所述的HDFS海量小文件处理系统，其特征在于，所述的第二阈值为64M。
8.根据权利要求5或6所述的HDFS海量小文件处理系统，其特征在于，所述的第一阈值为2M。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710686381.7A CN107590191A (zh) | 2017-08-11 | 2017-08-11 | 一种hdfs海量小文件处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710686381.7A CN107590191A (zh) | 2017-08-11 | 2017-08-11 | 一种hdfs海量小文件处理方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107590191A true CN107590191A (zh) | 2018-01-16 |
Family
ID=61042761
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710686381.7A Pending CN107590191A (zh) | 2017-08-11 | 2017-08-11 | 一种hdfs海量小文件处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107590191A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108681469A (zh) * | 2018-05-03 | 2018-10-19 | 武汉斗鱼网络科技有限公司 | 基于Android系统的页面缓存方法、装置、设备及存储介质 |
| CN109002543A (zh) * | 2018-07-24 | 2018-12-14 | 北京京东尚科信息技术有限公司 | 一种文件存储的方法和装置 |
| CN109344119A (zh) * | 2018-10-24 | 2019-02-15 | 北京奇虎科技有限公司 | 文件合并处理方法、装置、计算设备及计算机存储介质 |
| CN111913917A (zh) * | 2020-07-24 | 2020-11-10 | 北京锐安科技有限公司 | 一种文件处理方法、装置、设备和介质 |
| CN113157697A (zh) * | 2021-04-19 | 2021-07-23 | 山东艺术学院 | 一种明清俗曲古代乐谱数据库系统 |
| CN114490449A (zh) * | 2022-04-18 | 2022-05-13 | 飞腾信息技术有限公司 | 一种内存访问方法、装置及处理器 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104978351A (zh) * | 2014-04-09 | 2015-10-14 | 中国电信股份有限公司 | 海量小文件备份方法与云存储网关 |
| CN105404652A (zh) * | 2015-10-29 | 2016-03-16 | 河海大学 | 一种基于hdfs的海量小文件处理方法 |
| KR20160067289A (ko) * | 2014-12-03 | 2016-06-14 | 충북대학교 산학협력단 | 분산 파일 시스템에서 소형 파일에 대한 접근성 향상을 위한 캐시 관리 시스템 |
-
2017
- 2017-08-11 CN CN201710686381.7A patent/CN107590191A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104978351A (zh) * | 2014-04-09 | 2015-10-14 | 中国电信股份有限公司 | 海量小文件备份方法与云存储网关 |
| KR20160067289A (ko) * | 2014-12-03 | 2016-06-14 | 충북대학교 산학협력단 | 분산 파일 시스템에서 소형 파일에 대한 접근성 향상을 위한 캐시 관리 시스템 |
| CN105404652A (zh) * | 2015-10-29 | 2016-03-16 | 河海大学 | 一种基于hdfs的海量小文件处理方法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108681469A (zh) * | 2018-05-03 | 2018-10-19 | 武汉斗鱼网络科技有限公司 | 基于Android系统的页面缓存方法、装置、设备及存储介质 |
| CN109002543A (zh) * | 2018-07-24 | 2018-12-14 | 北京京东尚科信息技术有限公司 | 一种文件存储的方法和装置 |
| CN109344119A (zh) * | 2018-10-24 | 2019-02-15 | 北京奇虎科技有限公司 | 文件合并处理方法、装置、计算设备及计算机存储介质 |
| CN109344119B (zh) * | 2018-10-24 | 2023-04-28 | 三六零科技集团有限公司 | 文件合并处理方法、装置、计算设备及计算机存储介质 |
| CN111913917A (zh) * | 2020-07-24 | 2020-11-10 | 北京锐安科技有限公司 | 一种文件处理方法、装置、设备和介质 |
| CN113157697A (zh) * | 2021-04-19 | 2021-07-23 | 山东艺术学院 | 一种明清俗曲古代乐谱数据库系统 |
| CN114490449A (zh) * | 2022-04-18 | 2022-05-13 | 飞腾信息技术有限公司 | 一种内存访问方法、装置及处理器 |
| CN114490449B (zh) * | 2022-04-18 | 2022-07-08 | 飞腾信息技术有限公司 | 一种内存访问方法、装置及处理器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107590191A (zh) | 一种hdfs海量小文件处理方法及系统 | |
| CN106533970B (zh) | 面向云计算数据中心网络的差分流传输控制方法及装置 | |
| CN104573119A (zh) | 云计算中面向节能的Hadoop分布式文件系统存储策略 | |
| CN104202362B (zh) | 负载均衡系统及其内容分发方法和装置、负载均衡器 | |
| CN112218337A (zh) | 一种移动边缘计算中的缓存策略决策方法 | |
| CN109978177B (zh) | 模型训练方法、业务处理方法、装置及相关设备 | |
| CN103986766A (zh) | 自适应负载均衡作业任务调度方法及装置 | |
| JP2006025408A5 (zh) | ||
| CN103109285A (zh) | 用于自动调节从发送器通过并行连接到接收器的大量数据传送的机制 | |
| CN101800731B (zh) | 网络传输管理服务器、网络传输管理方法及网络传输系统 | |
| CN106648456B (zh) | 基于用户访问量以及预测机制的动态副本文件访问方法 | |
| CN103888313B (zh) | 一种预测流表项的最优超时时间的方法 | |
| WO2018218850A1 (zh) | 文件大小异构的分布式编码缓存放置方法及系统 | |
| CN106060176A (zh) | 一种基于混合云的云计算应用架构及云计算服务方法 | |
| CN102821164A (zh) | 一种高效并行分布式数据处理系统 | |
| CN102104494B (zh) | 元数据服务器、带外网络文件系统及其处理方法 | |
| WO2017016499A1 (zh) | 分布式数据库负载调平的方法和装置 | |
| CN102970242A (zh) | 一种实现负载均衡的方法 | |
| WO2018049563A1 (en) | Systems and methods for caching | |
| CN107105043A (zh) | 一种基于软件定义网络的内容中心网络缓存方法 | |
| CN108541025A (zh) | 一种面向无线异构网络的基站与d2d共同缓存方法 | |
| CN107633102A (zh) | 一种读取元数据的方法、装置、系统及设备 | |
| CN109067898A (zh) | 一种通过文件散列分布降低内容分发网络边缘节点回源率的方法 | |
| CN103258389B (zh) | 自助终端上传文件的方法、系统和自助终端 | |
| CN105282045B (zh) | 一种基于一致性哈希算法的分布式计算和储存方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180116 |