CN114374687B - 热磁存储与蓝光存储之间的文件传输方法及装置 - Google Patents
热磁存储与蓝光存储之间的文件传输方法及装置 Download PDFInfo
- Publication number
- CN114374687B CN114374687B CN202210023933.7A CN202210023933A CN114374687B CN 114374687 B CN114374687 B CN 114374687B CN 202210023933 A CN202210023933 A CN 202210023933A CN 114374687 B CN114374687 B CN 114374687B
- Authority
- CN
- China
- Prior art keywords
- files
- combined
- file
- storage space
- thermomagnetic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000004590 computer program Methods 0.000 claims description 16
- 238000012546 transfer Methods 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 8
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 241000213006 Angelica dahurica Species 0.000 description 1
- 241001025261 Neoraja caerulea Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种热磁存储与蓝光存储之间的文件传输方法及装置，所述方法包括从热磁存储空间中读取要归档的文件；判断文件是否需要合并，确定待合并文件后，将待合并文件的数据流缓存在数据库中；判断缓存在数据库中的待合并文件的数据流是否达到设定阈值，如果达到，则将待合并文件进行合并然后将合并文件上传至蓝光存储空间，否则继续读取要归档的文件。本发明优化了小文件传输过程中需要频繁建立传输连接影响传输效率的问题，将小文件合并后使得原有需要多次的网络通信合并为一次，充分提高了网络带宽利用率；使得海量小文件的远程传输效率有了显著的提升。
Description
技术领域
本发明属于计算机技术领域，具体涉及一种热磁存储与蓝光存储之间的文件传输方法及装置。
背景技术
海量小文件的传输与大文件传输有很大差异，传输大文件的性能消耗和瓶颈归结是在带宽上，而海量小文件的传输则不一样。由于海量小文件传输需要频繁打开/关闭文件句柄，但是文件打开后需要读取和写入的内容却极少，故海量小文件的传输瓶颈在IO性能上。
小文件带来的是要直接操作磁盘，直接操作磁盘会导致性能下降。在蓝光存储中，对小文件的管理性能很差，由于蓝光空间的存储结构是一块一块的，一块只能存储一个文件，或者通过连续的块存储一个大文件，块的大小是固定的，小文件的存储让块有大量空间空闲，却无法利用，导致蓝光空间利用率低，浪费了空间资源。在归档传输过程中，虽然带宽速度很高，但是对于每个文件传输过程中都需要进行传输的连接等一系列操作，导致带宽上去了，传输速度却上不去。
综上所述，在普通的备份系统中，文件是一对一的传递，原本的空间是十个文件，到目的空间还是十个文件，由于小文件的传输也需要先去建立传输的连接，使得传输在建立连接上耗费了大量时间，导致传输速度慢下来，影响了传输效率。
发明内容
有鉴于此，本发明的目的在于克服现有技术的不足，提供一种热磁存储与蓝光存储之间的文件传输方法及装置，以解决现有技术中归档传输过程中小文件在建立连接上耗费了大量时间，导致传输速度慢下来，影响了传输效率的问题。
为实现以上目的，本发明采用如下技术方案：一种热磁存储与蓝光存储之间的文件传输方法，包括：
从热磁存储空间中读取要归档的文件；
判断所述文件是否需要合并，确定待合并文件后，将所述待合并文件的数据流缓存在数据库中；
判断缓存在数据库中的待合并文件的数据流是否达到设定阈值，如果达到，则将所述待合并文件进行合并然后将合并文件上传至蓝光存储空间，否则继续读取要归档的文件。
进一步的，选取符合合并条件的文件，将所述符合合并条件的文件确定为待合并文件；所述合并条件为文件大小小于设定值。
进一步的，所述将所述待合并文件的数据流缓存在数据库中，包括：
将所述待合并文件的数据流写到合并文件的预设数据流中，记录所述文件的数据流在合并文件的预设数据流中的偏移量和字节长度缓存至数据库；其中所述偏移量为待合并文件的第一个字节在合并文件中的位置。
进一步的，还包括：
根据所述偏移量和字节长度将所述蓝光空间中的合并文件取回至热磁存储空间。
进一步的，所述数据库包括任务数据库和索引数据库；
所述任务数据库用于记录执行任务，所述执行任务包括将文件从热磁存储空间到蓝光存储空间的归档任务或将文件从蓝光存储空间传输到热磁存储空间的反档任务；
所述索引数据库用于存储所述待合并文件在热磁存储空间中的地址、待合并文件合并后在蓝光存储空间中的地址。
进一步的，还包括：
以预设时间间隔监控所述热磁存储空间中的文件是否需要归档至蓝光存储空间，并在需要归档时，创建归档任务。
本申请实施例提供一种热磁存储与蓝光存储之间的文件传输装置，包括：
读取模块，用于从热磁存储空间中读取要归档的文件；
缓存模块，用于判断所述文件是否需要合并，确定待合并文件后，将所述待合并文件的数据流缓存在数据库中；
判断模块，用于判断缓存在数据库中的待合并文件的数据流是否达到设定阈值，如果达到，则将所述待合并文件进行合并然后将合并文件上传至蓝光存储空间，否则继续读取要归档的文件。
本申请实施例提供一种计算机设备，包括：存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述任一实施例提供的热磁存储与蓝光存储之间的文件传输方法。
本申请实施例提供一种计算机存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述任一实施例提供的热磁存储与蓝光存储之间的文件传输方法。
本发明采用以上技术方案，能够达到的有益效果包括：
本发明提供一种热磁存储与蓝光存储之间的文件传输方法及装置，所述方法包括从热磁存储空间中读取要归档的文件；判断所述文件是否需要合并，确定待合并文件后，将所述待合并文件的数据流缓存在数据库中；判断缓存在数据库中的待合并文件的数据流是否达到设定阈值，如果达到，则将所述待合并文件进行合并然后将合并文件上传至蓝光存储空间，否则继续读取要归档的文件为了提高对小文件的传输速度，也为了更加方便的管理蓝光空间，提出了在归档过程中对小文件进行合并的方式解决该问题，本发明优化了小文件传输过程中需要频繁建立传输连接影响传输效率的问题，过小文件合并，让原本需要多次的传输连接建立，变成了一次，大大提高了传输效率。
本申请将小文件合并后使得原有需要多次的网络通信合并为一次，充分提高了网络带宽利用率；本发明提供的技术方案能够消除文件IO延迟对于系统性能的影响。本发明使得海量小文件的远程传输效率有了显著的提升。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明热磁存储与蓝光存储之间的文件传输方法的步骤示意图；
图2为本发明热磁存储与蓝光存储之间的文件传输方法的流程示意图；
图3为本发明热磁存储与蓝光存储之间的文件传输方法的另一种流程示意图；
图4为本发明热磁存储与蓝光存储之间的文件传输装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
下面结合附图介绍本申请实施例中提供的一个具体的热磁存储与蓝光存储之间的文件传输方法及装置。
如图1所示，本申请实施例中提供的热磁存储与蓝光存储之间的文件传输方法包括：
S101，从热磁存储空间中读取要归档的文件；
本申请中的热磁存储采用的是S3存储，S3理论上是一个全球存储区域网络(SAN)，它表现为一个超大的硬盘，可以在其中存储和检索数字资产。S3存储和检索的资产被称为对象。对象存储在存储段(bucket)中，可以用硬盘进行类比：对象就像是文件，存储段就像是文件夹(或目录)。与硬盘一样，对象和存储段也可以通过统一资源标识符(UniformResource Identifier，URI)查找。
蓝光或称蓝光盘利用波长较短的蓝色激光读取和写入数据，并因此而得名。蓝光极大地提高了光盘的存储容量，对于光存储产品来说，蓝光提供了一个跳跃式发展的机会。本申请中的蓝光存储空间是一种对象存储结构的存储空间，用来存储文件对象。
本申请是将文件由热磁存储空间传输到蓝光存储空间，或者从蓝光存储空间传输到热磁存储空间，其中从热磁存储空间中将小文件上传至蓝光存储空间时，先读取要归档的文件。
S102，判断所述文件是否需要合并，确定待合并文件后，将所述待合并文件的数据流缓存在数据库中；
首先确定文件为小文件时，确定需要合并，将此文件确定为待合并文件，然后将此待合并文件的数据流缓存在数据库中。
S103，判断缓存在数据库中的待合并文件的数据流是否达到设定阈值，如果达到，则将所述待合并文件进行合并然后将合并文件上传至蓝光存储空间，否则继续读取要归档的文件。
当待合并文件的数据流合并至达到设定阈值时，将合并文件上传至光存储空间。
热磁存储与蓝光存储之间的文件传输方法的工作原理为：如图2所示，本申请首先从热磁存储空间中读取要归档的文件；判断所述文件是否需要合并，确定待合并文件后，将所述待合并文件的数据流缓存在数据库中；判断缓存在数据库中的待合并文件的数据流是否达到设定阈值，如果达到，则将所述待合并文件进行合并然后将合并文件上传至蓝光存储空间，否则继续读取要归档的文件。例如，5MB的小文件，读取到本地缓存，继续读取若干次后，总计缓存达到了200MB，符合了上传条件，就将缓存上传，然后缓存就清除了，一次合并上传就结束了。
本发明的目的在于优化了小文件传输过程中需要频繁建立传输连接影响传输效率的问题。将小文件合并后使得原有需要多次的网络通信合并为一次，充分提高了网络带宽利用率，提高了传输速度。通过合并减少了传输次数，原本50个小文件50次传输，现在合并到1个文件中，只需要传输1次，并且可以先压缩再合并，极大提高了传输效率。
一些实施例中，优选的，选取符合合并条件的文件，将所述符合合并条件的文件确定为待合并文件；所述合并条件为文件大小小于设定值。
具体的，对文件的筛选和合并过程，当归档任务开始执行时，对需要归档的文件大小进行一一判断，当文件大小较小，为小文件时确定为待合并文件。例如设定值为50M，那么当文件为5M时就是小文件。
一些实施例中，所述将所述待合并文件的数据流缓存在数据库中，包括：
将所述待合并文件的数据流写到合并文件的预设数据流中，记录所述文件的数据流在合并文件的预设数据流中的偏移量和字节长度缓存至数据库；其中所述偏移量为待合并文件的第一个字节在合并文件中的位置。
优选的，本申请提供的热磁存储与蓝光存储之间的文件传输方法，还包括：
根据所述偏移量和字节长度将所述蓝光空间中的合并文件取回至热磁存储空间。
具体的，如图3所示，首先将小文件的数据流写到一个大的数据流中，记录小文件流在合并后大文件流中的偏移量和字节长度，确保取回时能从大文件流中精确截取到对应的小文件。对于字节长度应该等于小文件的字节长度的，但是由于合并压缩可以同时选择，如果将小文件压缩后的数据流，写到大文件流中，就导致小文件原本的字节长度不等于它压缩后，保存在大文件数据流中的长度，压缩会导致字节数减少。通过本申请提供的技术方案在取回过程中，通过偏移量和字节长度就可以定位到文件位置，然后解压就可以完整还原小文件。
一些实施例中，如图3所示，所述数据库包括任务数据库和索引数据库；
所述任务数据库用于记录执行任务，所述执行任务包括将文件从热磁存储空间到蓝光存储空间的归档任务或将文件从蓝光存储空间传输到热磁存储空间的反档任务；
所述索引数据库用于存储所述待合并文件在热磁存储空间中的地址、待合并文件合并后在蓝光存储空间中的地址。
一些实施例中，还包括：
以预设时间间隔监控所述热磁存储空间中的文件是否需要归档至蓝光存储空间，并在需要归档时，创建归档任务。
具体的，本申请采用策略引擎以预设时间间隔监控热磁存储空间中的文件对象是否需要归档到蓝光存储空间，监控是周期性检查，如果有文件对象需要被归档，则会通过策略引擎创建归档任务。本申请提供一个任务引擎，其通过策略引擎创建的任务，将热磁存储空间对象归档到蓝光存储空间，或者从蓝光存储空间取回到热磁存储空间，其中需要对小文件进行合并操作。
本申请实施例提供一种热磁存储与蓝光存储之间的文件传输装置，包括：
读取模块401，用于从热磁存储空间中读取要归档的文件；
缓存模块402，用于判断所述文件是否需要合并，确定待合并文件后，将所述待合并文件的数据流缓存在数据库中；
判断模块403，用于判断缓存在数据库中的待合并文件的数据流是否达到设定阈值，如果达到，则将所述待合并文件进行合并然后将合并文件上传至蓝光存储空间，否则继续读取要归档的文件。
本申请实施例提供的热磁存储与蓝光存储之间的文件传输装置的工作原理为，读取模块401从热磁存储空间中读取要归档的文件；缓存模块402判断所述文件是否需要合并，确定待合并文件后，将所述待合并文件的数据流缓存在数据库中；判断模块403判断缓存在数据库中的待合并文件的数据流是否达到设定阈值，如果达到，则将所述待合并文件进行合并然后将合并文件上传至蓝光存储空间，否则继续读取要归档的文件。
一些实施例中，所述缓存模块，包括：
缓存单元，用于将所述待合并文件的数据流写到合并文件的预设数据流中，记录所述文件的数据流在合并文件的预设数据流中的偏移量和字节长度缓存至数据库；其中所述偏移量为待合并文件的第一个字节在合并文件中的位置。
本申请实施例提供一种计算机设备，包括：存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行从热磁存储空间中读取要归档的文件；判断所述文件是否需要合并，确定待合并文件后，将所述待合并文件的数据流缓存在数据库中；判断缓存在数据库中的待合并文件的数据流是否达到设定阈值，如果达到，则将所述待合并文件进行合并然后将合并文件上传至蓝光存储空间，否则继续读取要归档的文件。
本申请实施例提供一种计算机存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行从热磁存储空间中读取要归档的文件；判断所述文件是否需要合并，确定待合并文件后，将所述待合并文件的数据流缓存在数据库中；判断缓存在数据库中的待合并文件的数据流是否达到设定阈值，如果达到，则将所述待合并文件进行合并然后将合并文件上传至蓝光存储空间，否则继续读取要归档的文件。
综上所述，本发明提供一种热磁存储与蓝光存储之间的文件传输方法及装置，所述方法包括从热磁存储空间中读取要归档的文件；判断文件是否需要合并，确定待合并文件后，将待合并文件的数据流缓存在数据库中；判断缓存在数据库中的待合并文件的数据流是否达到设定阈值，如果达到，则将待合并文件进行合并然后将合并文件上传至蓝光存储空间，否则继续读取要归档的文件。本发明优化了小文件传输过程中需要频繁建立传输连接影响传输效率的问题，将小文件合并后使得原有需要多次的网络通信合并为一次，充分提高了网络带宽利用率；使得海量小文件的远程传输效率有了显著的提升。
可以理解的是，上述提供的方法实施例与上述的装置实施例对应，相应的具体内容可以相互参考，在此不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令方法的制造品，该指令方法实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (5)
1.一种热磁存储与蓝光存储之间的文件传输方法，其特征在于，包括：
从热磁存储空间中读取要归档的文件；
判断所述文件是否需要合并，确定待合并文件后，将所述待合并文件的数据流缓存在数据库中；
判断缓存在数据库中的待合并文件的数据流是否达到设定阈值，如果达到，则将所述待合并文件进行合并然后将合并文件上传至蓝光存储空间，否则继续读取要归档的文件；
选取符合合并条件的文件，将所述符合合并条件的文件确定为待合并文件；所述合并条件为文件大小小于设定值；
所述将所述待合并文件的数据流缓存在数据库中，包括：
将所述待合并文件的数据流写到合并文件的预设数据流中，记录所述文件的数据流在合并文件的预设数据流中的偏移量和字节长度缓存至数据库；其中所述偏移量为待合并文件的第一个字节在合并文件中的位置；
所述文件传输方法还包括：
根据所述偏移量和字节长度将所述蓝光存储空间中的合并文件取回至热磁存储空间；
所述数据库包括任务数据库和索引数据库；
所述任务数据库用于记录执行任务，所述执行任务包括将文件从热磁存储空间到蓝光存储空间的归档任务或将文件从蓝光存储空间传输到热磁存储空间的反档任务；
所述索引数据库用于存储所述待合并文件在热磁存储空间中的地址、待合并文件合并后在蓝光存储空间中的地址。
2.根据权利要求1所述的方法，其特征在于，还包括：
以预设时间间隔监控所述热磁存储空间中的文件是否需要归档至蓝光存储空间，并在需要归档时，创建归档任务。
3.一种热磁存储与蓝光存储之间的文件传输装置，其特征在于，包括：
读取模块，用于从热磁存储空间中读取要归档的文件；
缓存模块，用于判断所述文件是否需要合并，确定待合并文件后，将所述待合并文件的数据流缓存在数据库中；
所述数据库包括任务数据库和索引数据库；
所述任务数据库用于记录执行任务，所述执行任务包括将文件从热磁存储空间到蓝光存储空间的归档任务或将文件从蓝光存储空间传输到热磁存储空间的反档任务；
所述索引数据库用于存储所述待合并文件在热磁存储空间中的地址、待合并文件合并后在蓝光存储空间中的地址；
判断模块，用于判断缓存在数据库中的待合并文件的数据流是否达到设定阈值，如果达到，则将所述待合并文件进行合并然后将合并文件上传至蓝光存储空间，否则继续读取要归档的文件；
选取符合合并条件的文件，将所述符合合并条件的文件确定为待合并文件；所述合并条件为文件大小小于设定值；
将所述待合并文件的数据流写到合并文件的预设数据流中，记录所述文件的数据流在合并文件的预设数据流中的偏移量和字节长度缓存至数据库；其中所述偏移量为待合并文件的第一个字节在合并文件中的位置；
根据所述偏移量和字节长度将所述蓝光存储空间中的合并文件取回至热磁存储空间。
4.一种计算机设备，其特征在于，包括：存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1或2所述的热磁存储与蓝光存储之间的文件传输方法。
5.一种计算机存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1或2所述的热磁存储与蓝光存储之间的文件传输方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210023933.7A CN114374687B (zh) | 2022-01-11 | 2022-01-11 | 热磁存储与蓝光存储之间的文件传输方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210023933.7A CN114374687B (zh) | 2022-01-11 | 2022-01-11 | 热磁存储与蓝光存储之间的文件传输方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114374687A CN114374687A (zh) | 2022-04-19 |
| CN114374687B true CN114374687B (zh) | 2024-04-16 |
Family
ID=81144476
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210023933.7A Active CN114374687B (zh) | 2022-01-11 | 2022-01-11 | 热磁存储与蓝光存储之间的文件传输方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114374687B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115002527B (zh) * | 2022-05-30 | 2024-05-07 | 平安科技（深圳）有限公司 | 数据传输优化方法、装置、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017028718A1 (zh) * | 2015-08-19 | 2017-02-23 | 阿里巴巴集团控股有限公司 | 数据读取方法和装置 |
| CN111966647A (zh) * | 2020-08-21 | 2020-11-20 | 苏州浪潮智能科技有限公司 | 一种小文件的云存储方法、装置、服务器及存储介质 |
| CN112650711A (zh) * | 2020-12-22 | 2021-04-13 | 浪潮卓数大数据产业发展有限公司 | 一种基于Redis和HDFS的海量小文件存储方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7512673B2 (en) * | 2001-01-11 | 2009-03-31 | Attune Systems, Inc. | Rule based aggregation of files and transactions in a switched file system |
| US8078686B2 (en) * | 2005-09-27 | 2011-12-13 | Siemens Product Lifecycle Management Software Inc. | High performance file fragment cache |
| US9054920B2 (en) * | 2011-03-31 | 2015-06-09 | Alcatel Lucent | Managing data file transmission |
-
2022
- 2022-01-11 CN CN202210023933.7A patent/CN114374687B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017028718A1 (zh) * | 2015-08-19 | 2017-02-23 | 阿里巴巴集团控股有限公司 | 数据读取方法和装置 |
| CN111966647A (zh) * | 2020-08-21 | 2020-11-20 | 苏州浪潮智能科技有限公司 | 一种小文件的云存储方法、装置、服务器及存储介质 |
| CN112650711A (zh) * | 2020-12-22 | 2021-04-13 | 浪潮卓数大数据产业发展有限公司 | 一种基于Redis和HDFS的海量小文件存储方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114374687A (zh) | 2022-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107870973B (zh) | 一种加快多路监控同时回放的文件存储系统 | |
| CA2910211C (en) | Object storage using multiple dimensions of object information | |
| US9355112B1 (en) | Optimizing compression based on data activity | |
| JP5087467B2 (ja) | コンピュータストレージシステムにおいてデータ圧縮並びに整合性を管理する方法および装置 | |
| CN110647497A (zh) | 一种基于hdfs的高性能文件存储与管理系统 | |
| US8938517B2 (en) | System, method and computer program product for managing a remote storage | |
| US10860245B2 (en) | Method and apparatus for optimizing data storage based on application | |
| CN109547566B (zh) | 一种基于内存分配的多线程上传优化方法 | |
| CN105094695B (zh) | 一种存储方法和系统 | |
| CN101673192B (zh) | 时序化的数据处理方法、装置及系统 | |
| CN110727406B (zh) | 一种数据存储调度方法及装置 | |
| CN103917962A (zh) | 读取存储在存储系统上的文件 | |
| CN105100716B (zh) | 一种用于网络视频监控的安全存储单元及其系统 | |
| US20100174878A1 (en) | Systems and Methods for Monitoring Archive Storage Condition and Preventing the Loss of Archived Data | |
| CN102394936B (zh) | 集群系统无损业务维护方法 | |
| US20180203612A1 (en) | Adaptive storage reclamation | |
| CN114374687B (zh) | 热磁存储与蓝光存储之间的文件传输方法及装置 | |
| WO2023185111A1 (zh) | 一种数据文件的快速存取方法及装置 | |
| CN104298697A (zh) | 一种fat32格式的数据文件管理系统 | |
| CN105068875A (zh) | 一种智能数据处理方法及装置 | |
| CN110737635B (zh) | 一种数据分块方法 | |
| CN111459402A (zh) | 磁盘可控缓冲写方法、控制器、混合io调度方法及调度器 | |
| JP7323801B2 (ja) | 情報処理装置および情報処理プログラム | |
| CN110309138A (zh) | 数据合并方法、基于fpga的合并器及数据库系统 | |
| CN114625695A (zh) | 数据处理方法以及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |