CN114780023A - 一种数据文件的快速存取方法及装置 - Google Patents
一种数据文件的快速存取方法及装置 Download PDFInfo
- Publication number
- CN114780023A CN114780023A CN202210317577.XA CN202210317577A CN114780023A CN 114780023 A CN114780023 A CN 114780023A CN 202210317577 A CN202210317577 A CN 202210317577A CN 114780023 A CN114780023 A CN 114780023A
- Authority
- CN
- China
- Prior art keywords
- data
- storage
- file
- data file
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 93
- 238000007906 compression Methods 0.000 claims abstract description 48
- 230000006835 compression Effects 0.000 claims abstract description 48
- 238000007710 freezing Methods 0.000 claims abstract description 21
- 238000010257 thawing Methods 0.000 claims abstract description 12
- 230000008014 freezing Effects 0.000 claims abstract description 11
- 230000007774 longterm Effects 0.000 claims abstract description 11
- 241001025261 Neoraja caerulea Species 0.000 claims abstract description 6
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000013500 data storage Methods 0.000 claims description 37
- 230000006837 decompression Effects 0.000 claims description 10
- 238000007726 management method Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013508 migration Methods 0.000 claims description 3
- 230000005012 migration Effects 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000013144 data compression Methods 0.000 abstract description 2
- 238000005457 optimization Methods 0.000 abstract description 2
- 230000003287 optical effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005299 abrasion Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000005338 heat storage Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
- G06F3/0611—Improving I/O performance in relation to response time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
- G06F3/0616—Improving the reliability of storage systems in relation to life time, e.g. increasing Mean Time Between Failures [MTBF]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
- G06F3/0617—Improving the reliability of storage systems in relation to availability
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
- G06F3/0635—Configuration or reconfiguration of storage systems by changing the path, e.g. traffic rerouting, path reconfiguration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0643—Management of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据文件的快速存取方法，包括以下步骤：S1、接收数据文件，对该数据文件进行预处理；S2、根据存储要求和压缩率，对数据文件进行速冻存储处理；S3、数据文件快速解冻读取处理。本发明还提供上述数据文件的快速存取方法使用的快速存取装置。本发明采用冷热数据分层存储、数据速冻解冻、数据压缩和查询优化等技术，以及成本和容量兼顾的蓝光存储介质，以及在数据文件访问时，无需磁盘目录逐级检索，通过关键字在数据库中快速定位文件存储位置，并读取数据文件的内容，不但提供了成本更低、安全性更高且适于数据长期存储的存储，使得大量的数据文件得以长期或永久存储。
Description
技术领域
本发明涉及大量数据文件处理、存储和读取领域，更具体地说，涉及一种数据文件的快速存取方法及装置。
背景技术
对政府、保险、医疗、教育、金融等行业而言，为了保障用户和企业的合法权益、保护用户隐私信息，以及为投诉、法律诉讼、历史研究等提供充分的依据，大量文件需要长期存储，或永久存储。如：保险行业的投保影像文件、投保签字照片等文件，需要在保单有效期内存储；终身险业务文件，需要存储50年以上。医疗行业，国家规定数据文件要存储15-30年以上。金融机构的数据库备份需要永久存储；银行窗口业务数据需要存储至业务终止。
随着时间推移及业务数字化发展，这些长期或永久存储的数据文件不断产生，且产生的速度随着各行业信息化和数字化水平的提升不断加快。如银行每次办理业务时，需要对每个证件拍照保存，每天都会生产非常多的文件；保险公司、保险中介机构每笔业务都要产生投保人、被保险人的个人信息、录音、录像、照片等数据文件。
针对这些大量文件需要快速归档存储和快速读取的业务场景，不仅要解决海量数据文件存储的问题，还要解决如何快速存储这些文件，同时在使用时如何快速访问到这些文件，这已经成为相关政府部门、企业以及行业用户的共同诉求。
面向这一需求，目前主要有3类解决方案，即磁盘、磁带和光盘存储。
其中，磁盘存储方案是将这些数据文件存储在磁盘设备上，如专用存储一体机、服务器等。该方案在访问数据文件时能够提供相对较快的查询性能，但由于设备自身限制和存储介质的影响，该方案首先扩展性能存在瓶颈，无法为不断增长的大量文件提供的足够存储空间及可扩展性；其次，由于设备采用存储介质一般为磁盘，磁盘读写速度较快，但生命周期为 3-5年，不适合存储归档数据文件几十年的需求。同时磁盘的采购成本相对较高，也大大增加了政府部门及企业的资金投入。
磁带存储方案以此带为存储介质存储数据文件。磁带存储是由磁带机及其控制器组成的存储设备，在记录或读取数据时通过驱动磁带相对磁头运动、用磁头进行电磁转换实现顺序记录或读取，对比磁盘和光盘，访问速度适中。同时，磁带存储介质易受电磁辐射而损坏，磁带上的数据信号会随时间推移变弱，需要定期检查和刷新。在使用过程中，磁带还会磨损，受潮发霉，寿命有限；磁带规格众多，互不兼容，如果老的磁带机被淘汰，磁带上的数据将无法读取。另外，随着现有存储技术的成熟，磁带存储的价格等优势也渐已消失。
光盘存储方案以光盘作为存储介质存储数据文件。鉴于光盘具有记录密度高、非接触式读写等特性，因此该方案存储量大，能够满足大量数据文件存储的要求；可靠性高，对环境的适用性强，不易损坏、数据不易丢失；数据可以长期，存储寿命可达到10年～50年。但磁盘在读取数据时，转速低于磁盘，且会因数据矫正、光盘磨损等影响速度，故光盘存储方案的访问速度比磁盘和磁带的访问速度要慢。
综合以上3类方案，磁盘存储虽然读写速度相对较快，但其使用寿命短；磁带存储访问速度适中，但生命周期较短、可靠性差，而且对使用和保存环境有较高要求；而光盘生命周期长、可靠性强，但数据访问速度最慢。因此，上述3种方案都无法满足当前大量数据文件长期存储和快速读取的需求。
在此情况下，为兼顾大量数据文件的存储空间、访问性能及总体成本等问题，有必要设计和提供一种数据文件的快速存取装置，通过采用磁盘存储热数据，光盘存储冷数据的冷热分层存储、数据速冻解冻、数据压缩和查询优化等技术，实现以最优的成本对大量数据文件进行快速存储和读取。同时，该系统或装置还需要需要具备备兼容性强、设计简单、部署灵活、操作便捷、采购和使用成本低廉、扩展性强等特性，能够方便大范围推广使用，以满足大量数据文件长期存储、快速访问和降低成本等需求，提升数据文件快速存储与读取装置面向大量数据文件存储的可用性、可靠性和可扩展性。
发明内容
本发明的目的在于提供一种数据文件的快速存取方法，以解决上述背景技术中提出的问题，本发明提供如下技术方案：
一种数据文件的快速存取方法，包括以下步骤：
S1、接收数据文件，对该数据文件进行预处理，其中包括如下子步骤：
S11、对接收的数据文件设置访问频率值；
S12、提取该数据文件的文件信息；
S13、根据所述文件信息，计算数据文件压缩率，确定存储方式和存储路径；
S2、根据存储要求和压缩率，对数据文件进行速冻存储处理，其中包括如下子步骤：
S21、生成数据文件的索引文件；
S22、根据所述数据文件压缩率，对数据文件进行压缩；
S23、根据所述存储方式和路径，对压缩后的数据文件进行存储；
S3、数据文件快速解冻读取处理，其中包括如下子步骤：
S31、从用户查询请求中获取数据文件信息，根据所述数据文件信息，获取与所述数据文件匹配的数据文件索引；
S32、根据数据文件索引从存储模块中查询并提取压缩数据文件；
S33、根据所述数据文件索引中的数据文件压缩率，解压提取的压缩数据文件；
所述数据文件索引文件的格式包括如下字段：
字段1：数据文件压缩率C；
字段2：存储路径；
字段3：访问频率值；
字段4：数据文件信息。
本发明通过对数据文件进行数据文件信息提取、快速速冻和解冻读取处理、文件压缩和解压缩处理、冷热数据差异化存储和索引优化，以提升大量数据文件存储和读取的性能及效率，本发明采用冷热数据分层存储、数据速冻解冻、数据压缩和查询优化等技术，以及成本和容量兼顾的蓝光存储介质，以及在数据文件访问时，无需磁盘目录逐级检索，通过关键字在数据库中快速定位文件存储位置，并读取数据文件的内容，不但提供了成本更低、安全性更高且适于数据长期存储的存储，使得大量的数据文件得以长期或永久存储，而且解决了当前数据文件存储存在的存储空间不足、使用成本高、读取速度慢等难题。
优选地，所述数据文件压缩率通过快速动态压缩率(RDC)模型计算获取，所述RDC模型为：
C＝logmax(N，n)min(N，n)*100％；
式中，C为数据文件压缩率；N为用于存储数据文件的存储模块的存储极值；n为数据文件的存储条件值；
所述存储方式根据文件信息中的数据存储要求确定，所述存储路径根据数据存储要求对应的存储模块来确定；
所述存储模块可根据数据文件的访问频率值动态对存储的数据文件进行顺序排序；所述顺序排序规则为根据访问频率高低进行排序。
优选地，所述步骤S3.2中根据数据文件索引从存储模块中查询并提取压缩数据文件，具体包括以下步骤：
S321、从用户查询请求中获取的数据文件信息中获取数据文件压缩率；
S322、根据数据文件压缩率与索引文件中的字段1确定数据文件的索引文件；
S323、根据索引文件中的字段2确定数据文件的存储路径；
S324、根据索引文件中的字段2找到存储数据文件的存储模块；
S325、根据索引文件中的字段4获取数据文件。
优选地，所述步骤S325中根据索引文件的字段4获取数据文件，具体包括以下步骤：
S3251、从存储模块存储中提取数据文件访问频率的统计信息，该统计信息为数据文件的访问频率的最大值和最小值，根据最大值和最小值计算获得访问频率的中间值；
S3252、根据访问频率的中间值将存储模块分成访问频率值大于访问频率的中间值的存储区域1和小于访问频率的中间值的存储区域2；
S3253、将索引文件中的字段3与访问频率的中间值进行比较，确定存储区域；
S3254、获取数据文件。
本发明还提供上述的一种数据文件的快速存取方法使用的快速存取装置，包括数据接收模块、热存储池、数据处理模块、冷存储池、解冻模块、快速查询信息存储单元和输出单元；所述数据接收模块通过数据线与数据文件源连接，所述数据接收模块通过数据总线与热存储池和数据处理模块连接；所述热存储池通过数据总线与数据接收模块和数据处理模块连接；所述数据处理模块通过数据总线与数据接收模块、热存储池、冷存储池和快速查询信息存储单元连接；所述冷存储池通过数据总线与所述数据处理模块和解冻模块连接；所述解冻模块通过数据总线与冷存储池、热存储池和快速查询信息存储单元连接；所述快速查询信息存储单元通过数据总线与数据处理模块、解冻模块和输出单元；
所述输出单元用于从文件快速存储与读取装置接收到的用户请求中分离并获取查询条件，并将所述查询条件发送至所述快速查询信息存储单元；然后从所述热存储池中读取与所述查询条件对应的查询结果并输出，从而完成数据文件的快速读取；
当所述热存储池中存在所述结果文件时，则所述查询结果为“true”，所述输出单元从所述热存储池中读取所述结果数据文件并输出；当所述热存储池中不存在所述结果文件时，则所述查询结果为“false”，所述输出单元输出“查询结果不存在”。
进一步地，所述数据接收模块包括流数据接入单元和批数据接入单元；
所述流数据接入单元通过数据总线与数据处理模块连接，用于为流数据文件提供连接接口或像流水一样接收流数据文件，同时对流数据文件的大小、日期、类型、MD5值、存储目录等信息进行识别，并将接入的数据文件传输至数据处理模块；其中，所述流数据接入单元包括多个流连接器，连接器之间通过数据总线并行连接；所述流连接器可以在流数据文件接入时由所述流数据接入单元按需创建，也可以预先创建好，在流数据文件接入时由所述流数据接入单元按需分配；
所述批数据接入单元通过数据总线与热存储池连接，用于为批量数据文件提供连接接口，及批量地接入批量数据文件，同时对批量数据文件的大小、日期、类型、MD5值、存储目录等信息进行识别，并将接入的数据文件传输至热存储池；
其中，所述批数据接入单元包括多个批连接器，批连接器之间通过数据总线并行连接；所述批连接器可以在批量数据文件接入时由所述流数据接入单元按需创建，也可以预先创建好，并按照数据文件的类型进行分组，在批数据文件接入时由所述流数据接入单元按需分配。
进一步地，所述热存储池包括批量文件存储单元和结果文件存储单元；
所述批量文件存储单元通过数据总线与所述批数据接入单元和所述数据处理模块连接，用于临时存储批量数据文件，等待所述数据处理模块的处理，从而减缓所述数据处理模块的数据处理压力；
所述结果文件存储单元通过数据总线与所述解冻模块和所述输出单元连接，用于接收并临时存储所述结果数据文件，从而提升用户访问时的数据文件读取速度，实现快速读取；
其中，所述批量文件存储单元和所述结果文件存储单元均采用磁介质作为存储介质，从而在兼顾成本的同时提供高效数据存储及数据文件访问性能，提升数据文件传输、存储和读取的效率。
进一步地，所述数据处理模块包括元数据处理单元、速冻处理单元和压缩单元；
所述元数据处理单元用于提取数据文件中的元数据，并传输至快速查询信息存储单元；
所述速冻处理单元用于对数据文件进行速冻，即通过添加数据文件标签对数据文件进行分类，并添加访问权限；
所述压缩单元用于将提取元数据和速冻后的数据文件以文件目录为层级进行压缩打包，实现类似于将目录中的文件“速冻”操作，然后将压缩打包的数据文件传输至冷存储池进行存储，从而通过多文件目录压缩减少文件体积，从而减少存储介质的写入量，最终实现文件的快速写入；
其中元数据处理单元、速冻处理单元和压缩单元均通过数据总线与数据接收模块、热存储池、冷存储池和快速查询信息存储单元连接；所述数据文件包括流数据文件和批量数据文件，流数据文件由所述流连接器接入后直接进行处理，批量数据文件先缓存在所述批量存储单元中，按照预设的数据量阈值进行批量处理。
进一步地，所述冷存储池包括数据存储单元、备份单元、备存单元和管理单元；
所述数据存储单元用于长期或永久存储所述数据处理模块处理后的数据文件；
所述备份单元用于备份所述数据存储单元存储的数据文件，从而实现在所述数据存储单元异常或故障时，数据文件能够快速恢复，提升所述的可靠性；
所述备存单元用于为所述数据存储单元备用的存储资源，从而实现在所述数据存储单元故障或损坏时，将存储任务及存储的数据文件快速切换或迁移至备用的存储单元，保障所述装置运行的连续性和数据存储的完整性；
所述管理单元用于管理存储的数据文件，并对所述数据存储单元、所述备份单元和所述备存单元三者之间的协同工作、存储任务切换、数据迁移等进行调度和管理；
其中，所述数据存储单元、所述备份单元和所述备存单元均通过数据总线与所述数据处理模块和解冻模块连接，均采用蓝光光盘作为存储介质，蓝光存储介质可以将数据文件存储 50年以上，从而实现大量数据文件的长期存储或永久存储，并降低存储成本。
进一步地，所述解冻模块包括解压缩单元和解冻处理单元；
所述解压缩单元用于获取并根据速查询信息存储单元中存储的与用户查询条件对应的请求元数据，从冷存储池中获取对应的数据文件，并对获取的所述数据文件进行解压缩操作，得到解压数据文件；
所述解冻处理单元用于对所述解压的数据文件进行解冻，解冻后得到结果数据文件；然后在冷存储池中存在所述结果数据文件时，将所述结果数据文件上传至热存储池，供用户访问和下载；在冷存储池中不存在所述结果数据文件时，返回空值；
其中，所述解压缩单元和所述解冻处理单元均通过数据总线与冷存储池、热存储池和快速查询信息存储单元连接。
相比于现有技术，本发明的优点在于：
1、本发明通过对数据文件进行数据文件信息提取、快速速冻和解冻读取处理、文件压缩和解压缩处理、冷热数据差异化存储和索引优化，以提升大量数据文件存储和读取的性能及效率，本发明采用冷热数据分层存储、数据速冻解冻、数据压缩和查询优化等技术，以及成本和容量兼顾的蓝光存储介质，以及在数据文件访问时，无需磁盘目录逐级检索，通过关键字在数据库中快速定位文件存储位置，并读取数据文件的内容，不但提供了成本更低、安全性更高且适于数据长期存储的存储，使得大量的数据文件得以长期或永久存储，而且解决了当前数据文件存储存在的存储空间不足、使用成本高、读取速度慢等难题。
2、数据文件灵活处理：根据业务需求，可以像流水一样实时接收并处理数据文件，也可以定时定量批量地处理数据文件，有效地提升了数据文件处理的效率和灵活性，适用性更强。
3、可靠与成本兼顾的海量存储空间：提供了适用于大量数据文件长期或永久存储的装置，且存储空间可根据业务增长需要按需扩展；同时降低存储成本，数据长期或永久存储的可靠性和安全性得到保障。在存储层面实现面大量数据文件存储技术及能力的升级。
4、提升存储空间利用率和传输速度：通过数据文件的压缩，减少了数据文件对存储空间的使用量，以及数据文件在系统内部的传输速度。
5、数据文件的快速读取能力：通过元数据快速定位数据文件存储的位置，并以热存储为大量数据文件下载提供缓存支持，大大提升了大量数据文件查询和读取的速度。
6、本发明的数据文件的快速存取装置在设计时根据不同数据文件的处理要求及流程选用不同的介质作为存储介质，并具设计简单、部署灵活、操作便捷，在提升大量文件存储和读取效率的同时，也能够帮助客户降低使用门槛，快速完成部署，减轻日常运维的压力，以低成本获得最佳的数据文件存储、处理和访问等数据库服务体验，满足业务增长的短期及长期需求。
附图说明
图1为本发明实施例的一种数据文件的快速存取装置的结构示意图；
图2为本发明实施例的数据接收模块的结构示意图；
图3为本发明实施例的热存储池的结构示意图；
图4为本发明实施例的的数据处理模块的结构示意图；
图5为本发明实施例的冷存储池的结构示意图；
图6为本发明实施例的解冻模块的结构示意图；
图7为本发明实施例的一种数据文件的快速存取流程图。
具体实施方式
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
实施例一
如图1所示，本实施例提供一种数据文件的快速存取装置，包括数据接收模块100、热存储池200、数据处理模块300、冷存储池400、解冻模块500、快速查询信息存储单元600和输出单元700。
所述数据接收模块100通过数据线与数据文件源连接，所述数据接收模块100通过数据总线与热存储池200和数据处理模块300连接；所述热存储池200通过数据总线与数据接收模块100和数据处理模块300连接；所述数据处理模块300通过数据总线与数据接收模块100、热存储池200、冷存储池400和快速查询信息存储单元600连接；所述冷存储池400通过数据总线与所述数据处理模块300和解冻模块500连接；所述解冻模块500通过数据总线与冷存储池400、热存储池200和快速查询信息存储单元600连接；所述快速查询信息存储单元 600通过数据总线与数据处理模块300、解冻模块500和输出单元700；
所述输出单元700用于从文件快速存储与读取装置接收到的用户请求中分离并获取查询条件，并将所述查询条件发送至所述快速查询信息存储单元600；然后从所述热存储池200 中读取与所述查询条件对应的查询结果并输出，从而完成数据文件的快速读取；
当所述热存储池200中存在所述结果文件时，则所述查询结果为“true”，所述输出单元700从所述热存储池200中读取所述结果数据文件并输出；当所述热存储池200中不存在所述结果文件时即读取的返回结果值为空值，则所述查询结果为“false”，所述输出单元700输出“查询结果不存在”。
如图2所示，所述数据接收模块100包括流数据接入单元101和批数据接入单元102；
所述流数据接入单元101通过数据总线与数据处理模块300连接，用于为流数据文件提供连接接口或像流水一样接收流数据文件，同时对流数据文件的大小、日期、类型、MD5值、存储目录等信息进行识别，并将接入的数据文件传输至数据处理模块；其中，所述流数据接入单元101包括多个流连接器，连接器之间通过数据总线并行连接；所述流连接器可以在流数据文件接入时由所述流数据接入单元101按需创建，也可以预先创建好，在流数据文件接入时由所述流数据接入单元101按需分配；
所述批数据接入单元102通过数据总线与热存储池200连接，用于为批量数据文件提供连接接口，及批量地接入批量数据文件，同时对批量数据文件的大小、日期、类型、MD5值、存储目录等信息进行识别，并将接入的数据文件传输至热存储池200；
其中，所述批数据接入单元102包括多个批连接器，批连接器之间通过数据总线并行连接；所述批连接器可以在批量数据文件接入时由所述流数据接入单元101按需创建，也可以预先创建好，并按照数据文件的类型进行分组，在批数据文件接入时由所述流数据接入单元 101按需分配。
如图3所示，所述热存储池200包括批量文件存储单元201和结果文件存储单元202；
所述批量文件存储单元201通过数据总线与所述批数据接入单元102和所述数据处理模块300连接，用于临时存储批量数据文件，等待所述数据处理模块300的处理，从而减缓所述数据处理模块300的数据处理压力；
所述结果文件存储单元202通过数据总线与所述解冻模块500和所述输出单元700连接，用于接收并临时存储所述结果数据文件，从而提升用户访问时的数据文件读取速度，实现快速读取；
其中，所述批量文件存储单元201和所述结果文件存储单元202均采用磁介质作为存储介质，从而在兼顾成本的同时提供高效数据存储及数据文件访问性能，提升数据文件传输、存储和读取的效率。
如图4所示，所述数据处理模块300包括元数据处理单元301、速冻处理单元302和压缩单元303；
所述元数据处理单元301用于提取数据文件中的元数据，并传输至快速查询信息存储单元600；
所述速冻处理单元302用于对数据文件进行速冻，即通过添加数据文件标签对数据文件进行分类，并添加访问权限；
所述压缩单元303用于将提取元数据和速冻后的数据文件以文件目录为层级进行压缩打包，实现类似于将目录中的文件“速冻”操作，然后将压缩打包的数据文件传输至冷存储池 400进行存储，从而通过多文件目录压缩减少文件体积，从而减少存储介质的写入量，最终实现文件的快速写入；
其中元数据处理单元301、速冻处理单元302和压缩单元303均通过数据总线与数据接收模块100、热存储池200、冷存储池400和快速查询信息存储单元600连接；所述数据文件包括流数据文件和批量数据文件，流数据文件由所述流连接器101接入后直接进行处理，批量数据文件先缓存在所述批量存储单元201中，按照预设的数据量阈值进行批量处理。
如图5所示，所述冷存储池400包括数据存储单元401、备份单元402、备存单元403和管理单元404；
所述数据存储单元401用于长期或永久存储所述数据处理模块300处理后的数据文件；
所述备份单元402用于备份所述数据存储单元401存储的数据文件，从而实现在所述数据存储单元401异常或故障时，数据文件能够快速恢复，提升所述的可靠性；
所述备存单元403用于为所述数据存储单元401备用的存储资源，从而实现在所述数据存储单元401故障或损坏时，将存储任务及存储的数据文件快速切换或迁移至备用的存储单元，保障所述装置运行的连续性和数据存储的完整性；
所述管理单元404用于管理存储的数据文件，并对所述数据存储单元401、所述备份单元402和所述备存单元403三者之间的协同工作、存储任务切换、数据迁移等进行调度和管理；
其中，所述数据存储单元401、所述备份单元402和所述备存单元403均通过数据总线与所述数据处理模块300和解冻模块500连接，均采用蓝光光盘作为存储介质，蓝光存储介质可以将数据文件存储50年以上，从而实现大量数据文件的长期存储或永久存储，并降低存储成本。
如图6所示，所述解冻模块500包括解压缩单元501和解冻处理单元502；
所述解压缩单元501用于获取并根据速查询信息存储单元600中存储的与用户查询条件对应的请求元数据，从冷存储池400中获取对应的数据文件，并对获取的所述数据文件进行解压缩操作，得到解压数据文件；
所述解冻处理单元502用于对所述解压的数据文件进行解冻，解冻后得到结果数据文件；然后在冷存储池400中存在所述结果数据文件时，将所述结果数据文件上传至热存储池200，供用户访问和下载；在冷存储池400中不存在所述结果数据文件时，返回空值；
其中，所述解压缩单元501和所述解冻处理单元502均通过数据总线与冷存储池400、热存储池200和快速查询信息存储单元600连接。
所述索引文件格式为数据文件的索引文件的格式，其中：
字段1：数据文件压缩率C，为数据文件被压缩的压缩率值，所述数据文件压缩率C，根据接收的数据文件的所述文件信息，通过快速动态压缩率(RDC)模型计算获取，用于确定数据文件的存储模块；
其中，所述RDC模型为：
C＝logmax(N，n)min(N，n)*100％；
式中，C为数据文件压缩率；N为用于存储数据文件的存储模块的存储极值；n为数据文件的存储条件值；
字段2：存储路径，为数据文件存储的所述存储模块对应的路径，根据所述数据存储要求对应的存储模块来确定。
字段3：访问频率值，为存储于存储模块中的数据文件访问频率的统计值，所述访问频率值从所述存储模块中存储的数据文件的所述访问频率的统计信息中获取。
字段4：数据文件信息，为数据文件的描述信息，用于对数据文件进行具体的描述，如数据文件的名称、大小、日期、类型、MD5值、元数据、业务属性、存储条件等。
所述数据文件快速存储流程包括如下步骤：
S1、接收数据文件，对该数据文件进行预处理：其中，接收数据文件，包括：流式数据实时接收和批量数据实时接收，针对实时产生的流式数据，系统提供流数据接口，将流数据接入系统，并根据流数据的业务属性选择不同的处理方式进行累计处理，当流数据的业务属性为时间时，按照时间段累计流数据，并将每个时间段的数据文件转换成系统统一的数据文件格式；当流数据的业务属性为事件时，对所述流数据文件按照事件进行归类处理和数据文件格式的统一转换，并标记事件的开始和结束。针对批量的历史数据，通过数据文件接入接口，如JDBC、ODBC等，接收数据文件时同时判断数据文件的格式是否与系统存储格式匹配，若不匹配再进行格式转换后批量接入；若匹配直接批量接入。
S11、对接收的数据文件设置访问频率值：数据文件的所述访问频率值的初始值为“0”，通过数据文件便签的方式进行设置；随着数据文件的访问频率增加，所述访问频率值的初始值也将递增，并生成数据文件的访问频率统计信息。
S12、提取该数据文件的文件信息：提取的数据文件的所述文件信息包括：数据文件的名称、大小、日期、类型、MD5值、元数据、业务属性、存储条件等。
根据所述文件信息，计算数据文件压缩率，确定存储方式和存储路径：所述数据文件压缩率，通过快速动态压缩率(RDC)模型计算获取；所述存储方式根据所述文件信息中的数据存储要求确定，所述存储路径根据所述数据存储要求对应的存储模块来确定；
所述存储模块存储数据文件的所述访问频率的统计信息，并可根据数据文件的访问频率值动态对存储的数据文件进行顺序排序，所述顺序排序规则为根据访问频率高低进行排序。
S2、根据存储要求和压缩率，对数据文件进行速冻存储处理：
S21、生成数据文件的索引文件：数据文件的所述索引文件的格式包括如下字段：
字段1：数据文件压缩率C；
字段2：存储路径；
字段3：访问频率值；
字段4：数据文件信息。
S22、根据所述数据文件压缩率，对数据文件进行压缩；
S23、根据所述存储方式和路径，对压缩后的数据文件进行存储；
S24、数据文件存储成功。
所述数据文件读取流程包括如下步骤：
S3、数据文件快速解冻读取处理：
S31、从用户查询请求中获取数据文件信息，根据所述数据文件信息，获取与所述数据文件匹配的数据文件索引；
S32、根据数据文件索引从存储模块中查询并提取压缩数据文件；
S321、从用户查询请求中获取的数据文件信息中获取数据文件压缩率；
S322、根据数据文件压缩率与索引文件中的字段1确定数据文件的索引文件；
S323、根据索引文件中的字段2确定数据文件的存储路径；
S324、根据索引文件中的字段2找到存储数据文件的存储模块；
S325、根据索引文件中的字段4获取数据文件；
S3251、从存储模块存储中提取数据文件访问频率的统计信息，该统计信息为数据文件的访问频率的最大值和最小值，根据最大值和最小值计算获得访问频率的中间值；
S3252、根据访问频率的中间值将存储模块分成访问频率值大于访问频率的中间值的存储区域1和小于访问频率的中间值的存储区域2；
S3253、将索引文件中的字段3与访问频率的中间值进行比较，确定存储区域；
S3254、获取数据文件；
S33、根据所述数据文件索引中的数据文件压缩率，解压提取的压缩数据文件。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (10)
1.一种数据文件的快速存取方法，其特征在于，包括以下步骤：
S1、接收数据文件，对该数据文件进行预处理，其中包括如下子步骤：
S11、对接收的数据文件设置访问频率值；
S12、提取该数据文件的文件信息；
S13、根据所述文件信息，计算数据文件压缩率，确定存储方式和存储路径；
S2、根据存储要求和压缩率，对数据文件进行速冻存储处理，其中包括如下子步骤：
S21、生成数据文件索引文件；
S22、根据所述数据文件压缩率，对数据文件进行压缩；
S23、根据所述存储方式和路径，对压缩后的数据文件进行存储；
S3、数据文件快速解冻读取处理，其中包括如下子步骤：
S31、从用户查询请求中获取数据文件信息，根据所述数据文件信息，获取与所述数据文件匹配的数据文件索引；
S32、根据数据文件索引从存储模块中查询并提取压缩数据文件；
S33、根据所述数据文件索引中的数据文件压缩率，解压提取的压缩数据文件；
所述数据文件索引文件的格式包括如下字段：
字段1：数据文件压缩率C；
字段2：存储路径；
字段3：访问频率值；
字段4：数据文件信息。
2.根据权利要求1所述的一种数据文件的快速存取方法，其特征在于：所述数据文件压缩率通过快速动态压缩率(RDC)模型计算获取，所述RDC模型为：
C＝logmax(N，n)min(N，n)*100％；
式中，C为数据文件压缩率；N为用于存储数据文件的存储模块的存储极值；n为数据文件的存储条件值；
所述存储方式根据文件信息中的数据存储要求确定，所述存储路径根据数据存储要求对应的存储模块来确定；
所述存储模块可根据数据文件的访问频率值动态对存储的数据文件进行顺序排序；所述顺序排序规则为根据访问频率高低进行排序。
3.根据权利要求1所述的一种数据文件的快速存取方法，其特征在于：所述步骤S3.2中根据数据文件索引从存储模块中查询并提取压缩数据文件，具体包括以下步骤：
S321、从用户查询请求中获取的数据文件信息中获取数据文件压缩率；
S322、根据数据文件压缩率与索引文件中的字段1确定数据文件的索引文件；
S323、根据索引文件中的字段2确定数据文件的存储路径；
S324、根据索引文件中的字段2找到存储数据文件的存储模块；
S325、根据索引文件中的字段4获取数据文件。
4.根据权利要求3所述的一种数据文件的快速存取方法，其特征在于，所述步骤S325中根据索引文件的字段4获取数据文件，具体包括以下步骤：
S3251、从存储模块存储中提取数据文件访问频率的统计信息，该统计信息为数据文件的访问频率的最大值和最小值，根据最大值和最小值计算获得访问频率的中间值；
S3252、根据访问频率的中间值将存储模块分成访问频率值大于访问频率的中间值的存储区域1和小于访问频率的中间值的存储区域2；
S3253、将索引文件中的字段3与访问频率的中间值进行比较，确定存储区域；
S3254、获取数据文件。
5.如权利要求1所述的一种数据文件的快速存取方法使用的快速存取装置，其特征在于：包括数据接收模块(100)、热存储池(200)、数据处理模块(300)、冷存储池(400)、解冻模块(500)、快速查询信息存储单元(600)和输出单元(700)；所述数据接收模块(100)通过数据线与数据文件源连接，所述数据接收模块(100)通过数据总线与热存储池(200)和数据处理模块(300)连接；所述热存储池(200)通过数据总线与数据接收模块(100)和数据处理模块(300)连接；所述数据处理模块(300)通过数据总线与数据接收模块(100)、热存储池(200)、冷存储池(400)和快速查询信息存储单元(600)连接；所述冷存储池(400)通过数据总线与所述数据处理模块(300)和解冻模块(500)连接；所述解冻模块(500)通过数据总线与冷存储池(400)、热存储池(200)和快速查询信息存储单元(600)连接；所述快速查询信息存储单元(600)通过数据总线与数据处理模块(300)、解冻模块(500)和输出单元(700)；
所述输出单元(700)用于从文件快速存储与读取装置接收到的用户请求中分离并获取查询条件，并将所述查询条件发送至所述快速查询信息存储单元(600)；然后从所述热存储池(200)中读取与所述查询条件对应的查询结果并输出，从而完成数据文件的快速读取；
当所述热存储池(200)中存在所述结果文件时，则所述查询结果为“true”，所述输出单元(700)从所述热存储池(200)中读取所述结果数据文件并输出；当所述热存储池(200)中不存在所述结果文件时(即读取的返回结果值为空值)，则所述查询结果为“false”，所述输出单元(700)输出“查询结果不存在”。
6.根据权利要求5所述的快速存取装置，其特征在于：所述数据接收模块(100)包括流数据接入单元(101)和批数据接入单元(102)；
所述流数据接入单元(101)通过数据总线与数据处理模块(300)连接，用于为流数据文件提供连接接口或像流水一样接收流数据文件，同时对流数据文件的大小、日期、类型、MD5值、存储目录等信息进行识别，并将接入的数据文件传输至数据处理模块；其中，所述流数据接入单元(101)包括多个流连接器，连接器之间通过数据总线并行连接；所述流连接器可以在流数据文件接入时由所述流数据接入单元(101)按需创建，也可以预先创建好，在流数据文件接入时由所述流数据接入单元(101)按需分配；
所述批数据接入单元(102)通过数据总线与热存储池(200)连接，用于为批量数据文件提供连接接口，及批量地接入批量数据文件，同时对批量数据文件的大小、日期、类型、MD5值、存储目录等信息进行识别，并将接入的数据文件传输至热存储池(200)；
其中，所述批数据接入单元(102)包括多个批连接器，批连接器之间通过数据总线并行连接；所述批连接器可以在批量数据文件接入时由所述流数据接入单元(101)按需创建，也可以预先创建好，并按照数据文件的类型进行分组，在批数据文件接入时由所述流数据接入单元(101)按需分配。
7.根据权利要求5所述的快速存取装置，其特征在于：所述热存储池(200)包括批量文件存储单元(201)和结果文件存储单元(202)；
所述批量文件存储单元(201)通过数据总线与所述批数据接入单元(102)和所述数据处理模块(300)连接，用于临时存储批量数据文件，等待所述数据处理模块(300)的处理，从而减缓所述数据处理模块(300)的数据处理压力；
所述结果文件存储单元(202)通过数据总线与所述解冻模块(500)和所述输出单元(700)连接，用于接收并临时存储所述结果数据文件，从而提升用户访问时的数据文件读取速度，实现快速读取；
其中，所述批量文件存储单元(201)和所述结果文件存储单元(202)均采用磁介质作为存储介质，从而在兼顾成本的同时提供高效数据存储及数据文件访问性能，提升数据文件传输、存储和读取的效率。
8.根据权利要求5所述的快速存取装置，其特征在于：所述数据处理模块(300)包括元数据处理单元(301)、速冻处理单元(302)和压缩单元(303)；
所述元数据处理单元(301)用于提取数据文件中的元数据，并传输至快速查询信息存储单元(600)；
所述速冻处理单元(302)用于对数据文件进行速冻，即通过添加数据文件标签对数据文件进行分类，并添加访问权限；
所述压缩单元(303)用于将提取元数据和速冻后的数据文件以文件目录为层级进行压缩打包，实现类似于将目录中的文件“速冻”操作，然后将压缩打包的数据文件传输至冷存储池(400)进行存储，从而通过多文件目录压缩减少文件体积，从而减少存储介质的写入量，最终实现文件的快速写入；
其中元数据处理单元(301)、速冻处理单元(302)和压缩单元(303)均通过数据总线与数据接收模块(100)、热存储池(200)、冷存储池(400)和快速查询信息存储单元(600)连接；所述数据文件包括流数据文件和批量数据文件，流数据文件由所述流连接器(101)接入后直接进行处理，批量数据文件先缓存在所述批量存储单元(201)中，按照预设的数据量阈值进行批量处理。
9.根据权利要求5所述的快速存取装置，其特征在于：所述冷存储池(400)包括数据存储单元(401)、备份单元(402)、备存单元(403)和管理单元(404)；
所述数据存储单元(401)用于长期或永久存储所述数据处理模块(300)处理后的数据文件；
所述备份单元(402)用于备份所述数据存储单元(401)存储的数据文件，从而实现在所述数据存储单元(401)异常或故障时，数据文件能够快速恢复，提升所述的可靠性；
所述备存单元(403)用于为所述数据存储单元(401)备用的存储资源，从而实现在所述数据存储单元(401)故障或损坏时，将存储任务及存储的数据文件快速切换或迁移至备用的存储单元，保障所述装置运行的连续性和数据存储的完整性；
所述管理单元(404)用于管理存储的数据文件，并对所述数据存储单元(401)、所述备份单元(402)和所述备存单元(403)三者之间的协同工作、存储任务切换、数据迁移等进行调度和管理；
其中，所述数据存储单元(401)、所述备份单元(402)和所述备存单元(403)均通过数据总线与所述数据处理模块(300)和解冻模块(500)连接，均采用蓝光光盘作为存储介质，蓝光存储介质可以将数据文件存储50年以上，从而实现大量数据文件的长期存储或永久存储，并降低存储成本。
10.根据权利要求5所述的快速存取装置，其特征在于：所述解冻模块(500)包括解压缩单元(501)和解冻处理单元(502)；
所述解压缩单元(501)用于获取并根据速查询信息存储单元(600)中存储的与用户查询条件对应的请求元数据，从冷存储池(400)中获取对应的数据文件，并对获取的所述数据文件进行解压缩操作，得到解压数据文件；
所述解冻处理单元(502)用于对所述解压的数据文件进行解冻，解冻后得到结果数据文件；然后在冷存储池(400)中存在所述结果数据文件时，将所述结果数据文件上传至热存储池(200)，供用户访问和下载；在冷存储池(400)中不存在所述结果数据文件时，返回空值；
其中，所述解压缩单元(501)和所述解冻处理单元(502)均通过数据总线与冷存储池(400)、热存储池(200)和快速查询信息存储单元(600)连接。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210317577.XA CN114780023A (zh) | 2022-03-29 | 2022-03-29 | 一种数据文件的快速存取方法及装置 |
| PCT/CN2022/139856 WO2023185111A1 (zh) | 2022-03-29 | 2022-12-19 | 一种数据文件的快速存取方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210317577.XA CN114780023A (zh) | 2022-03-29 | 2022-03-29 | 一种数据文件的快速存取方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114780023A true CN114780023A (zh) | 2022-07-22 |
Family
ID=82425463
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210317577.XA Pending CN114780023A (zh) | 2022-03-29 | 2022-03-29 | 一种数据文件的快速存取方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114780023A (zh) |
| WO (1) | WO2023185111A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023185111A1 (zh) * | 2022-03-29 | 2023-10-05 | 北京柏睿数据技术股份有限公司 | 一种数据文件的快速存取方法及装置 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117073303B (zh) * | 2023-10-13 | 2023-12-22 | 南通宝雪冷冻设备有限公司 | 一种螺旋速冻机的均匀制冷调控方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101676899A (zh) * | 2008-09-18 | 2010-03-24 | 上海宝信软件股份有限公司 | 海量数据库记录的归档和查询方法 |
| CN101853287A (zh) * | 2010-05-24 | 2010-10-06 | 南京高普科技有限公司 | 数据压缩快速检索文件系统及其方法 |
| US20150193473A1 (en) * | 2012-11-01 | 2015-07-09 | Guangyi Tao | Database Storage System based on Optical Disk and Method Using the System |
| CN109491595A (zh) * | 2018-09-28 | 2019-03-19 | 方信息科技（上海）有限公司 | 一种分级存储系统及方法 |
| CN110798222A (zh) * | 2019-09-27 | 2020-02-14 | 北京浪潮数据技术有限公司 | 一种数据压缩方法及装置 |
| CN111858520A (zh) * | 2020-07-21 | 2020-10-30 | 杭州溪塔科技有限公司 | 一种区块链节点数据分离存储的方法和装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5305295A (en) * | 1992-06-29 | 1994-04-19 | Apple Computer, Inc. | Efficient method and apparatus for access and storage of compressed data |
| CN106934001A (zh) * | 2017-03-03 | 2017-07-07 | 广州天源迪科信息技术有限公司 | 分布式快速清单查询系统及方法 |
| CN114780023A (zh) * | 2022-03-29 | 2022-07-22 | 北京柏睿数据技术股份有限公司 | 一种数据文件的快速存取方法及装置 |
-
2022
- 2022-03-29 CN CN202210317577.XA patent/CN114780023A/zh active Pending
- 2022-12-19 WO PCT/CN2022/139856 patent/WO2023185111A1/zh unknown
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101676899A (zh) * | 2008-09-18 | 2010-03-24 | 上海宝信软件股份有限公司 | 海量数据库记录的归档和查询方法 |
| CN101853287A (zh) * | 2010-05-24 | 2010-10-06 | 南京高普科技有限公司 | 数据压缩快速检索文件系统及其方法 |
| US20150193473A1 (en) * | 2012-11-01 | 2015-07-09 | Guangyi Tao | Database Storage System based on Optical Disk and Method Using the System |
| CN109491595A (zh) * | 2018-09-28 | 2019-03-19 | 方信息科技（上海）有限公司 | 一种分级存储系统及方法 |
| CN110798222A (zh) * | 2019-09-27 | 2020-02-14 | 北京浪潮数据技术有限公司 | 一种数据压缩方法及装置 |
| CN111858520A (zh) * | 2020-07-21 | 2020-10-30 | 杭州溪塔科技有限公司 | 一种区块链节点数据分离存储的方法和装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023185111A1 (zh) * | 2022-03-29 | 2023-10-05 | 北京柏睿数据技术股份有限公司 | 一种数据文件的快速存取方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023185111A1 (zh) | 2023-10-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9996557B2 (en) | Database storage system based on optical disk and method using the system | |
| CN108268219B (zh) | 一种处理io请求的方法及装置 | |
| CN114780023A (zh) | 一种数据文件的快速存取方法及装置 | |
| US8452932B2 (en) | System and method for efficiently creating off-site data volume back-ups | |
| US8635421B2 (en) | Snapshot based replication | |
| CN101398744B (zh) | 利用虚拟文件系统技术实现网络数据处理的方法及系统 | |
| US8650159B1 (en) | Systems and methods for managing data in cloud storage using deduplication techniques | |
| CN102012851A (zh) | 一种持续数据保护方法及服务器 | |
| US20200019474A1 (en) | Consistency recovery method for seamless database duplication | |
| CN101742263A (zh) | 一种存储视频监控录像数据的方法 | |
| CN103037004A (zh) | 云存储系统操作的实现方法和装置 | |
| CN102012933A (zh) | 分布式文件系统及利用其存储数据和提供服务的方法 | |
| CN109598156A (zh) | 一种写时重定向引擎快照流方法 | |
| CN110109778A (zh) | 一种大量小数据文件备份方法及恢复方法 | |
| WO2023015866A1 (zh) | 一种数据写入方法、装置、系统、电子设备及存储介质 | |
| US20090327295A1 (en) | Maintenance of exo-file system metadata on removable storage device | |
| CN104991747A (zh) | 数据管理方法及系统 | |
| CN102929935B (zh) | 一种基于事务的大容量数据读写方法 | |
| CN111124258B (zh) | 全闪存阵列的数据存储方法、装置、设备及可读存储介质 | |
| CN104050103A (zh) | 一种用于数据恢复的缓存替换方法与系统 | |
| CN104050057B (zh) | 一种历史感知的数据去重碎片消除方法与系统 | |
| US9336293B2 (en) | Data management apparatus and method for surveillance system | |
| CN110413631A (zh) | 一种数据查询方法及装置 | |
| CN103207916A (zh) | 元数据处理的方法和装置 | |
| US9020902B1 (en) | Reducing head and tail duplication in stored data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |