CN114035748A - 一种数据文件的存取方法与系统 - Google Patents

一种数据文件的存取方法与系统 Download PDF

Info

Publication number
CN114035748A
CN114035748A CN202111328713.7A CN202111328713A CN114035748A CN 114035748 A CN114035748 A CN 114035748A CN 202111328713 A CN202111328713 A CN 202111328713A CN 114035748 A CN114035748 A CN 114035748A
Authority
CN
China
Prior art keywords
data
cache
level
level cache
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111328713.7A
Other languages
English (en)
Inventor
范志建
陈生坚
李国煌
李仁杰
张翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lop Xiamen System Integration Co ltd
Ropt Technology Group Co ltd
Original Assignee
Lop Xiamen System Integration Co ltd
Ropt Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lop Xiamen System Integration Co ltd, Ropt Technology Group Co ltd filed Critical Lop Xiamen System Integration Co ltd
Priority to CN202111328713.7A priority Critical patent/CN114035748A/zh
Publication of CN114035748A publication Critical patent/CN114035748A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0811—Multiuser, multiprocessor or multiprocessing cache systems with multilevel cache hierarchies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提出了一种数据文件的缓存方法，该方法包括：步骤S1、获取设备ID匹配文件服务进行数据的写入操作，将所述数据文件写入缓存区；以及步骤S2、同时记录设备ID最新的数据采集时间；其中，所述缓存区包括一级缓存、二级缓存以及三级存储，所述一级缓存采用基于Redis组件的内存缓存，所述二级缓存采用基于固态硬盘的存储，所述三级存储采用基于机械硬盘的大数据组件存储。通过根据采集设备ID与数据采集时间根据一定规则来唯一生成数据ID，根据数据ID可以提取到对应的采集设备ID与数据采集时间，提高了对数据文件的缓存效率。

Description

一种数据文件的存取方法与系统
技术领域
本申请属于数据存储的技术领域，具体涉及一种数据文件的存取方法与系统。
背景技术
云存储系统，是一种将许多硬盘组合成一块大容量虚拟盘供客户端使用的系统。客户端可以使用http方式调用或者使用NFS方式挂载到自己的服务器上当硬盘使用。对客户端来说，使用比较简单。但是云存储系统需要采购，价格比较昂贵，而且有些厂家的云存储性能无法得到保障，不适合存储大批量小文件。
使用Hadoop体系的HDFS。其实HDFS是不适合存储小文件的，因为它有规定系统的最小块设置，正常为32M或者64M。但是许多人在写入HDFS前添加了一个合并文件的步骤，这样是可以实现存储，但是又得增加一个存储文件位置的数据库，以供后续查询使用，且后续提取文件需要解压合并后的文件，十分繁琐与耗时。
直接使用NoSql的大数据组件来存储，例如HBase、Cassandra等等。但是如果同时进行高并发读写操作，性能撑不住。
有鉴于此，提出一种数据文件的存取方法与系统，用于解决各种设备每天产生的非结构化数据文件的存储问题以及因为高并发存取文件导致性能不行的问题是非常具有意义的。
申请内容
为了解决现有各种设备每天产生的非结构化数据文件的存储等问题，本申请提供一种数据文件的存取方法与系统，以解决现有数据存储存在的技术缺陷问题。
第一方面，本申请提出了一种数据文件的缓存方法，该方法包括：
步骤S1、获取设备ID匹配文件服务进行数据的写入操作，将所述数据文件写入缓存区；以及
步骤S2、同时记录设备ID最新的数据采集时间；
其中，所述缓存区包括一级缓存、二级缓存以及三级存储，所述一级缓存采用基于Redis组件的内存缓存，所述二级缓存采用基于固态硬盘的存储，所述三级存储采用基于机械硬盘的大数据组件存储。
现有的数据存储都是存储在硬盘上的，目前硬盘分为机械硬盘和固态硬盘，其中机械硬盘的读写速度较慢，成本较低，而固态硬盘的读写速度较快，成本较高；另外根据采集设备ID与数据采集时间根据一定规则来唯一生成数据ID，根据数据ID可以提取到对应的采集设备ID与数据采集时间，提高了对数据文件的缓存效率。
优选的，在步骤S1中，所述数据文件同时写入一级缓存与二级缓存，具体还包括以下步骤：
步骤S11、获取数据文件的Byte数据转换成Base64字符串，与数据文件的主键ID组成Key-Value形式，存储至一级缓存中，并设置过期时间为A分钟；
步骤S12、设定写入二级缓存的存储路径为：/年/年月/年月日/年月日时/设备ID/主键ID.文件类型，并存储数据文件。通过将数据文件同时写入一级缓存以及二级缓存，在二级缓存中设定特定的存储路径，完成数据文件的落盘。
进一步优选的，在步骤S2中，还包括以下步骤：
步骤S21、设定设备ID-年月日为Key，采集时间为Value；
步骤S22、将步骤S21设定的信息与之前记录的最新采集时间进行比较，存储更大的时间值至一级缓存中；
步骤S23、并设定最新的数据采集时间的失效时间为一天。通过存储最新的数据采集时间并设定此时间的失效时间为一天，方便根据数据采集时间和采集设备ID确定数据的ID，同时方便对数据文件的读取。
进一步优选的，还包括以下步骤：
步骤S3、设定每隔N分钟执行一次以下命令：从二级缓存中扫描B小时前的数据目录，将二级缓存内的数据按设备目录批量写入三级存储中，写入完成后删除二级缓存中的数据目录，同时记录各个设备的最新写入三级存储的时间。通过基于机械硬盘的大数据组件中(如Cassandra、HBase等)将二级缓存内的数据按设备目录批量写入，由于大数据组件的存储设计规则(如分区Key、rowKey等)，按设备区分批量录入比杂乱无序单条录入速率快很多，而且压力更小，方便对数据文件的储存。
第二方面，本申请提出了一种数据文件的读取方法，该方法包括：
步骤S4、获取设备ID匹配文件服务进行数据的读取操作；
步骤S5、比较执行步骤S4时的数据采集时间T、步骤S2中记录的当天最新的数据采集时间H以及步骤S3中记录的该设备已经写入三级存储的最新时间I；
步骤S6、判断从一级缓存、二级缓存或三级存储中读取数据文件；
步骤S7、根据步骤S6的判断结果读取数据文件。
进一步优选的，步骤S5中具体还包括：
步骤S51、设定以设备ID-年月日-类型为关键字组成的KeyH，从一级缓存中查询该设备当天最新数据采集时间H；
步骤S52、将步骤S51查询到的该设备当天最新数据采集时间H与查询的设备数据采集时间T比较，计算得到两者相差的时间C；
步骤S53、按以下预定的查询规则进行数据文件的查询：
a、如果相差时间C小于A，则直接查询一级缓存；
b、如果相差时间C大于A，且小于B，则直接查询二级缓存；
c、如果相差时间C大于B，且查询的设备数据采集时间T又大于时间I时，则先查询二级缓存，查无再查询三级存储；
d、如果查询的设备数据采集时间T小于时间I或者从一级缓存中查无缓存时间时，则直接查询三级存储；
e、如果判断从一级缓存或二级缓存中查询却查无数据，则依次往二级缓存、三级存储去继续查询数据，直至查询到数据为止；
步骤S54、查询到数据，流程结束。
进一步优选的，还包括:
用主键ID构成的Key，去基于Redis组件的一级缓存中查询数据；
根据设备ID、采集时间、主键ID以及文件类型生成的存储路径去二级缓存中查询；
根据由设备ID、采集时间以及主键ID构成的请求参数，去三级存储中查询数据。
第三方面，本申请提出了一种数据文件的存取系统，所述存取系统包括:缓存写入模块、缓存读取模块以及缓存区；
所述缓存区包括一级缓存、二级缓存以及三级存储；
所述一级缓存采用基于Redis组件的内存缓存，所述二级缓存采用基于固态硬盘的存储，所述三级存储采用基于机械硬盘的大数据组件存储；
所述缓存写入模块与所述缓存区双向连接；所述缓存读取模块与所述缓存区双向连接；
还包括数据采集模块和数据请求模块；
所述数据采集模块用于采集待保存的数据文件；
所述数据请求模块用于发起缓存写入、缓存读取的指令。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面和第二方面中任一实现方式描述的方法。
第五方面，本申请实施例提供了一种处理装置，处理器，适于执行各条程序；以及存储设备，适于存储计算机程序；所述程序适于有处理器加载并执行以实现第一方面和第二方面中任一实现方式描述的方法。
与现有技术相比，本申请的有益成果在于：
(1)通过根据采集设备ID与数据采集时间根据一定规则来唯一生成数据ID，根据数据ID可以提取到对应的采集设备ID与数据采集时间，提高了对数据文件的缓存效率；其能够充分利用性能上内存大于固态硬盘，固态硬盘大于机械硬盘的特性，发挥各自的优势，解决大批量日志型小文件存储的问题，特别是在即存即取的情况下，效果最佳；并且本申请的方案能合理的使用预算，节省开支。
(2)通过基于机械硬盘的大数据组件中(如Cassandra、HBase等)将二级缓存内的数据按设备目录批量写入，由于大数据组件的存储设计规则(如分区Key、rowKey等)，按设备区分批量录入比杂乱无序单条录入速率快很多，而且压力更小，方便对数据文件的储存；解决了各种设备每天产生的非结构化数据文件的存储问题，并且解决因为高并发存取文件导致性能不行的问题。
附图说明
包括附图以提供对实施例的进一步理解并且附图被并入本说明书中并且构成本说明书的一部分。附图图示了实施例并且与描述一起用于解释本申请的原理。将容易认识到其它实施例和实施例的很多预期优点，因为通过引用以下详细描述，它们变得被更好地理解。附图的元件不一定是相互按照比例的。同样的附图标记指代对应的类似部件。
图1是本申请的一个实施例可以应用于其中的示例性装置架构图；
图2为本申请的实施例的数据文件的存取方法与系统的整体结构示意图；
图3为本申请的实施例的数据文件的缓存方法的流程示意图；
图4为本申请的实施例的数据文件的读取方法的流程示意图；
图5为本申请的实施例的数据文件的存取系统的流程示意图；
图6是适于用来实现本申请实施例的电子设备的计算机装置的结构示意图。
具体实施方式
在以下详细描述中，参考附图，该附图形成详细描述的一部分，并且通过其中可实践本申请的说明性具体实施例来示出。对此，参考描述的图的取向来使用方向术语，例如“顶”、“底”、“左”、“右”、“上”、“下”等。因为实施例的部件可被定位于若干不同取向中，为了图示的目的使用方向术语并且方向术语绝非限制。应当理解的是，可以利用其他实施例或可以做出逻辑改变，而不背离本申请的范围。因此以下详细描述不应当在限制的意义上被采用，并且本申请的范围由所附权利要求来限定。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
图1示出了可以应用本申请实施例的用于处理信息的方法或用于处理信息的装置的10示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或15发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有通信功能的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103发送的20校验请求信息进行处理的后台信息处理服务器。后台信息处理服务器可以对接收到的校验请求信息进行分析等处理，并得到处理结果(例如用于表征校验请求为合法请求的校验成功信息)。
需要说明的是，本申请实施例所提供的用于处理信息的方法一般由服务器105执行，相应地，用于处理信息的装置一般设置于服务器105中。另外，本申请实施例所提供的25用于发送信息的方法一般由终端设备101、102、103执行，相应地，用于发送信息的装置一般设置于终端设备101、102、103中。
需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或多个软件模块。在此不做具体限定。
图2示出了根据本申请实施例公开的一种数据文件的存取方法与系统的整体结构示意图，如图2所示，该系统包括三个不同的缓存区，缓存区用于缓存与存储转发的数据文件，缓存区分别包括一级缓存、二级缓存以及三级存储。其中，一级缓存采用基于Redis集群的内存缓存，二级缓存采用基于固态硬盘的存储，三级存储采用基于机械硬盘的大数据组件存储。
图3示出了本申请的实施例公开的一种数据文件的缓存方法的流程示意图，如图3所示，该方法包括：
步骤S1、获取设备ID匹配文件服务进行数据的写入操作，将数据文件写入缓存区；以及
步骤S2、同时记录设备ID最新的数据采集时间；
其中，缓存区包括一级缓存、二级缓存以及三级存储，一级缓存采用基于Redis组件的内存缓存，二级缓存采用基于固态硬盘的存储，三级存储采用基于机械硬盘的大数据组件存储。
步骤S3、设定每隔N分钟执行一次以下命令：从二级缓存中扫描B小时前的数据目录，将二级缓存内的数据按设备目录批量写入三级存储中，写入完成后删除二级缓存中的数据目录，同时记录各个设备的最新写入三级存储的时间。
在步骤S1中，数据文件同时写入一级缓存与二级缓存，具体还包括以下步骤：
步骤S11、获取数据文件的Byte数据转换成Base64字符串，与数据文件的主键ID组成Key-Value形式，存储至一级缓存中，并设置过期时间为A分钟；
步骤S12、设定写入二级缓存的存储路径为：/年/年月/年月日/年月日时/设备ID/主键ID.文件类型，并存储数据文件。
例如，此实施例中二级缓存的存储路径可以设置为如下形式：/2021/202106/20210601/2021060112/35020000120000000001/35020000120000000001022021060112001000001.jpeg。
具体的，在此实施例中过期时间设置为两分钟，N分钟设置为十分钟，B小时设置为一小时。
在步骤S2中，还包括以下步骤：
步骤S21、设定设备ID-年月日为Key，采集时间为Value；
步骤S22、将步骤S21设定的信息与之前记录的最新采集时间进行比较，存储更大的时间值至一级缓存中；
步骤S23、并设定最新的数据采集时间的失效时间为一天。
现有的数据存储都是存储在硬盘上的，目前硬盘分为机械硬盘和固态硬盘，其中机械硬盘的读写速度较慢，成本较低，而固态硬盘的读写速度较快，成本较高；根据采集设备ID与数据采集时间根据一定规则来唯一生成数据ID，根据数据ID可以提取到对应的采集设备ID与数据采集时间，提高了对数据文件的缓存效率。
通过基于机械硬盘的大数据组件中(如Cassandra、HBase等)将二级缓存内的数据按设备目录批量写入，由于大数据组件的存储设计规则(如分区Key、rowKey等)，按设备区分批量录入比杂乱无序单条录入速率快很多，而且压力更小，方便对数据文件的储存。
图4示出了本申请的实施例公开的一种数据文件的读取方法的流程示意图，如图4所示，该方法包括：
步骤S4、获取设备ID匹配文件服务进行数据的读取操作；
步骤S5、比较执行步骤S4时的数据采集时间T、步骤S2中记录的当天最新的数据采集时间H以及步骤S3中记录的该设备已经写入三级存储的最新时间I；
步骤S6、判断从一级缓存、二级缓存或三级存储中读取数据文件；
步骤S7、根据步骤S6的判断结果读取数据文件。
其中，步骤S5中具体还包括：
步骤S51、设定以设备ID-年月日-类型为关键字组成的KeyH，从一级缓存中查询该设备当天最新数据采集时间H；
步骤S52、将步骤S51查询到的该设备当天最新数据采集时间H与查询的设备数据采集时间T比较，计算得到两者相差的时间C；
步骤S53、按以下预定的查询规则进行数据文件的查询：
a、如果相差时间C小于A，则直接查询一级缓存；
b、如果相差时间C大于A，且小于B，则直接查询二级缓存；
c、如果相差时间C大于B，且查询的设备数据采集时间T又大于时间I时，则先查询二级缓存，查无再查询三级存储；
d、如果查询的设备数据采集时间T小于时间I或者从一级缓存中查无缓存时间时，则直接查询三级存储；
e、如果判断从一级缓存或二级缓存中查询却查无数据，则依次往二级缓存、三级存储去继续查询数据，直至查询到数据为止；
步骤S54、查询到数据，流程结束。
其中，查询数据时，用主键ID构成的Key，去基于Redis组件的一级缓存中查询数据；根据设备ID、采集时间、主键ID以及文件类型生成的存储路径去二级缓存中查询；根据由设备ID、采集时间以及主键ID构成的请求参数，去三级存储中查询数据。
例如按如下存储路径去查询该文件：/2021/202106/20210601/2021060112/35020000120000000001/35020000120000000001022021060112001000001.jpeg。
图5示出了根据本申请实施例公开的一种数据文件的存取系统的流程示意图，如图5所示，存取系统包括:缓存写入模块、缓存读取模块以及缓存区；
缓存区包括一级缓存、二级缓存以及三级存储；
一级缓存采用基于Redis组件的内存缓存，二级缓存采用基于固态硬盘的存储，三级存储采用基于机械硬盘的大数据组件存储；
缓存写入模块与缓存区双向连接；缓存读取模块与缓存区双向连接；
还包括数据采集模块和数据请求模块；
数据采集模块用于采集待保存的数据文件；
数据请求模块用于发起缓存写入、缓存读取的指令。
下面参考图6，其示出了适于用来实现本申请实施例的电子设备(例如图1所示的服务器或终端设备)的计算机装置600的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，计算机装置600包括中央处理单元(CPU)601和图形处理器(GPU)602，其可以根据存储在只读存储器(ROM)603中的程序或者从存储部分609加载到随机访问存储器(RAM)606中的程序而执行各种适当的动作和处理。在RAM 604中，还存储有装置600操作所需的各种程序和数据。CPU 601、GPU602、ROM 603以及RAM 604通过总线605彼此相连。输入/输出(I/O)接口606也连接至总线605。
以下部件连接至I/O接口606：包括键盘、鼠标等的输入部分607；包括诸如、液晶显示器(LCD)等以及扬声器等的输出部分608；包括硬盘等的存储部分609；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分610。通信部分610经由诸如因特网的网络执行通信处理。驱动器611也可以根据需要连接至I/O接口606。可拆卸介质612，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器611上，以便于从其上读出的计算机程序根据需要被安装入存储部分609。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分610从网络上被下载和安装，和/或从可拆卸介质612被安装。在该计算机程序被中央处理单元(CPU)601和图形处理器(GPU)602执行时，执行本申请的方法中限定的上述功能。
需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的装置、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行装置、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行装置、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的装置来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备实现数据文件的存取方法。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种数据文件的缓存方法，其特征在于，该方法包括：
步骤S1、获取设备ID匹配文件服务进行数据的写入操作，将所述数据文件写入缓存区；以及
步骤S2、同时记录设备ID最新的数据采集时间；
其中，所述缓存区包括一级缓存、二级缓存以及三级存储，所述一级缓存采用基于Redis组件的内存缓存，所述二级缓存采用基于固态硬盘的存储，所述三级存储采用基于机械硬盘的大数据组件存储。
2.根据权利要求1所述的数据文件的缓存方法，其特征在于，在步骤S1中，所述数据文件同时写入一级缓存与二级缓存，具体还包括以下步骤：
步骤S11、获取数据文件的Byte数据转换成Base64字符串，与数据文件的主键ID组成Key-Value形式，存储至一级缓存中，并设置过期时间为A分钟；
步骤S12、设定写入二级缓存的存储路径为：/年/年月/年月日/年月日时/设备ID/主键ID.文件类型，并存储数据文件。
3.根据权利要求2所述的数据文件的缓存方法，其特征在于，在步骤S2中，还包括以下步骤：
步骤S21、设定设备ID-年月日为Key，采集时间为Value；
步骤S22、将步骤S21设定的信息与之前记录的最新采集时间进行比较，存储更大的时间值至一级缓存中；
步骤S23、并设定最新的数据采集时间的失效时间为一天。
4.根据权利要求3所述的数据文件的缓存方法，其特征在于，还包括以下步骤：
步骤S3、设定每隔N分钟执行一次以下命令：从二级缓存中扫描B小时前的数据目录，将二级缓存内的数据按设备目录批量写入三级存储中，写入完成后删除二级缓存中的数据目录，同时记录各个设备的最新写入三级存储的时间。
5.一种数据文件的读取方法，其特征在于，该方法包括：
步骤S4、获取设备ID匹配文件服务进行数据的读取操作；
步骤S5、比较执行步骤S4时的数据采集时间T、步骤S2中记录的当天最新的数据采集时间H以及步骤S3中记录的该设备已经写入三级存储的最新时间I；
步骤S6、判断从一级缓存、二级缓存或三级存储中读取数据文件；
步骤S7、根据步骤S6的判断结果读取数据文件。
6.根据权利要求5所述的数据文件的读取方法，其特征在于，步骤S5中具体还包括：
步骤S51、设定以设备ID-年月日-类型为关键字组成的KeyH，从一级缓存中查询该设备当天最新数据采集时间H；
步骤S52、将步骤S51查询到的该设备当天最新数据采集时间H与查询的设备数据采集时间T比较，计算得到两者相差的时间C；
步骤S53、按以下预定的查询规则进行数据文件的查询：
a、如果相差时间C小于A，则直接查询一级缓存；
b、如果相差时间C大于A，且小于B，则直接查询二级缓存；
c、如果相差时间C大于B，且查询的设备数据采集时间T又大于时间I时，则先查询二级缓存，查无再查询三级存储；
d、如果查询的设备数据采集时间T小于时间I或者从一级缓存中查无缓存时间时，则直接查询三级存储；
e、如果判断从一级缓存或二级缓存中查询却查无数据，则依次往二级缓存、三级存储去继续查询数据，直至查询到数据为止；
步骤S54、查询到数据，流程结束。
7.根据权利要求6所述的数据文件的读取方法，其特征在于，还包括:
用主键ID构成的Key，去基于Redis组件的一级缓存中查询数据；
根据设备ID、采集时间、主键ID以及文件类型生成的存储路径去二级缓存中查询；
根据由设备ID、采集时间以及主键ID构成的请求参数，去三级存储中查询数据。
8.一种数据文件的存取系统，其特征在于，所述存取系统包括:缓存写入模块、缓存读取模块以及缓存区；
所述缓存区包括一级缓存、二级缓存以及三级存储；
所述一级缓存采用基于Redis组件的内存缓存，所述二级缓存采用基于固态硬盘的存储，所述三级存储采用基于机械硬盘的大数据组件存储；
所述缓存写入模块与所述缓存区双向连接；所述缓存读取模块与所述缓存区双向连接；
还包括数据采集模块和数据请求模块；
所述数据采集模块用于采集待保存的数据文件；
所述数据请求模块用于发起缓存写入、缓存读取的指令。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任意一项所述的数据文件的存取方法。
10.一种处理装置，
处理器，适于执行各条程序；以及
存储设备，适于存储计算机程序；
其特征在于，所述程序适于有处理器加载并执行以实现：
权利要求1-7中的任意一项所述的数据文件的存取方法。
CN202111328713.7A 2021-11-10 2021-11-10 一种数据文件的存取方法与系统 Pending CN114035748A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111328713.7A CN114035748A (zh) 2021-11-10 2021-11-10 一种数据文件的存取方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111328713.7A CN114035748A (zh) 2021-11-10 2021-11-10 一种数据文件的存取方法与系统

Publications (1)

Publication Number Publication Date
CN114035748A true CN114035748A (zh) 2022-02-11

Family

ID=80137230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111328713.7A Pending CN114035748A (zh) 2021-11-10 2021-11-10 一种数据文件的存取方法与系统

Country Status (1)

Country Link
CN (1) CN114035748A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116521090A (zh) * 2023-06-25 2023-08-01 苏州浪潮智能科技有限公司 数据落盘方法、装置、电子设备及存储介质
CN116610256A (zh) * 2023-04-27 2023-08-18 上海勘测设计研究院有限公司 港口水情数据的自动读写方法、系统、介质及设备
WO2024066676A1 (zh) * 2022-09-30 2024-04-04 华为技术有限公司 一种神经网络模型的推理方法、装置及相关设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024066676A1 (zh) * 2022-09-30 2024-04-04 华为技术有限公司 一种神经网络模型的推理方法、装置及相关设备
CN116610256A (zh) * 2023-04-27 2023-08-18 上海勘测设计研究院有限公司 港口水情数据的自动读写方法、系统、介质及设备
CN116521090A (zh) * 2023-06-25 2023-08-01 苏州浪潮智能科技有限公司 数据落盘方法、装置、电子设备及存储介质
CN116521090B (zh) * 2023-06-25 2023-09-12 苏州浪潮智能科技有限公司 数据落盘方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US10521404B2 (en) Data transformations with metadata
US11494339B2 (en) Multi-level compression for storing data in a data store
CN114035748A (zh) 一种数据文件的存取方法与系统
CN109034988B (zh) 一种会计分录生成方法和装置
US11681651B1 (en) Lineage data for data records
US11257134B2 (en) Supplier invoice reconciliation and payment using event driven platform
CN102214208B (zh) 一种基于非结构化文本生成结构化信息实体的方法与设备
US10037194B2 (en) Systems and methods for visual data management
US20190354398A1 (en) Context aware prioritization in a distributed environment using tiered queue allocation
US20210240784A1 (en) Method, apparatus and storage medium for searching blockchain data
CN110019263B (zh) 信息存储方法和装置
US10397306B2 (en) System and method for translating versioned data service requests and responses
CN113535677B (zh) 数据分析查询管理方法、装置、计算机设备及存储介质
CN111107133A (zh) 差异包的生成方法、数据更新方法、装置和存储介质
CN114116678A (zh) 数据迁移方法、装置、设备、介质及程序产品
CN117171108A (zh) 一种虚拟模型映射方法和系统
CN110162412B (zh) 在客户端进行数据操作的方法和装置
CN113590447B (zh) 埋点处理方法和装置
CN115330540A (zh) 一种处理交易数据的方法和装置
CN114253922A (zh) 资源目录管理方法、资源管理方法、装置、设备及介质
CN110555053B (zh) 用于输出信息的方法和装置
US11003688B2 (en) Systems and methods for comparing data across data sources and platforms
CN110851438A (zh) 一种数据库索引优化建议与验证的方法和装置
CN111460273B (zh) 信息推送方法和装置
US10764338B2 (en) Integrated voice and data communications environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination