CN117234410A - 一种数据文件缓存处理方法、装置、存储介质及电子装置 - Google Patents
一种数据文件缓存处理方法、装置、存储介质及电子装置 Download PDFInfo
- Publication number
- CN117234410A CN117234410A CN202210641343.0A CN202210641343A CN117234410A CN 117234410 A CN117234410 A CN 117234410A CN 202210641343 A CN202210641343 A CN 202210641343A CN 117234410 A CN117234410 A CN 117234410A
- Authority
- CN
- China
- Prior art keywords
- nas
- local cache
- data
- directory
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 5
- 238000000034 method Methods 0.000 claims abstract description 36
- 230000001360 synchronised effect Effects 0.000 claims abstract description 27
- 238000012544 monitoring process Methods 0.000 claims abstract description 19
- 230000008859 change Effects 0.000 claims abstract description 17
- 238000004590 computer program Methods 0.000 claims description 16
- 230000009471 action Effects 0.000 claims description 14
- 238000012986 modification Methods 0.000 claims description 10
- 230000004048 modification Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 7
- 238000012423 maintenance Methods 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000006872 improvement Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 239000008186 active pharmaceutical agent Substances 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
Abstract
本申请实施例提供了一种数据文件缓存处理方法、装置、存储介质及电子装置,该方法包括:将NAS网络文件系统中NAS端的NAS数据目录下的数据文件缓存到本地缓存端的本地缓存目录中;监测本地缓存目录与NAS数据目录下的数据文件是否发生变更;在监测到本地缓存目录或NAS数据目录下的所述数据文件发生变更的情况下,对本地缓存目录与NAS数据目录进行部分数据同步,可以解决相关技术中通过网盘服务端访问NAS文件效率低下,且存在单点故障和维护工作复杂的问题,将NAS端的数据文件下载至本地缓存目录中,在本地缓存目录或NAS数据目录中数据文件的变更能在本地缓存目录与NAS数据目录之间实时同步,针对编译、压缩场景效率提升非常明显。
Description
技术领域
本申请实施例涉及通信领域,具体而言,涉及一种数据文件缓存处理方法、装置、存储介质及电子装置。
背景技术
网络文件系统(Network File System,简称为NFS),它是一种网络协议,能够支持在不同类型的系统之间通过网络进行文件共享,广泛应用在异构操作系统平台,允许一个系统在网络上与他人共享目录和文件。通过使用NFS,用户和程序可以像访问本地文件一样访问远端系统上的文件,使得每个计算机的节点能够像使用本地资源一样方便地使用网上资源。换言之,NFS可用于不同类型计算机、操作系统、网络架构和传输协议运行环境中的网络文件远程访问和共享。
因此,常用NFS协议等网络附属存储(Network Attached Storage,简称为NAS)网络文件系统协议在网络良好的局域网内访问共享文件,是非常方便的,但是如果是异地访问数据,网络较慢,操作时延就非常大,对用户体验也非常不友好。就比如在云桌面的环境中,就存在这样的使用场景:将用户的数据存放在NAS设备上,用户虚机通过NAS网络文件系统协议访问NAS上的数据。这种场景下存在如下的问题:
1、如果网络较慢,异地访问数据,操作延时就非常大;
2、很多高IO的场景,比如编译打包、目录压缩,执行效率非常低下。
针对以上问题,现有技术可考虑使用网盘方案,即部署网盘客户端和服务端,然后网盘服务端通过NAS网络文件系统协议对接NAS设备,将用户虚机上的文件放在网盘客户端上,网盘客户端再将这些数据同步给网盘服务端。但是该技术存在以下缺陷:
1、通过网盘服务端访问NAS文件会使得整个数据路径变长,效率低下;
2、网盘服务器是通过Linux服务器部署,存在单节点的高可用问题,且有性能瓶颈;
3、需要维护复杂的网盘服务端。
针对相关技术中通过网盘服务端访问NAS文件效率低下,且存在单点故障和维护工作复杂的问题,尚未提出解决方案。
发明内容
本申请实施例提供了一种数据文件缓存处理方法、装置、存储介质及电子装置,以至少解决相关技术中通过网盘服务端访问NAS文件效率低下,且存在单点故障和维护工作复杂的问题。
根据本申请的一个实施例,提供了一种数据文件缓存处理方法,所述方法包括:
将NAS网络文件系统中NAS端的NAS数据目录下的数据文件缓存到本地缓存端的本地缓存目录中;
监测所述本地缓存目录与所述NAS数据目录下的数据文件是否发生变更;
在监测到所述本地缓存目录或所述NAS数据目录下的所述数据文件发生变更的情况下,对所述本地缓存目录与所述NAS数据目录进行部分数据同步。
根据本申请的另一个实施例,还提供了一种数据文件缓存处理装置,所述装置包括:
缓存模块,用于将NAS网络文件系统中NAS端的NAS数据目录下的数据文件缓存到本地缓存端的本地缓存目录中;
监测模块,用于监测所述本地缓存目录与所述NAS数据目录下的数据文件是否发生变更;
同步模块,用于在监测到所述本地缓存目录或所述NAS数据目录下的所述数据文件发生变更的情况下,对所述本地缓存目录与所述NAS数据目录进行部分数据同步。
根据本申请的又一个实施例,还提供了一种计算机可读的存储介质,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本申请的又一个实施例,还提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
本申请实施例,将NAS网络文件系统中NAS端的NAS数据目录下的数据文件缓存到本地缓存端的本地缓存目录中;监测所述本地缓存目录与所述NAS数据目录下的数据文件是否发生变更;在监测到所述本地缓存目录或所述NAS数据目录下的所述数据文件发生变更的情况下,对所述本地缓存目录与所述NAS数据目录进行部分数据同步,可以解决相关技术中通过网盘服务端访问NAS文件效率低下,且存在单点故障和维护工作复杂的问题,将NAS端的数据文件下载至本地缓存目录中,在本地缓存目录或NAS数据目录中数据文件的变更能在本地缓存目录与NAS数据目录之间实时同步,针对编译、压缩场景效率提升非常明显。
附图说明
图1是本申请实施例的数据文件缓存处理方法的移动终端的硬件结构框图;
图2是根据本申请实施例的数据文件缓存处理方法的流程图;
图3是根据本实施例的本地缓存目录的文件状态的示意图;
图4是根据本实施例的基于NAS网络文件系统的缓存系统的结构示意图;
图5是根据本实施例的基于NAS网络文件系统的缓存方案的流程图;
图6是根据本申请实施例的数据文件缓存处理装置的框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本申请的实施例。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例,图1是本申请实施例的数据文件缓存处理方法的移动终端的硬件结构框图,如图1所示,移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,其中,上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述移动终端的结构造成限定。例如,移动终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本申请实施例中的数据文件缓存处理方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及业务链地址池切片处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于上述移动终端或网络架构的数据文件缓存处理方法,图2是根据本申请实施例的数据文件缓存处理方法的流程图,如图2所示,该流程包括如下步骤:
步骤S202,将NAS网络文件系统中NAS端的NAS数据目录下的数据文件缓存到本地缓存端的本地缓存目录中;
本实施例可以应用于虚拟机环境下,用户的数据存放在NAS设备上,用户虚机通过CIFS或NFS等NAS网络文件系统协议访问NAS上的数据。NAS被定义为一种特殊的专用数据存储服务器,可提供跨平台文件共享功能。NAS本身能够支持多种协议(如NFS、CIFS、FTP、HTTP等),客户端可以通过NFS、通用网络文件系统(Common Internet File System,简称为CIFS)等网络协议操作NAS上的数据。其中,CIFS是一种网络协议,广泛应用于windows上使用网络共享文件。CIFS允许用户在windows客户端上操作文件,就像他们在本地计算机中操作一样,包括读、写、重命名、删除等,实际上这些文件并不在本地计算机上而是在远端服务器上。
步骤S204,监测本地缓存目录与NAS数据目录下的数据文件是否发生变更;
步骤S206,在监测到本地缓存目录或NAS数据目录下的所述数据文件发生变更的情况下,对本地缓存目录与NAS数据目录进行部分数据同步。
通过上述步骤S202至S206,可以解决相关技术中通过网盘服务端访问NAS文件效率低下,且存在单点故障和维护工作复杂的问题,将NAS端的数据文件下载至本地缓存目录中,在本地缓存目录或NAS数据目录中数据文件的变更能在本地缓存目录与NAS数据目录之间实时同步,针对编译、压缩场景效率提升非常明显。
在一实施例中,在上述步骤S202之前,所述方法还包括:在本地缓存端创建本地缓存目录,并隐藏本地缓存目录;运行本地缓存端,以在本地缓存目录和NAS数据目录之间进行同步数据;通过NAS网络文件系统将所述NAS网络文件系统挂载到目标磁盘上;在所述目标磁盘上创建指向本地缓存目录的link文件夹;通过所述link文件夹进入本地缓存目录,以操作本地缓存目录中的数据文件。
在一实施例中,所述方法还包括:启动本地缓存端的软件,并在后台运行,其中,本地缓存端的软件的参数是NAS数据目录的URL地址;通过软件监控小程序监控本地缓存端的软件的运行情况;若监控到所述运行情况为所述本地缓存端的软件异常挂掉,通过所述软件监控小程序重启本地缓存端的软件。
本实施例中,上述步骤S202具体可以包括:将所述数据文件的元数据从NAS数据目录同步到本地缓存目录中;根据所述元数据在本地缓存目录建立相应的大小为0的文件或文件夹;当检测到启动本地缓存目录中的数据文件,将所述数据文件从NAS数据目录缓存到本地缓存目录中。
在一可选实施例中,在上述步骤S202之后,所述方法还包括:通过右键菜单项将被选中的文件夹里的所有数据文件或被选中的数据文件从NAS数据目录缓存到本地缓存目录中。
本实施例中,上述步骤S204具体可以包括:将需要同步的数据文件的大小与修改时间更新到数据库中;比较每个数据文件在本地缓存端、NAS端、所述数据库中的大小与修改时间;在比较结果为本地缓存端与所述数据库中的大小不同、NAS端与所述数据库中的大小相同的情况下,确定所述数据文件发生变更,并确定同步动作类型为从NAS端缓存到本地缓存目录;在所述比较结果为本地缓存端与所述数据库中的大小相同、NAS端与所述数据库中的大小不同的情况下,确定所述数据文件发生变更,并确定同步动作类型为从本地缓存目录上传到NAS端;在所述比较结果为本地缓存端、NAS端与所述数据库中的文件大小相同,确定所述数据文件未发生变更。
对应的,上述步骤S206具体可以包括:获取发生变更的变更数据文件;在所述同步动作类型为从NAS端缓存到本地缓存目录的情况下,获取NAS数据目录下所述变更数据文件的文件相对路径,将NAS数据目录下所述文件相对路径下的数据文件从NAS端缓存到本地缓存目录;在所述同步动作类型为从本地缓存目录上传到NAS端的情况下,获取本地缓存目录下所述变更数据文件的文件相对路径,将本地缓存目录下所述文件相对路径下的数据文件从本地缓存目录上传到NAS端。
在另一可选实施例中,所述方法还包括:若检测到同时修改NAS端和本地缓存端的目标数据文件,将目标数据文件标记为冲突;通过右键菜单项提供冲突的解决方式,该解决方式用于提示用户解决冲突,该解决方式包括保留NAS端的数据文件、保留本地缓存端的数据文件,以便根据用户的选择解决该冲突,若用户选择的解决方式为保留NAS端的数据文件,则根据用户的选择保留NAS端的数据文件,之后可以将NAS端的数据文件缓存到本地缓存端;若用户选择的解决方式为保留本地缓存端的数据文件,则根据用户的选择保留本地缓存端的数据文件,之后可以将本地缓存端的数据文件缓存到NAS端。
Windows云文件API,从Windows 10版本1709开始,Windows提供了云文件API。这些API正式支持云同步引擎,并处理创建和管理占位符文件和目录等任务。云文件API能够提供以下功能:
1、通过云文件API可以创建占位符文件,文件系统标头仅消耗1KB的存储空间,并在正常使用条件下自动合成完整文件。
2、文件可以以三种状态存在,图3是根据本实施例的本地缓存目录的文件状态的示意图,如图3所示,包括:
(1)占位符文件:用空心的云图标表示,这类文件还未同步到本地,只能在有网络连接时才能打开此类文件。
(2)完全同步:用空心圆钩子表示,这类文件已下载并保存在本地。网络连接正常情况下,打开占位符文件,会去下载文件,下载完成之后,占位符文件会转换为完全同步状态。当需要释放更多磁盘空间时,操作系统可能会自动清理一些此类文件。
(3)完全同步且固定在设备上:该文件已下载并固定保存在本地。
在windwos操作系统环境下,可以将本实施例的本地缓存端与windows云文件API结合,用于实现了上述功能,双击打开占位符文件就会缓存到本地,同时提供了右键菜单缓存到本地功能以及释放空间功能,用户可以按需缓存文件和释放空间,缓存文件释放空间后会变成占位符文件。
图4是根据本实施例的基于NAS网络文件系统的缓存系统的结构示意图,如图4所示,左侧为用户计算机(云桌面),右侧为NAS服务器(对应上述NAS端),用户的一些数据存放在NAS服务器上。
右侧NAS服务器:提供数据存储服务,用于存储用户的一些数据。
左侧用户计算机(云桌面):C、D是用户本地磁盘,需要在本地磁盘上创建一个隐藏的本地缓存目录,用来缓存NAS服务器上的用户数据;Cache Client是用户本地缓存端,它负责直接访问NAS服务器上的用户数据目录来与本地缓存目录之间进行数据同步,实现NAS数据缓存功能,同时提供监控,保持两端的数据一致性;Y盘是挂载了NAS服务器上用户目录的网络盘,并创建link文件夹data指向本地缓存目录,link文件夹作为用户访问本地缓存目录的入口,用户可通过Y盘上的link文件夹进入本地缓存目录,按需操作里面的文件。
图5是根据本实施例的基于NAS网络文件系统的缓存方案的流程图,如图5所示,包括:
步骤S501:开发本地缓存端并安装,实现NAS端数据文件的缓存、本地缓存目录中数据文件的上传和数据同步等功能;
步骤S502:在本地计算机进行NAS网络文件系统鉴权认证,创建本地缓存目录,并隐藏该目录然后运行本地缓存端在本地缓存目录和NAS之间同步数据;
上述步骤S502进一步可以包括:步骤S5021:启动上述本地缓存端软件,并在后台运行,无前端界面,参数是NAS数据目录的URL地址;步骤S5022:开发一个本地客户端软件监控小程序并运行,用来监控上述本地缓存端软件的运行情况,一旦该小程序发现上述运行的本地缓存端软件因异常挂掉,该小程序将其重启。
步骤S503:在本地计算机上通过NAS网络文件系统挂载NAS数据目录,如:挂载到Y盘;
步骤S504:在上述挂载的盘上创建link文件夹,指向本地缓存端监控的本地缓存目录;
步骤S505:通过上述link文件夹进入本地缓存目录,操作里面的文件。如:缓存NAS端数据,将会下载到本地;增删改本地文件,将会实时同步到NAS端。
在该方法中,所述步骤S501中开发的本地缓存端软件是用于在本地缓存目录和NAS数据目录之间同步数据,为了保证两方数据的一致性,将元数据从NAS端数据目录同步到本地,并根据元数据在本地缓存目录建立相应的大小为0的文件或文件夹;双击打开本地缓存目录文件时能自动将文件数据从NAS端最新数据缓存(下载)到本地;提供右键菜单项使被选中的文件夹里的所有文件或者被选中的从NAS端最新文件数据缓存(下载)到本地;监控本地缓存目录里数据文件的变动和NAS数据目录中的数据文件的变动,一旦检测到有文件发生变动(增删改文件等),立即通知同步模块进行数据同步;在本地缓存目录和NAS数据目录之间同步数据,保持两端数据的一致性,同步模块每次成功同步之后会将该次需要同步的那些文件的大小、最后一次修改时间等元数据更新到数据库里,同步模块通过比较每个文件本地缓存端、NAS端、数据库端的大小、修改时间两个属性来和本地缓存端文件状态确定文件是否需要被同步以及同步动作类型,同步动作类型包括:本地缓存上传到NAS端,从NAS端缓存(下载)文件到本地缓存目录等。
进一步的,用文件URL方式访问该文件在NAS端的所有数据并传入Windows 10云文件API的回调函数里,通过Windows 10提供云文件API来实现双击缓存功能。
本实施例还通过检测出来的该目录内变动的文件的文件相对路径,根据该相对路径进行局部同步文件数据,局部同步只扫描该文件相对路径的文件夹,而不是扫描本地端和NAS端所有文件夹。
在右键菜单项响应函数中通过文件URL方式读该文件在NAS端的所有数据然后将读出的数据写到本地来缓存NAS端数据到本地缓存目录。监控NAS数据目录是通过其目录URL进行监控的,且通过检测出来的该目录内变动的文件的文件相对路径,根据该相对路径进行局部同步文件数据,局部同步只扫描该文件相对路径的文件夹,而不是扫描本地端和NAS端所有文件夹。
根据上述本地缓存端软件,进一步的,在同步时分为全量同步和局部同步,全量同步是通过从递归遍历扫描本地缓存目录和NAS数据目录中的所有文件夹,来获取各级文件夹下的每个文件大小、修改时间等属性信息,而局部同步只递归遍历扫描发生变动的文件的文件路径上的各级文件夹,全量同步发生在上述本地缓存端软件运行后第一次同步,之后每隔1小时触发一次。而局部同步在检测到有文件发生变动后触发。
根据上述本地缓存端软件,还可以处理文件不一致的情况,当同时修改了某文件的NAS端和本地缓存端,此时会报冲突,将该文件标记为冲突,右键菜单项提供解决冲突项,用户可以自行选择保留NAS端数据还是本地缓存端数据。
通过本实施例,可以克服相关技术中通过直接使用NAS网络文件系统操作NAS数据在网络不好的情况下的明显卡顿、不流畅的缺陷;克服了传统通过直接使用NAS网络文件系统操作NAS数据在比如编译打包、目录压缩的场景下执行效率非常低下的缺陷;克服了相关技术中网盘方案效率低下、服务端存在单点故障、服务端维护成本高等的缺陷;所提供的方法简单易行;所提供的方法在提高效率,提升用户体验方面具有重要意义。
根据本申请的另一个实施例,还提供了一种数据文件缓存处理装置,图6是根据本申请实施例的数据文件缓存处理装置的框图,如图6所示,所述装置包括:
缓存模块62,用于将NAS网络文件系统中NAS端的NAS数据目录下的数据文件缓存到本地缓存端的本地缓存目录中;
监测模块64,用于监测所述本地缓存目录与所述NAS数据目录下的数据文件是否发生变更;
同步模块66,用于在监测到所述本地缓存目录或所述NAS数据目录下的所述数据文件发生变更的情况下,对所述本地缓存目录与所述NAS数据目录进行部分数据同步。
在一实施例中,所述装置还包括:
第一创建模块,用于在所述本地缓存端创建所述本地缓存目录,并隐藏所述本地缓存目录;
运行模块,用于运行所述本地缓存端,以在所述本地缓存目录和所述NAS数据目录之间进行同步数据;
挂载模块,用于通过NAS网络文件系统将所述NAS网络文件系统挂载到目标磁盘上;
第二创建模块,用于在所述目标磁盘上创建指向所述本地缓存目录的link文件夹;
进入模块,用于通过所述link文件夹进入所述本地缓存目录,以操作所述本地缓存目录中的数据文件。
在一实施例中,所述装置还包括:启动模块,用于启动所述本地缓存端的软件,并在后台运行,其中,所述本地缓存端的软件的参数是所述NAS数据目录的URL地址;
挂载模块,用于通过NAS网络文件系统将所述NAS网络文件系统挂载到目标磁盘上;
第二创建模块,用于在所述目标磁盘上创建指向所述本地缓存目录的link文件夹;
进入模块,用于通过所述link文件夹进入所述本地缓存目录,以操作所述本地缓存目录中的数据文件。
在一实施例中,所述装置还包括:监控模块,用于通过软件监控小程序监控所述本地缓存端的软件的运行情况;
重启模块,用于若监控到所述运行情况为所述本地缓存端的软件异常挂掉,通过所述软件监控小程序重启所述本地缓存端的软件。
在一实施例中,所述缓存模块62,还用于将所述数据文件的元数据从NAS数据目录同步到所述本地缓存目录中;根据所述元数据在所述本地缓存目录建立相应的大小为0的文件或文件夹;当检测到启动所述本地缓存目录中的数据文件,将所述数据文件从所述NAS数据目录缓存到所述本地缓存目录中。
在一实施例中,所述缓存模块62,还用于通过右键菜单项将被选中的文件夹里的所有数据文件或被选中的数据文件从所述NAS数据目录缓存到所述本地缓存目录中。
在一实施例中,所述监测模块64,还用于将需要同步的数据文件的大小与修改时间更新到数据库中;比较每个数据文件在所述本地缓存端、所述NAS端、所述数据库中的大小与修改时间;在比较结果为所述本地缓存端与所述数据库中的大小不同、所述NAS端与所述数据库中的大小相同的情况下,确定所述数据文件发生变更,并确定同步动作类型为从所述NAS端缓存到所述本地缓存目录;在所述比较结果为所述本地缓存端与所述数据库中的大小相同、所述NAS端与所述数据库中的大小不同的情况下,确定所述数据文件发生变更,并确定同步动作类型为从所述本地缓存目录上传到所述NAS端;在所述比较结果为所述本地缓存端、所述NAS端与所述数据库中的文件大小相同,确定所述数据文件未发生变更。
在一实施例中,所述同步模块66,还用于获取发生变更的变更数据文件;在所述同步动作类型为从所述NAS端缓存到所述本地缓存目录的情况下,获取所述NAS数据目录下所述变更数据文件的文件相对路径,将所述NAS数据目录下所述文件相对路径下的数据文件从所述NAS端缓存到所述本地缓存目录;在所述同步动作类型为从所述本地缓存目录上传到所述NAS端的情况下,获取所述本地缓存目录下所述变更数据文件的文件相对路径,将所述本地缓存目录下所述文件相对路径下的数据文件从所述本地缓存目录上传到所述NAS端。
在一实施例中,所述装置还包括:
标记模块,用于若检测到同时修改所述NAS端和所述本地缓存端的目标数据文件,将所述目标数据文件标记为冲突;
提供模块,用于通过右键菜单项提供所述冲突的解决方式,其中,所述解决方式用于提示解决所述冲突,所述解决方式包括保留所述NAS端的数据文件、保留所述本地缓存端的数据文件。
本申请的实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
在一个示例性实施例中,上述计算机可读存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本申请的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本申请的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本申请不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (11)
1.一种数据文件缓存处理方法,其特征在于,所述方法包括:
将网络附属存储NAS网络文件系统中NAS端的NAS数据目录下的数据文件缓存到本地缓存端的本地缓存目录中;
监测所述本地缓存目录与所述NAS数据目录下的数据文件是否发生变更;
在监测到所述本地缓存目录或所述NAS数据目录下的所述数据文件发生变更的情况下,对所述本地缓存目录与所述NAS数据目录进行部分数据同步。
2.根据权利要求1所述的方法,其特征在于,在将网络附属存储NAS网络文件系统中NAS端的NAS数据目录下的数据文件缓存到本地缓存端的本地缓存目录中之前,所述方法还包括:
在所述本地缓存端创建所述本地缓存目录,并隐藏所述本地缓存目录;
运行所述本地缓存端,以在所述本地缓存目录和所述NAS数据目录之间进行同步数据;
通过NAS网络文件系统将所述NAS网络文件系统挂载到目标磁盘上;
在所述目标磁盘上创建指向所述本地缓存目录的link文件夹;
通过所述link文件夹进入所述本地缓存目录,以操作所述本地缓存目录中的数据文件。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
启动所述本地缓存端的软件,并在后台运行,其中,所述本地缓存端的软件的参数是所述NAS数据目录的URL地址;
通过软件监控小程序监控所述本地缓存端的软件的运行情况;
若监控到所述运行情况为所述本地缓存端的软件异常挂掉,通过所述软件监控小程序重启所述本地缓存端的软件。
4.根据权利要求1所述的方法,其特征在于,将网络附属存储NAS网络文件系统中NAS端的NAS数据目录下的数据文件缓存到本地缓存端的本地缓存目录中包括:
将所述数据文件的元数据从NAS数据目录同步到所述本地缓存目录中;
根据所述元数据在所述本地缓存目录建立相应的大小为0的文件或文件夹;
当检测到启动所述本地缓存目录中的数据文件,将所述数据文件从所述NAS数据目录缓存到所述本地缓存目录中。
5.根据权利要求1所述的方法,其特征在于,在将网络附属存储NAS网络文件系统中NAS端的NAS数据目录下的数据文件缓存到本地缓存端的本地缓存目录中之后,所述方法还包括:
通过右键菜单项将被选中的文件夹里的所有数据文件或被选中的数据文件从所述NAS数据目录缓存到所述本地缓存目录中。
6.根据权利要求1所述的方法,其特征在于,监测所述本地缓存目录与所述NAS数据目录下的数据文件是否发生变更包括:
将需要同步的数据文件的大小与修改时间更新到数据库中;
比较每个数据文件在所述本地缓存端、所述NAS端、所述数据库中的大小与修改时间;
在比较结果为所述本地缓存端与所述数据库中的大小不同、所述NAS端与所述数据库中的大小相同的情况下,确定所述数据文件发生变更,并确定同步动作类型为从所述NAS端缓存到所述本地缓存目录;
在所述比较结果为所述本地缓存端与所述数据库中的大小相同、所述NAS端与所述数据库中的大小不同的情况下,确定所述数据文件发生变更,并确定同步动作类型为从所述本地缓存目录上传到所述NAS端;
在所述比较结果为所述本地缓存端、所述NAS端与所述数据库中的文件大小相同,确定所述数据文件未发生变更。
7.根据权利要求6所述的方法,其特征在于,对所述本地缓存目录与所述NAS数据目录进行部分数据同步包括:
获取发生变更的变更数据文件;
在所述同步动作类型为从所述NAS端缓存到所述本地缓存目录的情况下,获取所述NAS数据目录下所述变更数据文件的文件相对路径,将所述NAS数据目录下所述文件相对路径下的数据文件从所述NAS端缓存到所述本地缓存目录;
在所述同步动作类型为从所述本地缓存目录上传到所述NAS端的情况下,获取所述本地缓存目录下所述变更数据文件的文件相对路径,将所述本地缓存目录下所述文件相对路径下的数据文件从所述本地缓存目录上传到所述NAS端。
8.根据权利要求1至7中任一项所述的方法,其特征在于,所述方法还包括:
若检测到同时修改所述NAS端和所述本地缓存端的目标数据文件,将所述目标数据文件标记为冲突;
通过右键菜单项提供所述冲突的解决方式,其中,所述解决方式用于提示解决所述冲突,所述解决方式包括保留所述NAS端的数据文件、保留所述本地缓存端的数据文件。
9.一种数据文件缓存处理装置,其特征在于,所述装置包括:
缓存模块,用于将网络附属存储NAS网络文件系统中NAS端的NAS数据目录下的数据文件缓存到本地缓存端的本地缓存目录中;
监测模块,用于监测所述本地缓存目录与所述NAS数据目录下的数据文件是否发生变更;
同步模块,用于在监测到所述本地缓存目录或所述NAS数据目录下的所述数据文件发生变更的情况下,对所述本地缓存目录与所述NAS数据目录进行部分数据同步。
10.一种计算机可读的存储介质,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述权利要求1至8任一项中所述的方法。
11.一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行所述权利要求1至8任一项中所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210641343.0A CN117234410A (zh) | 2022-06-08 | 2022-06-08 | 一种数据文件缓存处理方法、装置、存储介质及电子装置 |
PCT/CN2023/094866 WO2023236746A1 (zh) | 2022-06-08 | 2023-05-17 | 一种数据文件缓存处理方法、装置、存储介质及电子装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210641343.0A CN117234410A (zh) | 2022-06-08 | 2022-06-08 | 一种数据文件缓存处理方法、装置、存储介质及电子装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117234410A true CN117234410A (zh) | 2023-12-15 |
Family
ID=89089875
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210641343.0A Pending CN117234410A (zh) | 2022-06-08 | 2022-06-08 | 一种数据文件缓存处理方法、装置、存储介质及电子装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN117234410A (zh) |
WO (1) | WO2023236746A1 (zh) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103116618B (zh) * | 2013-01-28 | 2015-09-30 | 南开大学 | 基于客户端持久缓存的远程文件系统镜像方法及系统 |
CN104219283B (zh) * | 2014-08-06 | 2017-12-29 | 上海爱数信息技术股份有限公司 | 基于云存储的文件按需下载和自动同步方法及其装置 |
CN104184838B (zh) * | 2014-09-15 | 2017-12-22 | 云南电网公司普洱供电局 | 一种基于触发下载的目录同步方法 |
CN110069454A (zh) * | 2017-09-11 | 2019-07-30 | 中兴通讯股份有限公司 | 一种网络文件管理方法、终端及计算机可读存储介质 |
-
2022
- 2022-06-08 CN CN202210641343.0A patent/CN117234410A/zh active Pending
-
2023
- 2023-05-17 WO PCT/CN2023/094866 patent/WO2023236746A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023236746A1 (zh) | 2023-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11550757B2 (en) | Systems and methods for synchronization event building and/or collapsing by a synchronization component of a cloud-based platform | |
CN107861686B (zh) | 文件存储方法、服务端和计算机可读存储介质 | |
US10229134B2 (en) | Systems and methods for managing upgrades, migration of user data and improving performance of a cloud-based platform | |
TWI476610B (zh) | 同級間冗餘檔案伺服器系統及方法 | |
CN104951474B (zh) | 一种用于获取MySQL binlog增量日志的方法和装置 | |
CN1988535B (zh) | 文件存储同步方法、系统及客户端 | |
CN110401724B (zh) | 文件管理方法、文件传输协议服务器及存储介质 | |
CN107797767B (zh) | 一种基于容器技术部署分布式存储系统及其存储方法 | |
US6578054B1 (en) | Method and system for supporting off-line mode of operation and synchronization using resource state information | |
US9639558B2 (en) | Image building | |
US20170177452A1 (en) | Computing device replication using file system change detection methods and systems | |
CN106161523B (zh) | 一种数据处理方法和设备 | |
US20030195951A1 (en) | Method and system to dynamically detect, download and install drivers from an online service | |
CN107741852B (zh) | 一种基于集群软件的服务部署方法 | |
US20150263909A1 (en) | System and method for monitoring a large number of information processing devices in a communication network | |
US20100161550A1 (en) | File synchronization based on intercepting file system calls | |
US20100042991A1 (en) | Business-in-a-box integration server and integration method | |
CN103634406A (zh) | 文件同步方法及其终端 | |
US20150227605A1 (en) | Information processing terminal, synchronization control method, and computer-readable recording medium | |
CN112860282B (zh) | 集群插件的升级方法、装置和服务器 | |
RU2643429C2 (ru) | Способ управления синхронизацией файлов (варианты), электронное устройство (варианты) и машиночитаемый носитель | |
JP2000250799A (ja) | 複製ファイル管理システム | |
US20180089034A1 (en) | Retrospective snapshots in log-structured storage systems | |
CN117234410A (zh) | 一种数据文件缓存处理方法、装置、存储介质及电子装置 | |
US20120124009A1 (en) | Automatic expiration of data in file systems under certain scenarios |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |