CN112491963B - 数据传输方法、装置、设备及可读存储介质 - Google Patents
数据传输方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN112491963B CN112491963B CN202011211189.0A CN202011211189A CN112491963B CN 112491963 B CN112491963 B CN 112491963B CN 202011211189 A CN202011211189 A CN 202011211189A CN 112491963 B CN112491963 B CN 112491963B
- Authority
- CN
- China
- Prior art keywords
- data
- target
- end client
- cache
- buffer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 219
- 238000000034 method Methods 0.000 title claims abstract description 73
- 239000000872 buffer Substances 0.000 claims abstract description 307
- 230000002159 abnormal effect Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 18
- 238000012545 processing Methods 0.000 description 7
- 230000032683 aging Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003139 buffering effect Effects 0.000 description 2
- 241000238366 Cephalopoda Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000002966 varnish Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请实施例提供一种数据传输方法、装置、设备及可读存储介质,所述方法应用于文件系统,包括前端客户端和文件服务器,在前端客户端与文件服务器之间配置有多个缓存区,所述方法包括:响应于所述前端客户端的用户发送的数据传输请求,获得所述数据传输请求的传输类型;根据所述传输类型和所述多个缓存区分别至所述前端客户端的传输路径的长短,确定所述多个缓存区各自的优先级;按照所述多个缓存区各自的优先级,在所述多个缓存区中确定执行数据传输的目标缓存区;在所述目标缓存区与所述前端客户端的用户之间,传输与所述数据传输请求对应的目标数据。
Description
技术领域
本申请实施例涉及数据处理技术领域,尤其涉及一种数据传输方法、装置、设备及可读存储介质。
背景技术
在保险领域中,客户往往需要通过为其提供的各类客户端应用上传文件,以及,保险业务部门的工作人员需要通过专门的客户端对一些保险业务进行处理。
其中,无论是客户通过客户端上传文件还是工作人员通过客户端对保险业务进行处理,均会涉及到对图片、PDF文件等大数据量文件的上传和下载。例如,业务员对保单资料文件进行批改操作,会涉及到文件的查看、审核;客户在申请理赔时,会通过承保系统上传证件照。
然而,在实际实行过程中,在对这些大数据量文件的上传和下载时,特别是在客户端的页面加载这些文件时,往往加载过程漫长,用户需要等待较长的时间,由此,导致了各类业务的办理效率低的问题。
发明内容
本申请实施例提供一种数据传输方法、装置、设备及可读存储介质,旨在提高与前端客户端之间传输数据的速度。
本申请实施例第一方面提供了一种数据传输方法,所述方法应用于文件系统,所述文件系统包括前端客户端和文件服务器,在所述前端客户端与所述文件服务器之间配置有多个缓存区;所述方法包括:
响应于所述前端客户端的用户发送的数据传输请求,获得所述数据传输请求的传输类型;
根据所述传输类型和所述多个缓存区分别至所述前端客户端的传输路径的长短,确定所述多个缓存区各自的优先级;
按照所述多个缓存区各自的优先级,在所述多个缓存区中确定执行数据传输的目标缓存区;
在所述目标缓存区与所述前端客户端的用户之间,传输与所述数据传输请求对应的目标数据。
可选地,所述传输类型为数据下载类型,根据所述传输类型和所述多个缓存区分别至所述前端客户端的传输路径的长短,确定所述多个缓存区各自的优先级,包括:
按照至所述前端客户端的传输路径越短优先级越高的设定策略,确定所述多个缓存各自的优先级;
按照所述多个缓存区各自的优先级,在所述多个缓存区中确定执行数据传输的目标缓存区,包括:
按照所述优先级从高到低的顺序,依次在所述多个缓存区中查找是否存在所述目标数据;
将首次查找到的存在所述目标数据的缓存区确定为目标缓存区;
在所述目标缓存区与所述前端客户端的用户之间,传输与所述数据传输请求对应的目标数据,包括:
将所述目标缓存区中的所述目标数据推送到所述前端客户端的页面。
可选地,所述方法还包括:
从所述多个缓存区中,确定高于所述目标缓存区的优先级的第一缓存区;
将从所述目标缓存区中获取的所述目标数据缓存到所述第一缓存区中。
可选地,所述传输类型为数据上传类型,根据所述传输类型和所述多个缓存区分别至所述前端客户端的传输路径的长短,确定所述多个缓存区各自的优先级,包括:
将所述多个缓存区各自的优先级设为同一优先级;
按照所述多个缓存区各自的优先级,在所述多个缓存区中确定执行数据传输的目标缓存区,包括:
将所述多个缓存区中的每个缓存区均确定为目标缓存区;
在所述目标缓存区与所述前端客户端的用户之间,传输与所述数据传输请求对应的目标数据,包括:
将所述目标数据缓存到各目标缓存区,并在将所述上传数据缓存到距离所述前端客户端的传输路径最短的缓存区时,向所述前端客户端返回数据上传成功信息;其中,所述上传数据在不同缓存区的缓存时效不同。
可选地,所述传输类型为页面浏览类型,所述方法还包括:
确定待浏览的目标页面中所包括的多个内容模块;
在所述目标缓存区与所述前端客户端的用户之间,传输与所述数据传输请求对应的目标数据,包括:
在所述目标缓存区与所述前端客户端的用户之间,传输与所述多个内容模块各自对应的目标数据;
所述方法还包括:
将所述多个内容模块各自对应的目标数据缓存到优先级最高的缓存区;
在检测到用户对所述多个内容模块中目标内容模块的触发操作时,将所述优先级最高的缓存区中与所述目标内容模块对应的目标数据加载到所述目标页面中。
可选地,所述方法还包括:
确定所述多个缓存区中所缓存的各数据的调用次数,将距离所述前端客户端的传输路径长的缓存区中调用次数高于预设次数的数据缓存到距离所述前端客户端的传输路径短的缓存区中;
和/或,确定所述多个缓存区中缓存的各个数据的类型,将所述多个缓存区中所缓存的预设类型的数据缓存到距离所述前端客户端的传输路径最短的缓存区中。
可选地,所述文件系统还包括与所述前端客户端通信的应用服务器,所述方法还包括:
检测所述多个缓存区中存在故障的缓存区,将所述存在故障的缓存区中缓存的数据发送给所述应用服务器,以将所述存在故障的缓存区替换为所述应用服务器;
和/或,在检测到所述多个缓存区中存在异常的数据时,从所述文件服务器中获取所述存在异常的数据对应的正常数据,将所述正常数据缓存到所述存在异常的数据所属的缓存区中。
本发明实施例的第二方面,提供了一种数据传输装置,应用于文件系统,所述文件系统包括前端客户端和文件服务器,在所述前端客户端与所述文件服务器之间配置有多个缓存区;所述装置包括:
请求响应模块,用于响应于所述前端客户端的用户发送的数据传输请求,获得所述数据传输请求的传输类型;
优先级确定模块,用于根据所述传输类型和所述多个缓存区分别至所述前端客户端的传输路径的长短,确定所述多个缓存区各自的优先级;
缓存区确定模块,用于按照所述多个缓存区各自的优先级,在所述多个缓存区中确定执行数据传输的目标缓存区;
传输模块,用于在所述目标缓存区与所述前端客户端的用户之间,传输与所述数据传输请求对应的目标数据。
本申请实施例第三方面提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行时实现如本申请第一方面所述的方法中的步骤。
本申请实施例第四方面提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时,实现如本申请第一方面所述的方法中的步骤。
本申请实施例中,文件系统包括前端客户端和文件服务器,在前端客户端与文件服务器之间配置有多个缓存区。系统可以响应于前端客户端的用户发送的数据传输请求,获得数据传输请求的传输类型;根据传输类型和所述多个缓存区分别至前端客户端的传输路径的长短,确定多个缓存区各自的优先级;按照多个缓存区各自的优先级,在多个缓存区中确定执行数据传输的目标缓存区;在目标缓存区与前端客户端的用户之间,传输与数据传输请求对应的目标数据。
由于针对传输类型,例如数据下载类型和数据上传类型,可以确定缓存区的优先级,该优先级可以用于确定缓存区与前端客户端传输数据的优先顺序,如此,可以使得在下载数据时,优先从传输路径短的缓存区中传输数据,而在上传数据时,可以将数据优先缓存到各个缓存区,然后再存储到文件服务器。这样,通过传输类型设置缓存区的优先级,可以加快不同数据传输需求下的数据传输效率,相比于现有技术中从文件服务器中传输数据到前端客户端,本申请实施例的数据传输能够缩短至前端客户端的传输路径,实现数据的快速传输。
应当理解的,实施本申请实施例的任一方法或产品,并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一实施例提出的文件系统的系统结构示意图;
图2是本申请一实施例提出的数据传输方法的步骤流程图;
图3是本申请一实施例提出的下载数据时的场景示意图;
图4是本申请一实施例提出的一种应用场景的示意图;
图5是本申请一实施例提出的缓存区中无目标数据的场景示意图;
图6是本申请一实施例提出的上传数据的场景示意图;
图7是本申请一实施例提出的传输类型为页面浏览类型的场景示意图;
图8是本申请一实施例提出的又一文件系统的系统结构示意图;
图9是本申请一实施例中提出的在又一应用场景中的演示示意图;
图10是本申请一实施例提供的数据传输装置的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,均应属于本申请保护的范围。
相关技术中,保险公司为了供客户上传资料以及供业务员处理保险业务,例如,在车险业务中,由于车险涉及到图片、音频等较大文件的加载和上传,一般会提供一个文件服务器,将与保险有关的数据均存储在文件服务器中,这样,在上传资料时,资料通过客户端存储至文件服务器,在下载资料时,从文件服务器中找到相应数据并返回给客户端。通过此种方式,以为车险业务提供一个可供影像等大文件资料的上传和下载。
但是,在具体运行过程中,申请人发现文件服务器与客户端之间的通信路径会非常长,此种情况下,当需要上传或下载大数据量的文件时,例如,需要上传图像或下载图像时,会经过较长的传输时间,如此导致上传完图片之后展示慢,或者点击展示图片,加载的慢,导致用户等待时间过长,从而影响车险类保险业务的效率。
有鉴于此,为了提高用户在前端客户端上传或下载文件的效率,本申请人提出以下技术构思:主要使用加缓存的架构方式来提高文件的加载速度,从而提高访问速度。具体地,在前端客户端和文件服务器之间布设多个层级的缓存区,不同缓存区距离前端客户端之间的传输路径的长短不同,在前端客户端需要传输数据时,可以通过多个缓存区与前端客户端之间传输数据,以缩短数据传输路径,提高效率。
参照图1,图1为本申请实施例提出的一种文件系统的系统结构示意图,如图1所示,文件系统可以包括前端客户端(图1示出的是web前端)和文件服务器,在web前端与所述文件服务器之间配置有多个缓存区,不同缓存区具有不同的优先级,其中,优先级高的缓存区至所述前端客户端的传输路径短于优先级低的缓存区至所述前端客户端的传输路径。
其中,缓存区可以为设置的用于进行数据临时存储的缓存,包括memcache、redis、squid、varnish、web cache、CDN等缓存。
其中,如图1所示,在该文件系统中设置的多个缓存区可以包括部署于前端客户端与Nginx之间的缓存区A、部署于Nginx与文件服务器之间的缓存区B。其中,Nginx是一个高性能的HTTP和反向代理web服务器。
也就是说,从图1可看出,本申请在前端客户端和文件服务器之间布设的两个缓存区到web前端的传输路径的长短是不一的,其中,部署于前端客户端与Nginx之间的缓存区A距离web前端更近,其传输路径更短。
当然,图1仅为示例性说明,实际中,还可以在文件服务器与前端客户端之间部署更多的缓存区。
参照图2所示,示出了本申请实施例的数据传输方法的步骤流程图,如图2所示,可以包括以下步骤:
步骤S201:响应于所述前端客户端的用户发送的数据传输请求,获得所述数据传输请求的传输类型。
本申请实施例中,前端客户端可以是web客户端,例如,常用的保险类客户端,包括为客户提供的客户端以及为业务员提供的客户端。一般而言,前端客户端安装在用户终端上,以实现与文件服务器的通信。
其中,用户可以通过用户终端上安装的前端客户端,进入该前端客户端提供的页面,从而可以在页面上的相应模块上传数据或查看数据,当用户需要查看数据或上传数据时,用户终端上安装的前端客户端可以生成该数据传输请求。
其中,该数据传输请求可以携带用户标识、请求的数据的标识以及传输类型标识。实际中,可以对数据传输请求进行解析,从而根据传输类型标识确定传输类型,本实施例中,传输类型可以包括数据浏览类型、数据下载类型和数据上传类型。
步骤S202:根据所述传输类型和所述多个缓存区分别至所述前端客户端的传输路径的长短,确定所述多个缓存区各自的优先级。
本实施例中,对于不同的传输类型,可以通过不同的模式确定所述多个缓存区各自的优先级,一个缓存区的优先级可以表征该缓存区在该次数据传输中被选中进行数据传输的优先顺序。这样,不同传输类型下,同一缓存区的优先级可以不同,即同一个缓存区在不同的数据传输中,其进行数据传输的优先顺序可以是不同的。例如,如图1所示,对缓存区B而言,下载数据时,该缓存区B具有较低的优先顺序,而在上传数据时,缓存区可以具有较高的传输优先顺序。
当然,一般而言,在根据多个缓存区分别至前端客户端的传输路径的长短,确定多个缓存区各自的优先级时,可以将至前端客户端的传输路径较短的缓存区的优先级设置的较高。可以理解的是,对应传输路径的长短相同的缓存区,可以将路径长短相同的缓存区设置为同一优先级。
本实施例中,一个缓存区到前端客户端的传输路径可以是指该缓存区至前端客户端的通信链路,可以通过该通信链路上的节点的数量确定传输路径的长短。其中,节点的数量的多寡可以一定程度上反映缓存区与前端客户端之间的空间距离,其中,通信链路上的节点的数量越多,则传输路径越长(空间距离越大),通信链路上的节点的数量越少,则传输路径越短(空间距离越小)。
步骤S203:按照所述多个缓存区各自的优先级,在所述多个缓存区中确定执行数据传输的目标缓存区。
本实施例中,确定好缓存区的优先级后,可以按照多个缓存区各自的优先级,在多个缓存区中确定执行数据传输的目标缓存区,该目标缓存区可以是优先级最高的缓存区,当然,也可以是优先级不是最高但是存在目标数据的缓存区。
步骤S204:在所述目标缓存区与所述前端客户端的用户之间,传输与所述数据传输请求对应的目标数据。
本实施例中,可以在目标缓存区与前端客户端的用户之间,传输目标数据,例如,在上传数据时,可以基于目标缓存区与前端客户端之间的传输路径,将数据上传到目标缓存区;在下载数据时,可以基于目标缓存区与前端客户端之间的传输路径,将目标缓存区中的目标数据发送给前端客户端。
本实施例中,由于针对传输类型,例如数据下载类型和数据上传类型,可以确定缓存区的优先级,该优先级可以用于确定缓存区与前端客户端传输数据的优先顺序,如此,可以使得在下载数据时,优先从传输路径短的缓存区中传输数据,而在上传数据时,可以将数据优先缓存到各个缓存区,然后再存储到文件服务器。这样,通过传输类型设置缓存区的优先级,可以加快不同数据传输需求下的数据传输效率,相比于现有技术中从文件服务器中传输数据到前端客户端,本申请实施例的数据传输能够缩短至前端客户端的传输路径,实现数据的快速传输。
下面,对各种传输类型下的数据传输方法进行分别介绍。
参照图3所示,示出了如何下载数据的场景示意图。其中,在传输类型为下载数据类型时,设置多个缓存区各自的优先级的过程可以为:按照至所述前端客户端的传输路径越短优先级越高的设定策略,确定所述多个缓存各自的优先级。则相应地,在按照所述多个缓存区各自的优先级,在所述多个缓存区中确定执行数据传输的目标缓存区时,可以按照所述优先级从高到低的顺序,依次在所述多个缓存区中查找是否存在所述目标数据;将首次查找到的存在所述目标数据的缓存区确定为目标缓存区。进而,可以将目标缓存区中的所述目标数据推送到所述前端客户端的页面。
本实施例中,优先级高的缓存区至所述前端客户端的传输路径短于优先级低的缓存区至所述前端客户端的传输路径。例如,如图3所示,部署于前端客户端与Nginx之间的缓存区A具有最高的优先级,表征其与web前端的传输路径最短,即距离web前端更近。
其中,对于至前端客户端的传输路径较短的缓存区,从该缓存区返回数据给前端客户端的速度更快,反之,对于至前端客户端的传输路径较长的缓存区,从该缓存区返回数据给述前端客户端时,由于需要经过更多个节点,其传输速度更慢。
这样,在数据传输请求是对目标数据的下载请求时,可以按照传输路径的长短设置各个缓存区的优先级,由于优先级高的缓存区至前端客户端的传输路径短于优先级低的缓存区至前端客户端的传输路径,由此,可以优先从优先级高的缓存区中向前端客户端传输目标数据。具体而言,可以按照优先级从高到低的顺序,依次在多个缓存区中查找是否存在目标数据,并从首次查找到存在目标数据的目标缓存区中,将该目标数据反馈给前端客户端。
示例性地,如图3所示,王某在自己手机上发出了对保险合同A的下载请求,文件系统便可以在各个缓存区中按照优先级的高低顺序,逐级在各个缓存区中查找是否存在保险合同A,最终将缓存区A中的保险合同返回给王某的web客户端。由于相比于从缓存区B或文件服务器返回目标数据给前端客户端,从缓存区A中返回目标数据给前端客户端的传输路径更短,因此传输效率更高。
本示例中,由于在检测到下载请求时,按照到前端客户端的传输路径由近到远的先后顺序依次查找存在目标数据的目标缓存区,这样,可以从距离前端客户端较近的目标缓存区中向前端客户端推送目标数据,由此,可以尽可能地缩短向前端客户端发送目标数据的传输路径,以提高下载速度。
其中,在又一种示例中,也可以从所述多个缓存区中,确定高于所述目标缓存区的优先级的第一缓存区,并将从所述目标缓存区中获取的所述目标数据缓存到所述第一缓存区中。
本实施例中,存在目标数据的目标缓存区可能是优先级最高的缓存区,也可能是优先级最低的缓存区,由此,可以确定优先级高于目标缓存区的第一缓存区,由于第一缓存区的优先级高于目标缓存区且其不存在目标数据,因此可以将目标缓存区中的目标数据缓存到第一缓存区中,以使得在后续若接收到对目标数据的再次下载请求时,便可以从优先级更高的第一缓存区中返回目标数据,以提高对前端客户端对目标数据的再次加载速度。
其中,当优先级高于目标缓存区的第一缓存区有多个时,可以将目标缓存区中的目标数据缓存到各个第一缓存区中或者缓存到优先级最高的第一缓存区中。
参照图4所示,示出了本申请实施例的一种应用场景的示意图,图4中上方的图所示,当用户李某需要查看目标数据时,后台文件系统需要首先在缓存区A中查找数据(图4中第一次查找过程),若缓存区A中不存在目标数据,则继续到缓存区B中查找数据(图4中第二次查找过程),由于缓存区B中有目标数据,则将缓存区B中的目标数据返回给用户李某的web客户端,同时缓存区B中的目标数据缓存到缓存区A中。若1天后,有用户王某又发起了对目标数据的查看,则第一次查找就在缓存区A中找到目标数据,从而将缓存区A中的目标数据返回给用户王某的web客户端,相比于用户李某,王某对目标数据的下载速度更快。
实际中,在针对下载数据类型的数据传输请求时,若从各个缓存区中查找不到目标数据,则可以表征对该目标数据发起了首次下载请求,则可以从文件服务器中查找是否存在目标数据,若文件服务器存在目标数据,则可以从文件服务器中反馈目标数据给前端客户端。此种情况下,也可以将文件服务器的目标数据同时缓存到各个缓存区中,这样,在后续又接收到针对目标数据的下载请求时,便可以从缓存区中反馈目标数据。
参照图5所示,示出了缓存区中无目标数据的场景示意图,如图5所示,当李某下载保险合同A时,在缓存中并不存在保险合同A,则可以从文件服务器中向web客户端返回保险合同A,再将保险合同A存储到缓存区B中,这样,2分钟后,若王某需要下载保险合同A,则可以直接从缓存区A返回保险合同A给王某,如此,王某的下载速度提到了快速提升。采用这样的方式,可以使得对于同一个数据而言,后续下载的用户可以得到更快的下载速度。
参照图6所示,示出了本申请实施例的上传数据的场景示意图,如图6所示,在一种实施例中,若传输类型为数据上传类型,则在确定所述多个缓存区各自的优先级时,可以将所述多个缓存区各自的优先级设为同一优先级,而在确定目标缓存区时,可以将多个缓存区中的每个缓存区均确定为目标缓存区,这样,在目标缓存区与前端客户端之间传输目标数据时,可以将目标数据缓存到各目标缓存区中,即将目标数据缓存到各个缓存区中。
同时,在将上传数据缓存到距离前端客户端的传输路径最短的缓存区时,向前端客户端返回数据上传成功信息;其中,上传数据在不同缓存区的缓存时效不同。
本实施例中,在获得用户的数据传输请求的同时,可以获得用户在所述前端客户端上传的目标数据。在此种情况下,为了实现上传的目标数据的存储,可以将多个缓存区的优先级设置为同一优先级,这样,可以将目标数据同时上传到多个缓存区。如图6所示,可以将证件图像同时缓存到各缓存区中。由于在将目标数据上传到多个缓存区时,与前端客户端之间传输路径最短的缓存区,其传输节点最少,速度最快,因此,可以在将目标数据上传到传输路径最短的缓存区时,便可以向前端客户端反馈数据上传成功信令,优化了用户的上传体验。
当然,在其中一种示例中,也可以将传输路径最短的缓存区设置为最高优先级,而将其他剩余的缓存区设置为同一优先级,在上传目标数据时,可以先将目标数据上传至最高优先级的缓存区后,再从最高优先级的缓存区中将目标数据同时缓存到其他剩余的缓存区中。即,可以依次从上一缓存区中获取上传数据再缓存到下一缓存区中,直至将上传数据存储到文件服务器中,从而实现了上传数据一种传递性存储。采用此种方式时,可以避免同时将数据上传至各个缓存区时造成的网络繁忙的问题,可以缓存区的分批缓存,从而减少网络拥堵,进一步提高传输效率。
其中,在将上传数据缓存到优先级最高的缓存区时,便可以向前端客户端返回数据上传成功信息,如此表示上传数据已经上传成功,由于缓存到优先级最高的缓存区的速度相比缓存到其他优先级的缓存区和文件服务器的速度更快,因此,可以提高上传数据的上传效率,优化了用户的上传体验。
这样,当将目标数据缓存到各个缓存区之后,后续若在接收到对该目标数据的下载请求,便可以按照上述下载过程,从传输路径最短的缓存区中返回目标数据给前端客户端。
例如,如图6所示,将证件图像同时缓存到各缓存区中后,若王某发出了对证件图像的下载请求,则可以将缓存区A中的数据返回给王某的客户端,如此,提高了后续对该上传的目标数据进行下载的下载效率。
其中,由于上传数据在不同缓存区的缓存时效不同,则对于达到缓存时效的数据,可以将其从缓存区中清除,具体地,在一种实例中,对每个缓存区,实时检测该缓存区内缓存的数据的缓存时长;在检测到存在缓存时长达到该缓存区的缓存时效的待删除数据时,将所述待删除数据从该缓存区中删除。
本实施例中,文件系统可以实时对多个缓存区进行扫描,以确定各缓存区中达到缓存时效的数据,具体而言,可以对各个缓存区中的数据进行遍历,根据缓存区中的数据被缓存时记录的时间和当前时间的时间差,确定数据的缓存时长,当缓存时长达到缓存时效时,便可以将该数据删除。
本实施例中,采用目标数据在不同缓存区的缓存时效不同、并在所缓存的数据达到该缓存区的缓存时效时,将其进行删除的技术方案,可以实时清理各个缓存区的数据,以释放出缓存空间,使得各缓存区可以有存储空间存储新到来的数据,这样,各个缓存区缓存的都是较新的数据。
参照图7所示,示出了本申请实施例中传输类型为页面浏览类型的场景示意图,结合图7所示,对传输类型为页面浏览类型情况下,如何进行数据传输进行阐述。
具体地,可以在确定传输类型为页面浏览类型时,确定待浏览的目标页面中所包括的多个内容模块,接着,可以按照上述下载数据的过程,即按照传输路径越短优先级越高,确定各缓存区的优先级,然后,按照所述优先级从高到低的顺序,依次在所述多个缓存区中查找是否存在与多个内容模块对应的目标数据;接着,从首次查找到的存在目标数据的缓存区获取与多个内容模块各自对应的目标数据。
本示例中,可以将多个内容模块各自对应的目标数据缓存到优先级最高的缓存区中,从而在检测到用户对多个内容模块中目标内容模块的触发操作时,将优先级最高的缓存区中与目标内容模块对应的目标数据加载到目标页面中。
本实施例中,可以在前端客户端接收到用户对目标页面的浏览操作时,生成数据传输请求,其中,数据传输请求中可以携带目标页面的页面标识。一般而言,当用户打开目标页面时,表示用户希望浏览该页面中的相应数据。其中,目标页面中可以包括多个内容模块,不同内容模块可以对应不同的功能,例如,内容模块A对应合同条款的浏览、内容模块B对应证件照的浏览。
本实施例中,可以从多个缓存区中查找各个内容模块的目标数据,或,也可以从文件服务器中获取多个内容模块各自对应的目标数据。一个内容模块对应的目标数据可以是指该内容模块在被用户点击后所要渲染的数据,实际中,页面上各个模块要展示的数据是提前备好的,该待展示数据可以存储在缓存区中,也可以存储在文件服务器中,当目标数据在缓存区中存在时,可以表征该目标数据被其他用户下载使用过。
本实施例中,可以将查找到的目标数据均缓存到优先级最高的缓存区中,这样,可以在用户打开目标页面但还未打开内容模块之前,将各个内容模块的目标数据提前缓存到优先级最高的缓存区。如此,便实现了从后端向靠近前端客户端的缓存区推送目标数据的目的,即实现了对目标页面中各个内容模块的数据的预缓存。
如此,由于将各个内容模块的目标数据提前缓存到优先级最高的缓存区,其中,优先级最高的缓存区与前端客户端之间的传输路径最短,因此,可以最快的响应前端客户端对目标数据的加载。由此,在检测到用户对目标页面中目标内容模块的触发操作时,便可以从优先级最高的缓存区向前端客户端返回目标内容模块的目标数据,由此,实现了对目标内容模块的数据的快速加载。
如图7所示,示出的是优先从缓存区中获取各个内容模块对应的目标数据的过程。例如,目标数据H和目标数据S在缓存区B中,目标数据W在文件服务器中,则可以将目标数据H、目标数据S和目标数据W存储到优先级最高的缓存区A中。当用户在前端客户端对内容模块w点击时,则可以从缓存区A中将目标数据W返回给用户,以在前端客户端上展示数据。如此,相比于从文件服务器中获取目标数据W,从缓存区A中返回数据W更快。
采用此种实施方案时,由于在用户打开前端客户端的目标页面但在点击目标页面的模块之前,提前将内容模块的目标数据缓存到优先级最高的缓存区中,如此便可以在点击模块时,可以以最短的传输路径将内容模块的目标数据反馈到前端客户端,以实现快速加载和显示。
参照图8所示,示出了本申请又一实施例中的文件系统的系统结构示意图,在该文件系统中也可以包括影像服务器,其中影像服务器设置在web前端和文件服务器之间,该影像服务器和文件服务器充当了web客户端的后台数据存储库。其中,设置影像服务器的目的在于,该影像服务器可以存储证件照等大文件数据,例如,图片、音频、视频等多媒体文件。这样,大文件数据可以从影像服务器返回,从而进一步又缩短了与前端客户端之间传输大文件数据的传输路径,从而加快大文件数据的传输效率。
其中,在web前端和文件服务器之间也部署有多个缓存区,如,在前端客户端与Nginx之间的缓存区A、部署于Nginx与影像服务器之间的缓存区B,以及部署在影像服务器与文件服务器之间的缓存区C。
结合图8所示的文件系统,提出了本申请又一实施例中的数据传输方法,该数据传输方法具体的过程可以为:
首先,响应于所述前端客户端的用户发送的数据传输请求,获得所述数据传输请求的传输类型和所述数据传输请求所请求的目标数据的类型。
其中,当目标数据的类型为除图片、音视频文件外的其他类型时,可以执行上述步骤S202-步骤S204的过程,而在目标数据的类型为图片、音视频文件时,则可以将影像服务器确定为一个缓存区,接着,执行步骤S202-步骤S204的过程。
也就是说,前端客户端所请求的目标数据是图片、音视频等大数据文件时,则可以将影像服务器作为一个缓存区看待,在步骤S202中,在确定各个缓存区的优先级时,可以将影像服务器视作一个缓存区和各个缓存区一起被按照传输路径的长短确定优先级,即影像服务器也具有自身的优先级。接着,在步骤S203中,当影像服务器作为一个缓存区时,确定出的目标缓存区也可以是影像服务器。
以图8为例进行说明,假设当前的数据传输请求所要请求的目标数据是证件照图像,为图片类型,则在确定各个缓存区的优先级时,将影像服务器作为缓存区,确定出的优先级从高到低依次是:缓存区A、缓存区B、影像服务器、缓存区C,按照优先级从高到低的顺序依次查找各个缓存区是否存在证件照图像,即查询到缓存区A不存在,继续在缓存区B中查找,若缓存区B中也不存在,则继续在影像服务器中查找,若影像服务器中存在证件照图像,则从影像服务器中返回证件照图像给前端客户端,同时,将证件照图像缓存到缓存区A和缓存区B中。
仍以图8为例进行说明,假设当前的数据传输请求所要请求的目标数据是文本数据,为文本类型,则可以不将影像服务器作为缓存区看待,确定出的优先级从高到低依次是:缓存区A、缓存区B、缓存区C,按照优先级从高到低的顺序依次查找各个缓存区是否存在文本数据,即查询到缓存区A不存在,继续在缓存区B中查找,若缓存区B中存在文本数据,则从缓存区B中返回文本数据给前端客户端,同时,将文本数据缓存到缓存区A中。
在另一种示例中,如图8,所web客户端可以从影像服务器和文件服务器中获取数据,影像服务器和文件服务器充当了web客户端的后台数据存储库。如图9所示,示出了本申请的文件系统的在又一应用场景中的演示示意图,如图9所示,前端客户端与文件系统通信链接,也与应用服务器通信链接(该示例中在Nignx与影像服务器之间未设置缓存区)。此种情况下,文件服务器和影像服务器作为前端客户端的数据存储服务器,主要用于数据存储,其中,影像服务器用于存储图片、音视频等大文件类的数据。其中,应用服务器可以为web客户端提供所需的服务、如访问服务、登陆服务、验证服务等,其是与前端客户端存在服务关系的服务器,其也可以保存有前端客户端所需的数据。
实际中,当用户在前端客户端需要进行登录、注册、验证等,前端客户端便可以与应用服务器进行通信,以实现这些服务器,当用户在前端客户端需要下载数据或上传数据等时,便可以与文件系统进行通信,以通过各个缓存区、影像服务器和文件服务器进行数据传输。
而本申请的文件系统可以用于为前端客户端进行的数据加载和数据上传提供存储服务。
如图9中9-1所示,在当缓存区出现故障后,为了提高向前端客户端加载数据的效率,也可以从与前端客户端连接的应用服务器返回数据。具体可以包括:检测所述多个缓存区中存在故障的缓存区,将所述存在故障的缓存区中缓存的数据发送给所述应用服务器,以将所述存在故障的缓存区替换为所述应用服务器。
本示例中,可以定时对多个缓存区进行检测,以发现存在故障的缓存区,当某一缓存区存在故障时,便可以将存在故障的缓存区中缓存的数据发送给所述应用服务器,以使应用服务器替换为该缓存区。例如,部署于影像服务器与文件服务器之间的缓存区B出现故障,则可以将该缓存区B中的数据发送给应用服务器,以使应用服务器作为该缓存区B的角色,应用服务器便具有与该缓存区B的优先级。
当然,如图9-2所示,在多个缓存区中的大部分缓存区或全部缓存区均出现故障时,也可以转而由应用服务器为前端客户端提供服务,即从应用服务器返回数据给web客户端。
在又一种示例中,可以保证多个缓存区中缓存的数据均为正常可使用的数据,如此,便涉及到及时将缓存区中出现异常的数据进行清除的情况,则可以在检测到所述多个缓存区中存在异常的数据时,从所述文件服务器中获取所述存在异常的数据对应的正常数据,将所述正常数据缓存到所述存在异常的数据所属的缓存区中。
本示例中,异常的数据可以是指不能正常打开的数据、乱码的数据、缺失的数据等。文件系统也可以定时检测每个缓存区中是否存在异常的数据,若发现存在异常的数据,则可以从文件服务器中获取相应的正常数据,然后将正常数据缓存到相应的缓存区中。其中,文件服务器中存储的数据可以为正常的数据。
其中,与异常的数据对应的正常数据可以是指该正常数据和异常数据是同一数据,即同一数据的不同状态。例如,都是保险合同A。如此,可以保证多个缓存区中缓存的数据均为正常可使用的数据,这样,可以提高前端客户端加载数据的质量。
在其他一种示例中,为了将调用频率较高的数据缓存到距离前端客户端更近的缓存区中,以提高调用频率高的数据的加载速度,也可以动态调整各个缓存区中所缓存的数据,具体地,可以确定所述多个缓存区中所缓存的各数据的调用次数,将距离所述前端客户端的传输路径长的缓存区中调用次数高于预设次数的数据,缓存到距离所述前端客户端的传输路径短的缓存区中。
本示例中,一个数据的调用次数可以是指该数据被推送到前端客户端的次数,可以反映前端客户端对该数据的需要热度,调用次数越多,则用户访问该数据的热度越高。其中,可以每间隔预设的时间便确定每个缓存区中所缓存的各数据的调用次数。其中,预设次数可以预先设置,当调用次数超过预设次数的数据存放在传输路径较长的缓存区中时,可以将该数据缓存到传输路径更短的缓存区中。
具体实施时,也可以为传输路径长短不同的缓存区设置不同的预设次数,即不同的缓存区可以存放访问热度不同的数据,这样,当某一缓存区中的数据的调用次数超过该缓存区对应的预设次数时,便可以根据该数据的调用次数,将其存储到传输路径更短的缓存区中。
例如,如图1所示,可以将缓存区B中调用次数超过100次的数据缓存到缓存区A中,如此,便可以使得访问热度高的数据始终可以缓存到离前端客户端较近的缓存区中,以提高访问热度高的数据的加载速度,这样,当某一数据被越多用户访问时,该数据的加载速度便可以越快。
在又一种示例中,为了提高文件较大的数据的加载速度,可以将文件较大的数据缓存到距离前端客户端更近的缓存区中,则也可以确定所述多个缓存区中缓存的各个数据的类型,将所述多个缓存区中所缓存的预设类型的数据,缓存到距离所述前端客户端的传输路径最短的缓存区中。例如,如图1所示,将缓存区B中的图片缓存到缓存区A中。
在该示例中,预设类型的数据可以是指格式为图片类型、音视频类型的数据,由于这类数据一般文件较大、传输较慢,因此,可以将这类数据缓存到传输路径最短的缓存区中,从而提高这类数据的加载速度。
当然,可以同时按照数据的调用次数和类型进行数据的缓存,比如,在优先级最高的缓存区中可以同时缓存调用次数超过预设次数的数据以及类型为预设类型的数据。
需要说明的是,本申请以单个前端客户端为基础,说明如何通过文件系统提高向前端客户端加载数据的效率,实际中,该文件系统也可以为多个不同的前端客户端提供数据的加载和上传的存储服务,对于每一个前端客户端,均可以采用上述实施例所述的方式向前端客户端推送数据。
基于同一发明构思,本申请一实施例提供一种前端数据推送装置,应用于文件系统,所述文件系统包括前端客户端和文件服务器,在所述前端客户端与所述文件服务器之间配置有多个缓存区。参考图10,图10是本申请一实施例提供的前端数据推送装置的示意图,如图10所示,该装置具体可以包括以下模块:
请求响应模块1001,用于响应于所述前端客户端的用户发送的数据传输请求,获得所述数据传输请求的传输类型;
优先级确定模块1002,用于根据所述传输类型和所述多个缓存区分别至所述前端客户端的传输路径的长短,确定所述多个缓存区各自的优先级;
缓存区确定模块1003,用于按照所述多个缓存区各自的优先级,在所述多个缓存区中确定执行数据传输的目标缓存区;
传输模块1004,用于在所述目标缓存区与所述前端客户端的用户之间,传输与所述数据传输请求对应的目标数据。
可选地,所述传输类型为数据下载类型,所述优先级确定模块1002,具体用于按照至所述前端客户端的传输路径越短优先级越高的设定策略,确定所述多个缓存各自的优先级;
所述缓存区确定模块1003,具体用于按照所述优先级从高到低的顺序,依次在所述多个缓存区中查找是否存在所述目标数据;将首次查找到的存在所述目标数据的缓存区确定为目标缓存区;
所述传输模块1004,具体用于将所述目标缓存区中的所述目标数据推送到所述前端客户端的页面。
可选地,该装置具体还可以包括以下模块:
筛选模块,用于从所述多个缓存区中,确定高于所述目标缓存区的优先级的第一缓存区;
缓存模块,用于将从所述目标缓存区中获取的所述目标数据缓存到所述第一缓存区中。
可选地,所述传输类型为数据上传类型,所述优先级确定模块1002,具体用于将所述多个缓存区各自的优先级设为同一优先级;
所述缓存区确定模块1003,具体用于将所述多个缓存区中的每个缓存区均确定为目标缓存区;
所述传输模块1004,具体用于将所述目标数据缓存到各目标缓存区,并在将所述上传数据缓存到距离所述前端客户端的传输路径最短的缓存区时,向所述前端客户端返回数据上传成功信息;其中,所述上传数据在不同缓存区的缓存时效不同。
可选地,所述传输类型为页面浏览类型,所述装置还可以包括以下模块:
内容确定模块,用于确定待浏览的目标页面中所包括的多个内容模块;
所述传输模块1004,具体用于在所述目标缓存区与所述前端客户端的用户之间,传输与所述多个内容模块各自对应的目标数据;
所述装置还可以包括以下模块:
存储模块,用于所述多个内容模块各自对应的目标待展示数据缓存到优先级最高的缓存区;
加载模块,用于在检测到用户对所述多个内容模块中目标内容模块的触发操作时,将所述优先级最高的缓存区中与所述目标内容模块对应的目标数据加载到所述目标页面中。
可选地,该装置具体还可以包括以下模块:
第一缓存调整模块,用于确定所述多个缓存区中所缓存的各数据的调用次数,将距离所述前端客户端的传输路径长的缓存区中调用次数高于预设次数的数据,缓存距离所述前端客户端的传输路径短的缓存区中;
和/或,
第二缓存调整模块,用于确定所述多个缓存区中缓存的各个数据的类型,将所述多个缓存区中所缓存的预设类型的数据,缓存到距离所述前端客户端的传输路径最短的缓存区中。
可选地,所述文件系统还包括与所述前端客户端通信的应用服务器,该装置具体还可以包括以下模块:
故障处理模块,用于检测所述多个缓存区中存在故障的缓存区,将所述存在故障的缓存区中缓存的数据发送给所述应用服务器,以将所述存在故障的缓存区替换为所述应用服务器;
和/或,
异常数据处理模块,用于在检测到所述多个缓存区中存在异常的数据时,从所述文件服务器中获取所述存在异常的数据对应的正常数据,将所述正常数据缓存到所述存在异常的数据所属的缓存区中。
可选地,该装置具体还可以包括以下模块:
时长检测模块,用于对每个缓存区,实时检测该缓存区内缓存的数据的缓存时长;
清除模块,用于在检测到存在缓存时长达到该缓存区的缓存时效的待删除数据时,将所述待删除数据从该缓存区中删除。
上述装置实施例与上述方法实施例的过程类似,相关之处,详见装置实施例的部分描述即可,在此不再赘述。
基于同一发明构思,本申请另一实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时,实现如本申请上述任一实施例所述的方法中的步骤。
基于同一发明构思,本申请另一实施例提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行时实现本申请上述任一实施例所述的方法中的步骤。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种数据传输方法、装置、设备及可读存储介质,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (9)
1.一种数据传输方法,其特征在于,所述方法应用于文件系统,所述文件系统包括前端客户端和文件服务器,在所述前端客户端与所述文件服务器之间配置有多个缓存区;所述方法包括:
响应于所述前端客户端的用户发送的数据传输请求,获得所述数据传输请求的传输类型;
根据所述传输类型和所述多个缓存区分别至所述前端客户端的传输路径的长短,确定所述多个缓存区各自的优先级;
按照所述多个缓存区各自的优先级,在所述多个缓存区中确定执行数据传输的目标缓存区;
在所述目标缓存区与所述前端客户端的用户之间,传输与所述数据传输请求对应的目标数据;
所述传输类型为数据下载类型,根据所述传输类型和所述多个缓存区分别至所述前端客户端的传输路径的长短,确定所述多个缓存区各自的优先级,包括:
按照至所述前端客户端的传输路径越短优先级越高的设定策略,确定所述多个缓存各自的优先级;
按照所述多个缓存区各自的优先级,在所述多个缓存区中确定执行数据传输的目标缓存区,包括:
按照所述优先级从高到低的顺序,依次在所述多个缓存区中查找是否存在所述目标数据;
将首次查找到的存在所述目标数据的缓存区确定为目标缓存区;
在所述目标缓存区与所述前端客户端的用户之间,传输与所述数据传输请求对应的目标数据,包括:
将所述目标缓存区中的所述目标数据推送到所述前端客户端的页面。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
从所述多个缓存区中,确定高于所述目标缓存区的优先级的第一缓存区;
将从所述目标缓存区中获取的所述目标数据缓存到所述第一缓存区中。
3.根据权利要求1所述的方法,其特征在于,所述传输类型为数据上传类型,根据所述传输类型和所述多个缓存区分别至所述前端客户端的传输路径的长短,确定所述多个缓存区各自的优先级,包括::
将所述多个缓存区各自的优先级设为同一优先级;
按照所述多个缓存区各自的优先级,在所述多个缓存区中确定执行数据传输的目标缓存区,包括:
将所述多个缓存区中的每个缓存区均确定为目标缓存区;
在所述目标缓存区与所述前端客户端的用户之间,传输与所述数据传输请求对应的目标数据,包括:
将所述目标数据缓存到各目标缓存区,并在将所述目标数据缓存到距离所述前端客户端的传输路径最短的缓存区时,向所述前端客户端返回数据上传成功信息;其中,所述目标数据在不同缓存区的缓存时效不同。
4.根据权利要求1所述的方法,其特征在于,所述传输类型为页面浏览类型,所述方法还包括:
确定待浏览的目标页面中所包括的多个内容模块;
在所述目标缓存区与所述前端客户端的用户之间,传输与所述数据传输请求对应的目标数据,包括:
在所述目标缓存区与所述前端客户端的用户之间,传输与所述多个内容模块各自对应的目标数据;
所述方法还包括:
将所述多个内容模块各自对应的目标数据缓存到优先级最高的缓存区;
在检测到用户对所述多个内容模块中目标内容模块的触发操作时,将所述优先级最高的缓存区中与所述目标内容模块对应的目标数据加载到所述目标页面中。
5.根据权利要求1-3任一所述的方法,其特征在于,所述方法还包括:
确定所述多个缓存区中所缓存的各数据的调用次数,将距离所述前端客户端的传输路径长的缓存区中调用次数高于预设次数的数据,缓存到距离所述前端客户端的传输路径短的缓存区中;
和/或,确定所述多个缓存区中缓存的各个数据的类型,将所述多个缓存区中所缓存的预设类型的数据,缓存到距离所述前端客户端的传输路径最短的缓存区中。
6.根据权利要求1-4任一所述的方法,其特征在于,所述文件系统还包括与所述前端客户端通信的应用服务器,所述方法还包括:
检测所述多个缓存区中存在故障的缓存区,将所述存在故障的缓存区中缓存的数据发送给所述应用服务器,以将所述存在故障的缓存区替换为所述应用服务器;
和/或,在检测到所述多个缓存区中存在异常的数据时,从所述文件服务器中获取所述存在异常的数据对应的正常数据,将所述正常数据缓存到所述存在异常的数据所属的缓存区中。
7.一种数据传输装置,其特征在于,应用于文件系统,所述文件系统包括前端客户端和文件服务器,在所述前端客户端与所述文件服务器之间配置有多个缓存区;所述装置包括:
请求响应模块,用于响应于所述前端客户端的用户发送的数据传输请求,获得所述数据传输请求的传输类型;
优先级确定模块,用于根据所述传输类型和所述多个缓存区分别至所述前端客户端的传输路径的长短,确定所述多个缓存区各自的优先级;
缓存区确定模块,用于按照所述多个缓存区各自的优先级,在所述多个缓存区中确定执行数据传输的目标缓存区;
传输模块,用于在所述目标缓存区与所述前端客户端的用户之间,传输与所述数据传输请求对应的目标数据;
所述传输类型为数据下载类型,所述优先级确定模块,具体用于按照至所述前端客户端的传输路径越短优先级越高的设定策略,确定所述多个缓存各自的优先级;所述缓存区确定模块,具体用于按照所述优先级从高到低的顺序,依次在所述多个缓存区中查找是否存在所述目标数据;将首次查找到的存在所述目标数据的缓存区确定为目标缓存区;所述传输模块,具体用于将所述目标缓存区中的所述目标数据推送到所述前端客户端的页面。
8.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行时实现如权利要求1至6任一所述的方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时,实现如权利要求1至6任一所述的方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011211189.0A CN112491963B (zh) | 2020-11-03 | 2020-11-03 | 数据传输方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011211189.0A CN112491963B (zh) | 2020-11-03 | 2020-11-03 | 数据传输方法、装置、设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112491963A CN112491963A (zh) | 2021-03-12 |
CN112491963B true CN112491963B (zh) | 2023-11-24 |
Family
ID=74927772
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011211189.0A Active CN112491963B (zh) | 2020-11-03 | 2020-11-03 | 数据传输方法、装置、设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112491963B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115250293A (zh) * | 2022-06-30 | 2022-10-28 | 深圳水趣智能零售系统有限公司 | 数据上传方法、装置及计算机可读存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5559984A (en) * | 1993-09-28 | 1996-09-24 | Hitachi, Ltd. | Distributed file system permitting each user to enhance cache hit ratio in file access mode |
JP2000242533A (ja) * | 1999-02-22 | 2000-09-08 | Hitachi Ltd | 分散ファイルシステムでのキャッシュ優先度制御方法 |
CN101188544A (zh) * | 2007-12-04 | 2008-05-28 | 浙江大学 | 分布式文件服务器基于缓冲区的文件传输方法 |
CN101236569A (zh) * | 2008-02-01 | 2008-08-06 | 浙江大学 | 一种基于ContextFS上下文文件系统的高效动态路径解析方法 |
CN102790796A (zh) * | 2011-05-19 | 2012-11-21 | 巴比禄股份有限公司 | 文件管理装置及其控制方法 |
CN107333296A (zh) * | 2017-06-22 | 2017-11-07 | 北京佰才邦技术有限公司 | 一种数据传输方法、装置及基站 |
CN109889568A (zh) * | 2018-12-29 | 2019-06-14 | 北京城市网邻信息技术有限公司 | 一种数据导出方法、服务器、客户端及系统 |
CN110493145A (zh) * | 2019-08-01 | 2019-11-22 | 新华三大数据技术有限公司 | 一种缓存方法及装置 |
CN110955461A (zh) * | 2019-11-22 | 2020-04-03 | 北京达佳互联信息技术有限公司 | 计算任务的处理方法、装置、系统、服务器和存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8984235B2 (en) * | 2012-11-14 | 2015-03-17 | Hitachi, Ltd. | Storage apparatus and control method for storage apparatus |
-
2020
- 2020-11-03 CN CN202011211189.0A patent/CN112491963B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5559984A (en) * | 1993-09-28 | 1996-09-24 | Hitachi, Ltd. | Distributed file system permitting each user to enhance cache hit ratio in file access mode |
JP2000242533A (ja) * | 1999-02-22 | 2000-09-08 | Hitachi Ltd | 分散ファイルシステムでのキャッシュ優先度制御方法 |
CN101188544A (zh) * | 2007-12-04 | 2008-05-28 | 浙江大学 | 分布式文件服务器基于缓冲区的文件传输方法 |
CN101236569A (zh) * | 2008-02-01 | 2008-08-06 | 浙江大学 | 一种基于ContextFS上下文文件系统的高效动态路径解析方法 |
CN102790796A (zh) * | 2011-05-19 | 2012-11-21 | 巴比禄股份有限公司 | 文件管理装置及其控制方法 |
CN107333296A (zh) * | 2017-06-22 | 2017-11-07 | 北京佰才邦技术有限公司 | 一种数据传输方法、装置及基站 |
CN109889568A (zh) * | 2018-12-29 | 2019-06-14 | 北京城市网邻信息技术有限公司 | 一种数据导出方法、服务器、客户端及系统 |
CN110493145A (zh) * | 2019-08-01 | 2019-11-22 | 新华三大数据技术有限公司 | 一种缓存方法及装置 |
CN110955461A (zh) * | 2019-11-22 | 2020-04-03 | 北京达佳互联信息技术有限公司 | 计算任务的处理方法、装置、系统、服务器和存储介质 |
Non-Patent Citations (1)
Title |
---|
高性能高适应性分布式文件服务器研究与实现;王伟,范径武;《计算机工程与设计》;第3051-3055页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112491963A (zh) | 2021-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10778801B2 (en) | Content delivery network architecture with edge proxy | |
US8984056B2 (en) | Inter point of presence split architecture | |
US9185158B2 (en) | Content delivery in a network | |
US20190121739A1 (en) | Cache optimization | |
US8612588B1 (en) | Point of presence to point of presence web page compression | |
KR101028639B1 (ko) | 관리된 객체 복제 및 전달 | |
US20160088118A1 (en) | Client side cache management | |
US10560543B2 (en) | Rule based cache processing in application delivery controller for load balancing | |
KR20180048761A (ko) | 에지 위치들에서 맞춤형 이벤트-트리거된 컴퓨터의 조작을 위한 시스템, 방법 및 컴퓨터-판독가능한 스토리지 매체 | |
US9356985B2 (en) | Streaming video to cellular phones | |
US10367871B2 (en) | System and method for all-in-one content stream in content-centric networks | |
US11159642B2 (en) | Site and page specific resource prioritization | |
CN107197359B (zh) | 视频文件缓存方法及装置 | |
CN107801051B (zh) | 虚拟切片信息传输方法和装置、视频服务器 | |
CN107580021A (zh) | 一种文件传输的方法和装置 | |
CN108804515B (zh) | 一种网页加载方法、网页加载系统和服务器 | |
CN109873855B (zh) | 一种基于区块链网络的资源获取方法和系统 | |
CN112491963B (zh) | 数据传输方法、装置、设备及可读存储介质 | |
US20180302489A1 (en) | Architecture for proactively providing bundled content items to client devices | |
CN108460042B (zh) | 一种页面显示的方法、相关设备及系统 | |
US20140089468A1 (en) | Request-agnostic caching for a data resource collection | |
CN111131498B (zh) | Url信息更新方法、缓存服务器、设备及存储介质 | |
US9288153B2 (en) | Processing encoded content | |
CN110784518A (zh) | 一种静态资源获取方法与装置 | |
JP6374837B2 (ja) | 被疑箇所推定装置及び被疑箇所推定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |