CN105868333A - 文件处理方法及装置 - Google Patents

文件处理方法及装置 Download PDF

Info

Publication number
CN105868333A
CN105868333A CN201610182371.5A CN201610182371A CN105868333A CN 105868333 A CN105868333 A CN 105868333A CN 201610182371 A CN201610182371 A CN 201610182371A CN 105868333 A CN105868333 A CN 105868333A
Authority
CN
China
Prior art keywords
file
back end
target data
search rule
processing request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610182371.5A
Other languages
English (en)
Inventor
罗利辉
胡博
张良杰
牟建伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kingdee Software China Co Ltd
Original Assignee
Kingdee Software China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kingdee Software China Co Ltd filed Critical Kingdee Software China Co Ltd
Priority to CN201610182371.5A priority Critical patent/CN105868333A/zh
Publication of CN105868333A publication Critical patent/CN105868333A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/11File system administration, e.g. details of archiving or snapshots
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/13File access structures, e.g. distributed indices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/14Details of searching files based on file metadata
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems

Abstract

本申请提供了一种文件处理方法,该方法应用在代理服务器上,代理服务器上部署有统一接口模块,该方法通过统一接口模块接收第三方应用发送的文件处理请求,根据文件处理请求中待处理文件的属性信息以及元数据,在代理服务器所连接的多个数据节点中,确定出目标数据节点,并在该目标数据节点上,执行该文件处理请求。本申请提供统一接口模块,以供第三方应用调用,对于第三方应用来讲,其并不需要关心文件处理请求如何被处理,应用本申请提供的代理服务器可以为其提供文件处理服务,从而实现了第三方应用与存储数据节点之间的隔离,降低了第三方应用的开发复杂度。另外,本申请还提供了一种文件处理装置,用以保证上述方法在实际中的应用及实现。

Description

文件处理方法及装置
技术领域
本申请涉及文件处理技术领域,更具体地,是基于代理的文件处理技术。
背景技术
目前,用户的文件存储在某种存储系统中,如阿里、腾讯等云存储服务提供商提供的云存储系统、淘宝的TFS(Taobao FileSystem)存储系统、FastDFS轻量级分布式文件系统等,或者传统的SAN/NAS存储系统等。
在对文件的处理过程中,用户侧的应用需要直接与上述某种存储系统进行交互。若文件存储在不同的存储系统中,则用户侧的应用需要根据存储系统自身的通信要求,与各种存储系统进行不同方式的交互,用户侧的应用开发会比较复杂。
发明内容
有鉴于此,本申请提供了一种文件处理方法,用以通过代理节点(或者称为管理节点)实现第三方应用在各种数据节点上的文件处理请求。另外,本申请还提供了一种文件处理装置,用以保证所述方法在实际中的应用及实现。
为实现所述目的,本申请提供的技术方案如下:
本申请的第一方面提供了一种文件处理方法,应用于代理服务器,所述代理服务器连接有多个数据节点,该方法包括:
使用统一接口,接收第三方应用发送的文件处理请求;其中,所述文件处理请求中包含待处理文件的属性信息;
根据所述待处理文件的属性信息及预先存储的元数据,在多个所述数据节点中,确定目标数据节点;其中,所述元数据包含若干文件的属性信息、若干数据节点的节点信息、及依据文件的属性信息查找数据节点的查找规则;
在所述目标数据节点上,执行所述文件处理请求。
在一个可能的设计中,上述的文件处理方法中,所述目标数据节点上设置有代理模块,所述代理服务器上设置有代理通信模块;
相应地,所述在所述目标数据节点上,执行所述文件处理请求,包括:
通过所述代理通信模块,向所述目标数据节点发送所述文件处理请求,以使所述代理模块在所述目标数据节点上,执行所述文件处理请求。
在一个可能的设计中,上述的文件处理方法中,所述在所述目标数据节点上,执行所述文件处理请求,包括:
将所述目标数据节点的地址返回至所述第三方应用,以使所述第三方应用在所述目标数据节点上,处理所述文件处理请求;其中,所述处理所述文件处理请求包括:存储文件或读取文件。
在一个可能的设计中,上述的文件处理方法中,所述根据所述待处理文件的属性信息及预先存储的元数据,在多个数据节点中,确定目标数据节点,包括:
在所述元数据的查找规则中,确定当前使用的目标查找规则;
根据所述目标查找规则及所述待处理文件的属性信息,在多个所述数据节点中,查找所述待处理文件对应的目标数据节点。
在一个可能的设计中,上述的文件处理方法中,所述用来查找目标数据节点的查找规则至少包括以下一种或任意多种的组合:距离最近查找规则、依据文件类型查找规则、依据文件大小查找规则、文件备份需求查找规则、文件计算需求查找规则、依据指定查找规则及网络状况最佳查找规则。
在一个可能的设计中,上述的文件处理方法还包括:
定时检查各个所述数据节点上的文件是否可用;
针对需要备份的文件,定时检查各个所述数据节点上是否存在所述需要备份的文件的副本。
本申请的第二方面提供了一种文件处理装置,应用于代理服务器,所述代理服务器连接有多个数据节点,该装置包括:
文件处理请求接收模块,使用统一接口,接收第三方应用发送的文件处理请求;其中,所述文件处理请求中包含待处理文件的属性信息;
目标数据节点确定模块,用于根据所述待处理文件的属性信息及预先存储的元数据,在多个所述数据节点中,确定目标数据节点;其中,所述元数据包含若干文件的属性信息、若干数据节点的节点信息、及依据文件的属性信息查找数据节点的查找规则;
文件处理请求执行模块,用于在所述目标数据节点上,执行所述文件处理请求。
在一个可能的设计中,文件处理装置中,所述目标数据节点上设置有代理模块,所述代理服务器上设置有代理通信模块;
相应地,所述文件处理请求执行模块包括:
请求代理子模块,用于通过所述代理通信模块,向所述目标数据节点发送所述文件处理请求,以使所述代理模块在所述目标数据节点上,执行所述文件处理请求。
在一个可能的设计中,文件处理装置中,所述文件处理请求执行模块包括:
间接处理子模块,用于将所述目标数据节点的地址返回至所述第三方应用,以使所述第三方应用在所述目标数据节点上,处理所述文件处理请求;其中,所述处理所述文件处理请求包括:存储文件或读取文件。
在一个可能的设计中,文件处理装置中,所述目标数据节点确定模块包括:
查找规则确定子模块,用于在所述元数据的查找规则中,确定当前使用的目标查找规则;
数据节点确定子模块,用于根据所述目标查找规则及所述待处理文件的属性信息,在多个所述数据节点中,查找所述待处理文件对应的目标数据节点。
在一个可能的设计中,文件处理装置中,所述用来查找目标数据节点的查找规则至少包括以下一种或任意多种的组合:距离最近查找规则、依据文件类型查找规则、依据文件大小查找规则、文件备份需求查找规则、文件计算需求查找规则、依据指定查找规则及网络状况最佳查找规则。
在一个可能的设计中,文件处理装置还包括:
定时检查模块,用于定时检查各个所述数据节点上的文件是否可用;针对需要备份的文件,定时检查各个所述数据节点上是否存在所述需要备份的文件的副本。
由以上技术方案可知,本申请提供了一种文件处理方法实施例,本实施例应用在代理服务器上,代理服务器上部署有统一接口模块,本实施例通过统一接口模块可以接收第三方应用发送的文件处理请求,并根据文件处理请求中待处理文件的属性信息以及元数据,在代理服务器所连接的多个数据节点中,确定出目标数据节点,并在该目标数据节点上,执行该文件处理请求。本实施例提供统一接口模块,以供第三方应用进行调用,对于第三方应用来讲,其并不需要关心文件处理请求如何被处理,应用本实施例的代理服务器可以为其提供文件处理服务,从而实现了第三方应用与存储数据节点之间的隔离,降低了第三方应用的开发复杂度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请提供的文件处理系统的架构图;
图2为本申请提供的文件处理方法实施例1的流程图;
图3为本申请提供的文件处理装置实施例1的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1示出了本申请提供的一种文件处理系统架构。如图1所示,该文件处理系统包括一个代理节点及多个数据节点,其中,代理节点也可称为代理服务器。
第三方应用可以通过代理节点,访问该代理节点所关联的任意一数据节点。访问包括但不限定于向数据节点上传文件、以及下载数据节点上存储的文件等。
数据节点可以包括但不限定于以下几种存储节点中的任意一种或多种:阿里云存储节点(一种云存储服务提供商提供的存储节点)、淘宝的TFS存储系统、使用HDFS(Hadoop Distributed File System,分布式文件系统)构建的公有云存储节点、FastDFS轻量级分布式文件系统、SAN(Storage AreaNetworks,存储区域网络)节点及NAS(network attach storage,网络附加存储)节点。
数据节点可以部署在同一机房或者不同的机房,对此,本申请并不做具体限定。每个数据节点上需要部署有可以与代理节点通信的代理模块,从而,代理节点可以通过代理模块在数据节点上执行文件处理操作。
代理节点上可以部署有统一接口模块、文件管理模块、元数据管理模块及代理通信模块。其中,统一接口模块用来接收第三方应用发送的文件处理请求;文件管理模块执行以下图2所示的文件处理方法,通过代理通信模块与代理模块,在数据节点上读取或者存储文件,需要说明的是,文件管理模块在执行图2的文件处理方法时,需要使用元数据管理模块存储的元数据。
图2示出了本申请提供的文件处理方法实施例1的流程。该方法具体可以应用在代理节点的文件管理模块上。如图2所示,本实施例可以具体包括步骤S201~步骤S203。
步骤S201:使用统一接口,接收第三方应用发送的文件处理请求;其中,文件处理请求中包含待处理文件的属性信息。
其中,代理节点上的统一接口模块可以接收到第三方应用发送的文件处理请求,文件处理请求包括但不限定于:文件读取请求或文件存储请求。
统一接口可以看作是代理节点的访问地址,第三方应用将文件处理请求发送至该访问地址指示的代理节点即可,其不需要关心文件如何存储到数据节点上,或者如何从数据节点上读取文件。统一接口模块可以使用webservice、RPC、restful等协议和技术与第三方应用进行通信。
统一接口模块接收到文件处理请求后,将其转发给文件管理模块。文件处理请求中包括有待处理文件的属性信息,属性信息可以包括文件名称、文件大小、文件类型、是否需要备份、是否指定数据节点等。
步骤S202:根据待处理文件的属性信息及预先存储的元数据,在多个数据节点中,确定目标数据节点;其中,元数据包含若干文件的属性信息、若干数据节点的节点信息、及依据文件的属性信息查找数据节点的查找规则。
其中,代理节点上设置有元数据管理模块,该元数据管理模块可以根据第三方应用或自身的需求生成元数据,并对元数据进行管理。元数据可以保存但不限定于以下数据存储系统中,如关系型数据库mysql、K-V数据库redis、文档型数据库mongodb、列数据库HBase等。
元数据用来供代理节点为接收到的文件处理请求,在多个数据节点中,查找目标数据节点。元数据可以包括但不限定于以下三项内容:
文件的属性信息:文件大小、文件类型、创建时间、文件的份数、每份文件所在的节点ID等。
数据节点的节点信息:节点的存储类型,节点的调用地址、节点的总容量等。
查找规则(或称为查找策略):用来表示为该文件处理请求,查找哪个或哪些数据节点。查找规则可以具体包括:根据文件大小进行查找的规则、根据文件类型进行查找的规则等,具体的查找规则可以详见下文。
另外,元数据还可以包括用户或者第三方应用的信息,以用来为某个用户或者第三方应用确定某个具体的查找规则。
文件管理节点根据上述元数据中的查找规则,在多个数据节点中,查找一个或多个数据节点,查找到的数据节点用来处理文件处理请求。为了便于描述,可以将查找到的数据节点称为目标数据节点。
步骤S203:在目标数据节点上,执行文件处理请求。
其中,目标数据节点是代理节点所关联的数据节点,其可以执行代理节点接收到的文件处理请求。执行文件处理请求可以包括但不限定于:文件读取及文件存储。
需要说明的是,执行文件处理请求可以有两种方式,即一种是代理节点直接在目标数据节点上,执行文件处理请求,另一种是代理节点将将目标数据节点的地址返回至第三方应用,以使第三方应用在目标数据节点上,处理文件处理请求。
具体地,若文件处理请求为存储请求,则本步骤的实现方式可以是:第三方应用直接把待存储文件上传到代理节点,由代理节点向目标数据节点上传待存储文件;或者,第三方应用先向代理节点查询目标数据节点,代理节点返回目标数据节点的地址,由第三方应用直接向目标数据节点上传待存储文件。
若文件处理请求为读取请求,则本步骤的实现方式可以是:第三方应用仅向代理节点发送读取请求,由代理节点从目标数据节点获取文件并返回给第三方应用;或者,第三方应用向代理节点查询目标数据节点,代理节点将目标服务节点的地址返回第三方应用,第三方应用直接从目标数据节点上读取文件。
由以上的技术方案可知,本申请提供了一种文件处理方法实施例,本实施例应用在代理服务器上,代理服务器上部署有统一接口模块,本实施例通过统一接口模块可以接收第三方应用发送的文件处理请求,并根据文件处理请求中待处理文件的属性信息以及元数据,在代理服务器所连接的多个数据节点中,确定出目标数据节点,并在该目标数据节点上,执行该文件处理请求。本实施例提供统一接口模块,以供第三方应用进行调用,对于第三方应用来讲,其并不需要关心文件处理请求如何被处理,应用本实施例的代理服务器可以为其提供文件处理服务,从而实现了第三方应用与存储数据节点之间的隔离,降低了第三方应用的开发复杂度。
如上,元数据中包含查找规则,用来为文件处理请求查找目标数据节点。查找规则可以包括但不限定于以下任意一种或多种的组合:距离最近查找规则、依据文件类型查找规则、依据文件大小查找规则、文件备份需求查找规则、文件计算需求查找规则、依据指定查找规则及网络状况最佳查找规则。
其中,距离最近查找规则:依据第三方应用的IP地址,查找与该IP地址网络距离最近的数据节点。
依据文件类型查找规则:预先设置何种类型的文件需要存储在哪个或者哪些数据节点上,从而便可以根据待处理文件的类型,查找存储该文件的数据节点。例如,预先设置文档类型的文件存储在数据节点A上。
依据文件大小查找规则:预先设置数据量为多少范围的文件需要存储在哪个或者哪些数据节点上,从而便可以根据待处理文件的数据量大小,查找存储该文件的数据节点。例如,预先设置100M-200M文件存储在数据节点B上。
文件备份需求查找规则:若文件处理请求为存储请求,则存储请求中可以指示待存储文件是否需要备份,若需要备份,则代理节点需要为该待存储文件查找多个数据节点,以供备份。查找的数据节点可以是使用HDFS技术的数据节点。
文件计算需求查找规则:若文件处理请求为存储请求,则存储请求中可以指示待存储文件是否需要进行计算,若需要进行计算,则代理节点需要为该待存储文件查找具有计算能力的数据节点。例如,待存储文件为日志文件,其需要计算,则为日志文件查找的数据节点可以是具有计算能力的数据节点,如HDFS存储节点。
依据指定查找规则:文件处理请求中可以包含数据节点的名称、地址等属性信息,以指定某个数据节点作为目标数据节点。
网络状况最佳查找规则:可以根据网络状况如带宽价格、带宽大小等因素,以选择最佳网络状况的数据节点。
当然,查找规则除了以上几种,还可以是其他,如根据数据节点的存取性能等。
代理服务器(即代理节点)需要根据元数据中的查找规则,在多个数据节点中,确定目标数据节点。具体地,以上步骤S202(根据待处理文件的属性信息及预先存储的元数据,在多个数据节点中,确定目标数据节点)的具体实现方式可以包括以下步骤A1~步骤A2。
步骤A1:在元数据的查找规则中,确定当前使用的目标查找规则。
其中,元数据中设置有多种查找规则,在接收到文件处理请求后,需要为该文件处理请求确定对应的查找规则,为了便于描述,可以将确定出的查找规则称为目标查找规则。
目标查找规则可以是人为设置的,也可以是根据第三方应用的指定确定出来的,或者,可以是检测数据节点的运行状态或网络状态后,根据数据节点的运行状态或网络状态设置的。
步骤A2:根据目标查找规则及待处理文件的属性信息,在多个数据节点中,查找待处理文件对应的目标数据节点。
其中,待处理文件的属性信息中,包括待处理文件的基本信息,如待处理文件的大小、类型、是否需要计算等。
假设,当前使用的目标查找规则为依据文件类型查找规则,则根据待处理文件的类型,为该待处理文件查找用来存储该类型文件的数据节点。
例如,待处理文件的类型为文档,且依据文件类型查找规则中限定:文档类型的文件需要存储在数据节点A上,则将数据节点A确定为目标数据节点。
文件管理模块除了可以实现以上各种文件处理方法,还可以执行定时任务、监控数据节点等功能。
其中,执行定时任务,即定时检查各个数据节点上的文件是否可用。若数据节点上的文件并不可用,则需要进行维护,如从其他数据节点上获得副本,在该数据节点上重新进行存储。
在执行定时任务时,针对需要备份的文件,定时检查各个数据节点上是否存在需要备份的文件的副本。此处的定时检查是针对有备份需求的文件,此种类型的文件需要在多个数据节点上,进行备份存储。因此,若备份的数量没有达到要求,则需要重新进行备份。
另外,监控数据节点,即检查数据节点是否在线、收集数据节点的容量、流量、负载等信息等。进一步地,文件管理模块还可以根据监控结果,执行文件同步或者存取控制,如某个数据节点的负载较大,将使用另一负载较小的数据节点进行文件存取。
对于以上图1中的代理模块,进行以下补充说明。
代理模块,与具体的数据节点(开源存储、云存储、传统存储)交互,屏蔽了具体数据节点的差异,对外提供统一接口,对不同的数据节点进行相应的实现。统一的接口包括获取文件信息、上传文件、下载文件、同步文件、删除文件等。
以读取文件为例,传统存储可能是磁盘形式的存储,读取文件是以本地路径的方式读取,如read(/var/www/abc.txt)。而阿里云存储则使用rest接口调用的方式进行读取,并且需要认证,如GET http://alibaba.com/download。
需要说明的是,不同的数据节点,接口调用方式、参数和认证则可能存在不同。代理模块可以屏蔽此些不同,对外提供统一接口。
例如,统一读取文件的rest接口为:http://代理模块访问地址/file/read,其中,“file/read”为统一接口。若使用传统的调用方式,则读取本地文件并返回。若调用阿里云存储数据节点时,则通过调用阿里API并返回文件。
代理模块还可以对本数据节点的容量、流量、负载信息进行收集,并上报给代理节点,同时执行代理节点的请求指令。请求指令包括:获取文件信息、上传文件、下载文件、同步文件、删除文件等。代理模块也能直接面向第三方应用提供上传和下载的功能。
代理模块可根据具体的数据节点就近部署,也可以与代理节点就近部署,增加一个数据节点,相应地增加一个代理模块。如果使用阿里云、腾讯云等云存储数据节点,可以将代理模块部署在其云主机上。代理板块使用webservice、RPC、restful、NFS等协议和技术与具体的数据节点通信。
以上提供的文件处理方法,可以具有但不一定同时具有如下几个优点。
1、提供了统一的调用接口,实现了第三方应用与具体存储节点之间的隔离。
2、文件较高的安全性。文件冗余备份,如跨机房、跨云存储。
3、文件处理速度较高。按照就近查找规则查找到最近的数据节点,在该数据节点上处理文件,具有较高的处理速度。
4、各种不同的查找规则,来查找不同类型的数据节点,以满足不同的处理需求。
例如,要保证安全性,则需要考虑文件冗余的份数,因此可以查找异地备份的数据节点。又如,要保证存储效率,则需要考虑文件数据量,因此可以根据文件数据量的大小查找不同的数据节点,如小文件存储在淘宝TFS上,大文件存储在HDFS上。再如,要对文件进行计算,则可以根据文件类型,确定是否需要进行计算,若需要,则可以查找具有计算能力的数据节点,如将需要统计的日志文件存在HDFS上,以使用MapReduce进行计算。
以下对本申请提供的文件处理装置进行介绍,需要说明的是,下文有关文件处理装置的说明可以参见上文提供的文件处理方法,以下并不赘述。
与上述文件处理方法实施例1相对应,本申请提供了一种文件处理装置实施例1。如图3所示,本实施例应用于代理服务器,代理服务器连接有多个数据节点,该装置可以具体包括:文件处理请求接收模块301、目标数据节点确定模块302及文件处理请求执行模块303。
文件处理请求接收模块301,使用统一接口,接收第三方应用发送的文件处理请求;其中,文件处理请求中包含待处理文件的属性信息;
目标数据节点确定模块302,用于根据待处理文件的属性信息及预先存储的元数据,在多个数据节点中,确定目标数据节点;其中,元数据包含若干文件的属性信息、若干数据节点的节点信息、及依据文件的属性信息查找数据节点的查找规则;
文件处理请求执行模块303,用于在目标数据节点上,执行文件处理请求。
由以上的技术方案可知,本申请提供了一种文件处理装置实施例,本实施例应用在代理服务器上,可以看作是图1中的文件管理模块。代理服务器上部署有统一接口模块,文件处理请求接收模块301通过统一接口模块可以接收第三方应用发送的文件处理请求,目标数据节点确定模块302可以根据文件处理请求中待处理文件的属性信息以及元数据,在代理服务器所连接的多个数据节点中,确定出目标数据节点,文件处理请求执行模块303在该目标数据节点上,执行该文件处理请求。本实施例提供统一接口模块,以供第三方应用进行调用,对于第三方应用来讲,其并不需要关心文件处理请求如何被处理,应用本实施例的代理服务器可以为其提供文件处理服务,从而实现了第三方应用与存储数据节点之间的隔离,降低了第三方应用的开发复杂度。
在一个具体示例中,目标数据节点上设置有代理模块,代理服务器上设置有代理通信模块;相应地,文件处理请求执行模块301可以包括:请求代理子模块。
请求代理子模块,用于通过代理通信模块,向目标数据节点发送文件处理请求,以使代理模块在目标数据节点上,执行文件处理请求。
在另一具体示例中,文件处理请求执行模块301可以包括:间接处理子模块。
间接处理子模块,用于将目标数据节点的地址返回至第三方应用,以使第三方应用在目标数据节点上,处理文件处理请求;其中,处理文件处理请求包括:存储文件或读取文件。
在另一具体示例中,目标数据节点确定模块302可以包括:查找规则确定子模块及数据节点确定子模块。
查找规则确定子模块,用于在元数据的查找规则中,确定当前使用的目标查找规则;
数据节点确定子模块,用于根据目标查找规则及待处理文件的属性信息,在多个数据节点中,查找待处理文件对应的目标数据节点。
在实施中,用来查找目标数据节点的查找规则至少包括以下一种或任意多种的组合:距离最近查找规则、依据文件类型查找规则、依据文件大小查找规则、文件备份需求查找规则、文件计算需求查找规则、依据指定查找规则及网络状况最佳查找规则。
在另一具体示例中,文件处理装置还可以包括:定时检查模块,用于定时检查各个数据节点上的文件是否可用;针对需要备份的文件,定时检查各个数据节点上是否存在需要备份的文件的副本。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括上述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (12)

1.一种文件处理方法,其特征在于,应用于代理服务器,所述代理服务器连接有多个数据节点,该方法包括:
使用统一接口,接收第三方应用发送的文件处理请求;其中,所述文件处理请求中包含待处理文件的属性信息;
根据所述待处理文件的属性信息及预先存储的元数据,在多个所述数据节点中,确定目标数据节点;其中,所述元数据包含若干文件的属性信息、若干数据节点的节点信息、及依据文件的属性信息查找数据节点的查找规则;
在所述目标数据节点上,执行所述文件处理请求。
2.根据权利要求1所述的文件处理方法,其特征在于,所述目标数据节点上设置有代理模块,所述代理服务器上设置有代理通信模块;
相应地,所述在所述目标数据节点上,执行所述文件处理请求,包括:
通过所述代理通信模块,向所述目标数据节点发送所述文件处理请求,以使所述代理模块在所述目标数据节点上,执行所述文件处理请求。
3.根据权利要求1所述的文件处理方法,其特征在于,所述在所述目标数据节点上,执行所述文件处理请求,包括:
将所述目标数据节点的地址返回至所述第三方应用,以使所述第三方应用在所述目标数据节点上,处理所述文件处理请求;其中,所述处理所述文件处理请求包括:存储文件或读取文件。
4.根据权利要求1所述的文件处理方法,其特征在于,所述根据所述待处理文件的属性信息及预先存储的元数据,在多个数据节点中,确定目标数据节点,包括:
在所述元数据的查找规则中,确定当前使用的目标查找规则;
根据所述目标查找规则及所述待处理文件的属性信息,在多个所述数据节点中,查找所述待处理文件对应的目标数据节点。
5.根据权利要求1所述的文件处理方法,其特征在于,所述用来查找目标数据节点的查找规则至少包括以下一种或任意多种的组合:距离最近查找规则、依据文件类型查找规则、依据文件大小查找规则、文件备份需求查找规则、文件计算需求查找规则、依据指定查找规则及网络状况最佳查找规则。
6.根据权利要求1所述的文件处理方法,其特征在于,还包括:
定时检查各个所述数据节点上的文件是否可用;
针对需要备份的文件,定时检查各个所述数据节点上是否存在所述需要备份的文件的副本。
7.一种文件处理装置,其特征在于,应用于代理服务器,所述代理服务器连接有多个数据节点,该装置包括:
文件处理请求接收模块,使用统一接口,接收第三方应用发送的文件处理请求;其中,所述文件处理请求中包含待处理文件的属性信息;
目标数据节点确定模块,用于根据所述待处理文件的属性信息及预先存储的元数据,在多个所述数据节点中,确定目标数据节点;其中,所述元数据包含若干文件的属性信息、若干数据节点的节点信息、及依据文件的属性信息查找数据节点的查找规则;
文件处理请求执行模块,用于在所述目标数据节点上,执行所述文件处理请求。
8.根据权利要求7所述的文件处理装置,其特征在于,所述目标数据节点上设置有代理模块,所述代理服务器上设置有代理通信模块;
相应地,所述文件处理请求执行模块包括:
请求代理子模块,用于通过所述代理通信模块,向所述目标数据节点发送所述文件处理请求,以使所述代理模块在所述目标数据节点上,执行所述文件处理请求。
9.根据权利要求7所述的文件处理装置,其特征在于,所述文件处理请求执行模块包括:
间接处理子模块,用于将所述目标数据节点的地址返回至所述第三方应用,以使所述第三方应用在所述目标数据节点上,处理所述文件处理请求;其中,所述处理所述文件处理请求包括:存储文件或读取文件。
10.根据权利要求7所述的文件处理装置,其特征在于,所述目标数据节点确定模块包括:
查找规则确定子模块,用于在所述元数据的查找规则中,确定当前使用的目标查找规则;
数据节点确定子模块,用于根据所述目标查找规则及所述待处理文件的属性信息,在多个所述数据节点中,查找所述待处理文件对应的目标数据节点。
11.根据权利要求7所述的文件处理装置,其特征在于,所述用来查找目标数据节点的查找规则至少包括以下一种或任意多种的组合:距离最近查找规则、依据文件类型查找规则、依据文件大小查找规则、文件备份需求查找规则、文件计算需求查找规则、依据指定查找规则及网络状况最佳查找规则。
12.根据权利要求7所述的文件处理装置,其特征在于,还包括:
定时检查模块,用于定时检查各个所述数据节点上的文件是否可用;针对需要备份的文件,定时检查各个所述数据节点上是否存在所述需要备份的文件的副本。
CN201610182371.5A 2016-03-28 2016-03-28 文件处理方法及装置 Pending CN105868333A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610182371.5A CN105868333A (zh) 2016-03-28 2016-03-28 文件处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610182371.5A CN105868333A (zh) 2016-03-28 2016-03-28 文件处理方法及装置

Publications (1)

Publication Number Publication Date
CN105868333A true CN105868333A (zh) 2016-08-17

Family

ID=56626095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610182371.5A Pending CN105868333A (zh) 2016-03-28 2016-03-28 文件处理方法及装置

Country Status (1)

Country Link
CN (1) CN105868333A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815286A (zh) * 2016-12-05 2017-06-09 大唐网络有限公司 文件处理方法
CN108551464A (zh) * 2018-03-08 2018-09-18 网宿科技股份有限公司 一种混合云的连接建立、数据传输方法、装置和系统
CN108733507A (zh) * 2017-04-17 2018-11-02 伊姆西Ip控股有限责任公司 文件备份和恢复的方法和设备
CN109088913A (zh) * 2018-06-29 2018-12-25 华为技术有限公司 请求数据的方法和负载均衡服务器
CN109344122A (zh) * 2018-10-15 2019-02-15 中山大学 一种基于文件预创策略的分布式元数据管理方法及系统
CN109831473A (zh) * 2017-11-23 2019-05-31 菜鸟智能物流控股有限公司 物流服务提供方法及设备
CN110149409A (zh) * 2019-06-04 2019-08-20 平安科技(深圳)有限公司 云主机元数据服务管理方法、系统、设备及存储介质
CN112328566A (zh) * 2020-11-10 2021-02-05 天元大数据信用管理有限公司 一种共享文件存储服务组件
CN112597406A (zh) * 2020-12-24 2021-04-02 厦门亿联网络技术股份有限公司 一种文件传输方法、装置、终端设备及存储介质
CN112748991A (zh) * 2019-10-30 2021-05-04 伊姆西Ip控股有限责任公司 用于备份数据的方法、设备和计算机程序产品
CN112905557A (zh) * 2021-03-03 2021-06-04 山东兆物网络技术股份有限公司 支持异步提交的海量文件整合存储方法及系统
WO2022002209A1 (zh) * 2020-07-01 2022-01-06 中兴通讯股份有限公司 数据传输方法和代理服务器、存储介质及电子装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6269382B1 (en) * 1998-08-31 2001-07-31 Microsoft Corporation Systems and methods for migration and recall of data from local and remote storage
CN101930449A (zh) * 2009-06-22 2010-12-29 三星电子株式会社 客户机、代理服务器和用于提供云存储器的方法
CN102811199A (zh) * 2011-05-30 2012-12-05 深圳市金蝶友商电子商务服务有限公司 一种接口适配方法、装置及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6269382B1 (en) * 1998-08-31 2001-07-31 Microsoft Corporation Systems and methods for migration and recall of data from local and remote storage
CN101930449A (zh) * 2009-06-22 2010-12-29 三星电子株式会社 客户机、代理服务器和用于提供云存储器的方法
CN102811199A (zh) * 2011-05-30 2012-12-05 深圳市金蝶友商电子商务服务有限公司 一种接口适配方法、装置及系统

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815286A (zh) * 2016-12-05 2017-06-09 大唐网络有限公司 文件处理方法
CN108733507A (zh) * 2017-04-17 2018-11-02 伊姆西Ip控股有限责任公司 文件备份和恢复的方法和设备
CN108733507B (zh) * 2017-04-17 2021-10-08 伊姆西Ip控股有限责任公司 文件备份和恢复的方法和设备
CN109831473A (zh) * 2017-11-23 2019-05-31 菜鸟智能物流控股有限公司 物流服务提供方法及设备
CN108551464B (zh) * 2018-03-08 2020-12-22 网宿科技股份有限公司 一种混合云的连接建立、数据传输方法、装置和系统
CN108551464A (zh) * 2018-03-08 2018-09-18 网宿科技股份有限公司 一种混合云的连接建立、数据传输方法、装置和系统
CN109088913B (zh) * 2018-06-29 2021-05-11 华为技术有限公司 请求数据的方法和负载均衡服务器
CN109088913A (zh) * 2018-06-29 2018-12-25 华为技术有限公司 请求数据的方法和负载均衡服务器
CN109344122B (zh) * 2018-10-15 2020-05-15 中山大学 一种基于文件预创策略的分布式元数据管理方法及系统
CN109344122A (zh) * 2018-10-15 2019-02-15 中山大学 一种基于文件预创策略的分布式元数据管理方法及系统
CN110149409A (zh) * 2019-06-04 2019-08-20 平安科技(深圳)有限公司 云主机元数据服务管理方法、系统、设备及存储介质
CN110149409B (zh) * 2019-06-04 2023-08-15 平安科技(深圳)有限公司 云主机元数据服务管理方法、系统、设备及存储介质
CN112748991A (zh) * 2019-10-30 2021-05-04 伊姆西Ip控股有限责任公司 用于备份数据的方法、设备和计算机程序产品
WO2022002209A1 (zh) * 2020-07-01 2022-01-06 中兴通讯股份有限公司 数据传输方法和代理服务器、存储介质及电子装置
CN112328566A (zh) * 2020-11-10 2021-02-05 天元大数据信用管理有限公司 一种共享文件存储服务组件
CN112597406A (zh) * 2020-12-24 2021-04-02 厦门亿联网络技术股份有限公司 一种文件传输方法、装置、终端设备及存储介质
CN112905557A (zh) * 2021-03-03 2021-06-04 山东兆物网络技术股份有限公司 支持异步提交的海量文件整合存储方法及系统

Similar Documents

Publication Publication Date Title
CN105868333A (zh) 文件处理方法及装置
US11218566B2 (en) Control in a content delivery network
US11928029B2 (en) Backup of partitioned database tables
US11036591B2 (en) Restoring partitioned database tables from backup
CN106156359B (zh) 一种云计算平台下的数据同步更新方法
CN103533006B (zh) 一种联合云盘客户端、服务器、系统和联合云盘服务方法
CN105247529B (zh) 在目录服务之间同步凭证散列
CN103116618B (zh) 基于客户端持久缓存的远程文件系统镜像方法及系统
US9632878B1 (en) Verification of database table partitions during backup
CN103237046B (zh) 支持混合云存储应用的分布式文件系统及实现方法
CN101631143B (zh) 负载均衡环境中多服务器系统及其文件传输方法
CN111405019B (zh) 数据处理方法、装置、计算机设备和存储介质
CN103685590B (zh) 获取ip地址的方法及系统
CN105025053A (zh) 基于云存储技术的分布式文件的上传方法及其系统
CN105005611B (zh) 一种文件管理系统及文件管理方法
CN107888666B (zh) 一种跨地域数据存储系统以及数据同步方法和装置
CN107734026A (zh) 一种网络附加存储集群的设计方法、装置及设备
CN107566463A (zh) 一种提高存储可用性的多云存储管理系统
US10579597B1 (en) Data-tiering service with multiple cold tier quality of service levels
CN106357432A (zh) 基于web服务器的混合式虚拟主机管理平台
CN109558378A (zh) 文件管理方法、装置、设备及存储介质
CN107870734A (zh) 一种分布式文件系统的交互方法及装置
CN113127526A (zh) 一种基于Kubernetes的分布式数据存储和检索系统
CN110413846A (zh) 用于网页镜像的数据处理方法、装置及计算机可读存储介质
CN110457307A (zh) 元数据管理系统、用户集群创建方法、装置、设备和介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160817