CN114928604B - 文件分发方法和装置 - Google Patents

文件分发方法和装置 Download PDF

Info

Publication number
CN114928604B
CN114928604B CN202210752314.1A CN202210752314A CN114928604B CN 114928604 B CN114928604 B CN 114928604B CN 202210752314 A CN202210752314 A CN 202210752314A CN 114928604 B CN114928604 B CN 114928604B
Authority
CN
China
Prior art keywords
file
distributed
server
target
buffer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210752314.1A
Other languages
English (en)
Other versions
CN114928604A (zh
Inventor
高飞
李立
吕志威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CCB Finetech Co Ltd
Original Assignee
CCB Finetech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CCB Finetech Co Ltd filed Critical CCB Finetech Co Ltd
Priority to CN202210752314.1A priority Critical patent/CN114928604B/zh
Publication of CN114928604A publication Critical patent/CN114928604A/zh
Application granted granted Critical
Publication of CN114928604B publication Critical patent/CN114928604B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种文件分发方法和装置,涉及文件传输技术领域。该方法的一具体实施方式包括:接收文件分发请求,所述文件分发请求中包括:多个目标主机的主机信息及待分发文件的文件信息;确定各所述目标主机的所属网络域的缓冲文件服务器,得到至少一个目标缓冲服务器;根据所述待分发文件的文件信息,将所述待分发文件分发到所述至少一个目标缓冲服务器中;从所述目标主机的所属网络域的目标缓冲服务器中,获取所述待分发文件,并将获取到的待分发文件分发到所述目标主机中。该实施方式能够减轻数据源所在的文件服务器带宽压力,且提升文件分发速度。

Description

文件分发方法和装置
技术领域
本发明涉及文件传输技术领域,尤其涉及一种文件分发方法和装置。
背景技术
在很多业务场景中,都需要将同一数据文件同时分发给多个主机。可通过多种工具实现文件分发。但无论使用何种工具实现文件分发,在待接收文件的主机比较多时,因数据源只有一个,多台主机同时向一个数据源请求下载数据,数据源所在的文件服务器带宽将承受很大压力,且文件分发速度缓慢。
发明内容
有鉴于此,本发明实施例提供一种文件分发方法和装置,能够减轻数据源所在的文件服务器带宽压力,且提升文件分发速度。
第一方面,本发明实施例提供了一种文件分发方法,包括:
接收文件分发请求,所述文件分发请求中包括:多个目标主机的主机信息及待分发文件的文件信息;
确定各所述目标主机的所属网络域的缓冲文件服务器,得到至少一个目标缓冲服务器;
根据所述待分发文件的文件信息,将所述待分发文件分发到所述至少一个目标缓冲服务器中;
从所述目标主机的所属网络域的目标缓冲服务器中,获取所述待分发文件,并将获取到的待分发文件分发到所述目标主机中。
可选地,所述根据所述待分发文件的文件信息,将所述待分发文件分发到所述至少一个目标缓冲服务器中,包括:
获取分发脚本模板;
根据所述目标缓冲服务器的服务器信息、所述待分发文件的文件信息及所述分发脚本模板,生成第一分发指令;
执行所述第一分发指令,以将所述待分发文件分发到所述目标缓冲服务器中。
可选地,所述从所述目标主机的所属网络域的目标缓冲服务器中,获取所述待分发文件,并将获取到的待分发文件分发到所述目标主机中,包括:
获取分发脚本模板;
确定所述目标主机的所属网络域的目标缓冲服务器;
根据所属网络域的目标缓冲服务器的服务器信息,更新所述待分发文件的文件信息;
根据所述目标主机的主机信息、更新后的待分发文件的文件信息及所述分发脚本模板,生成第二分发指令;
执行所述第二分发指令,以从所属网络域的目标缓冲服务器中获取所述待分发文件,并将获取到的待分发文件分发到所述目标主机中。
可选地,所述确定各所述目标主机的所属网络域的缓冲文件服务器,包括:
确定各所述目标主机的所属网络域;
查找路由表,获取各所述所属网络域中的缓冲文件服务器。
可选地,所述从所述目标主机的所属网络域的目标缓冲服务器中,获取所述待分发文件,并将获取到的待分发文件分发到所述目标主机中之前,还包括:
确定多个网络域;
查找路由表,获取各所述网络域中的缓冲文件服务器;
确定网络域与缓冲文件服务器的映射关系,并生成包含所述映射关系的配置文件;
确定所述网络域中的多个主机,将所述配置文件下发到各所述主机中。
可选地,所述从所述目标主机的所属网络域的目标缓冲服务器中,获取所述待分发文件,并将获取到的待分发文件分发到所述目标主机中,包括:
确定所述目标主机中的所属网络域;
根据所述目标主机的配置文件中的映射关系,确定出所述所属网络域对应的缓冲文件服务器,并将确定出的缓冲文件服务器作为所述目标主机对应的目标缓冲服务器;
从所述目标主机对应的目标缓冲服务器中,获取所述待分发文件,并将获取到的待分发文件分发到所述目标主机中。
可选地,所述待分发文件的文件信息包括以下至少之一:文件名、文件下载路径及文件校验值,所述文件分发请求中还包括以下至少之一:下载超时时间、下载重试次数及上下游交互信息。
可选地,所述从所述目标主机的所属网络域的目标缓冲服务器中,获取所述待分发文件,并将获取到的待分发文件分发到所述目标主机中之后,还包括:
获取所述目标主机对应的分发结果;
在所述分发结果表征分发失败的情况下,确定并展示分发失败的原因。
可选地,所述在所述分发结果表征分发失败的情况下,确定并展示分发失败的原因之后,还包括:
在所述分发失败的原因对应于缓冲服务器的情况下,从所述目标主机的至少一个邻近缓冲文件服务器中,确定出替换缓冲服务器;
从所述替换缓冲服务器中,获取所述待分发文件,并将获取到的待分发文件分发到所述目标主机中。
第二方面,本发明实施例提供了一种文件分发装置,包括:
请求接收模块,用于接收文件分发请求,所述文件分发请求中包括:多个目标主机的主机信息及待分发文件的文件信息;
服务器确定模块,用于确定各所述目标主机的所属网络域的缓冲文件服务器,得到至少一个目标缓冲服务器;
第一分发模块,用于根据所述待分发文件的文件信息,将所述待分发文件分发到所述至少一个目标缓冲服务器中;
第二分发模块,用于从所述目标主机的所属网络域的目标缓冲服务器中,获取所述待分发文件,并将获取到的待分发文件分发到所述目标主机中。
可选地,所述第一分发模块具体用于:
获取分发脚本模板;
根据所述目标缓冲服务器的服务器信息、所述待分发文件的文件信息及所述分发脚本模板,生成第一分发指令;
执行所述第一分发指令,以将所述待分发文件分发到所述目标缓冲服务器中。
可选地,所述第二分发模块具体用于:
获取分发脚本模板;
确定所述目标主机的所属网络域的目标缓冲服务器;
根据所属网络域的目标缓冲服务器的服务器信息,更新所述待分发文件的文件信息;
根据所述目标主机的主机信息、更新后的待分发文件的文件信息及所述分发脚本模板,生成第二分发指令;
执行所述第二分发指令,以从所属网络域的目标缓冲服务器中获取所述待分发文件,并将获取到的待分发文件分发到所述目标主机中。
第三方面,本发明实施例提供了一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现上述任一实施例所述的方法。
第四方面,本发明实施例提供了一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现上述任一实施例所述的方法。
第五方面,本发明实施例提供了一种计算机程序产品,包括计算机程序,所述程序被处理器执行时实现上述任一实施例所述的方法。
上述发明中的一个实施例具有如下优点或有益效果:将多个主机划分到不同的网络域中,每个网络域中都设置有缓冲文件服务器。在接收到文件分发请求时,确定文件分发请求中的各目标主机的所属网络域中的目标缓冲服务器,将待分发文件分发到至少一个目标缓冲服务器中。各目标主机从所属网络域的目标缓冲服务器中,获取并下载待分发文件。本发明实施例的方案将数据源所在的文件服务器带宽压力,分散到各文件缓冲服务器中,能够减轻数据源所在的文件服务器带宽压力。
此外,相比所有目标主机都从同一数据源获取待分发文件的方式,各目标主机都从各自所属网络域的缓冲文件服务器中获取待分发文件的方式,还能够进一步提升文件分发速度。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是本发明第一实施例提供的一种文件分发方法的流程示意图;
图2是本发明第二实施例提供的一种文件分发方法的流程示意图;
图3是本发明第三实施例提供的一种表单展示方法的流程示意图;
图4是本发明的第四实施例提供的一种文件分发系统的结构示意图;
图5是本发明的实施例提供的一种文件分发装置的结构示意图;
图6是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
图1是本发明第一实施例提供的一种文件分发方法的流程示意图,如图1所示,该方法包括:
步骤101:接收文件分发请求,文件分发请求中包括:多个目标主机的主机信息及待分发文件的文件信息。
主机信息可包括以下至少之一:主机标识、主机名称、主机地址、存储路径、所属网络域等。
待分发文件的文件信息可包括以下至少之一:文件名、文件下载路径及文件校验值,文件分发请求中还包括以下至少之一:下载超时时间、下载重试次数及上下游交互信息。
可根据各主机的物理位置、网络带宽等信息,将多个主机划分到多个网络域中。每个网络域中都包括多个主机,每个主机都隶属于一个网络域。每个网络域中都设置有缓冲文件服务器,通过缓冲文件服务器为网络域中的各主机提供文件分发服务。
步骤102:确定各目标主机的所属网络域的缓冲文件服务器,得到至少一个目标缓冲服务器。
可以预先设置主机与缓冲文件服务器的映射关系,根据该映射关系,确定目标主机对应的缓冲文件服务器。也可以先确定目标主机的所属网络域,再通过查找路由表,获取各所属网络域中的缓冲文件服务器。
获取各目标主机的所属网络域的缓冲文件服务器,合并并去重各目标主机的所属网络域的缓冲文件服务器,得到至少一个目标缓冲服务器。
步骤103:根据待分发文件的文件信息,将待分发文件分发到至少一个目标缓冲服务器中。
根据待分发文件的文件信息,如文件名、文件下载路径等,获取到待分发文件,再将待分发文件复制到步骤102得到的至少一个目标缓冲服务器中。
可以利用复制指令或传输指令等,将待分发文件分发到目标缓冲服务器中。也可通过下述方式将待分发文件分发到至少一个目标缓冲服务器中:获取分发脚本模板;根据目标缓冲服务器的服务器信息、待分发文件的文件信息及分发脚本模板,生成第一分发指令;执行第一分发指令,以将待分发文件分发到目标缓冲服务器中。
可在系统中预先设置分发脚本模板,通过分发脚本模板生成并执行第一分发指令,以将待分发文件分发到目标缓冲服务器中。
步骤104:从目标主机的所属网络域的目标缓冲服务器中,获取待分发文件,并将获取到的待分发文件分发到目标主机中。
针对每个目标主机,分别从目标主机的所属网络域的目标缓冲服务器中,获取待分发文件,并将获取到的待分发文件分发到目标主机中。
可以利用复制指令或传输指令等,将待分发文件分发到目标主机中。也可以通过如下方式,将待分发文件分发到目标主机中:获取分发脚本模板;确定目标主机的所属网络域的目标缓冲服务器;根据所属网络域的目标缓冲服务器的服务器信息,更新待分发文件的文件信息;根据目标主机的主机信息、更新后的待分发文件的文件信息及分发脚本模板,生成第二分发指令;执行第二分发指令,以从所属网络域的目标缓冲服务器中获取待分发文件,并将待分发文件分发到目标主机中。
可在系统中预先设置分发脚本模板,通过分发脚本模板生成并执行第二分发指令,以将待分发文件分发到目标主机中。
在本发明实施例中,将多个主机划分到不同的网络域中,每个网络域中都设置有缓冲文件服务器。在接收到文件分发请求时,确定文件分发请求中的各目标主机的所属网络域中的目标缓冲服务器,将待分发文件分发到所述至少一个目标缓冲服务器中。各目标主机从所属网络域的目标缓冲服务器中,获取并下载待分发文件。本发明实施例的方案将数据源所在的文件服务器带宽压力,分散到各文件缓冲服务器中,能够减轻数据源所在的文件服务器带宽压力。
此外,相比所有目标主机都从同一数据源获取待分发文件的方式,各目标主机都从各自所属网络域的缓冲文件服务器中获取待分发文件的方式,还能够进一步提升文件分发速度。
在本发明的一个实施例中,从目标主机的所属网络域的目标缓冲服务器中,获取待分发文件,并将待分发文件分发到目标主机中之前,还包括:确定多个网络域;查找路由表,获取各网络域中的缓冲文件服务器;确定网络域与缓冲文件服务器的映射关系,并生成包含映射关系的配置文件;确定网络域中的多个主机,将配置文件下发到各主机中。
上述过程用于获取到网络域与缓冲文件服务器的映射关系,并生成包含映射关系的配置文件,在将配置文件下发到各主机中。各主机通过配置文件即可查找到该主机所属网络域中的文件缓冲服务器。
可以定时或在满足预设条件的情况下,执行上述过程。预设条件可包括:网络拓扑结构发生变化,文件下发失败、源文件服务器故障或文件缓冲服务器故障等。
图2是本发明第二实施例提供的一种文件分发方法的流程示意图,如图2所示,该方法包括:
步骤201:接收文件分发请求,文件分发请求中包括:多个目标主机的主机信息及待分发文件的文件信息。
步骤202:确定各目标主机的所属网络域的缓冲文件服务器,得到至少一个目标缓冲服务器。
步骤203:根据待分发文件的文件信息,将待分发文件分发到至少一个目标缓冲服务器中。
步骤204:确定目标主机的所属网络域。
每个主机隶属于一个网络域,一个网络域中可包括多个主机。可以根据目标主机的网络地址,确定目标主机的所属网络域。也可以预先设置主机与网络域的映射关系,根据该映射关系,确定目标主机的所属网络域。
步骤205:根据目标主机的配置文件中的映射关系,确定出所属网络域对应的缓冲文件服务器,并将确定出的缓冲文件服务器作为目标主机对应的目标缓冲服务器。
步骤205之前还可以包括:确定多个网络域;查找路由表,获取各网络域中的缓冲文件服务器;确定网络域与缓冲文件服务器的映射关系,并生成包含映射关系的配置文件;确定网络域中的多个主机,将配置文件下发到各主机中。
获取到网络域与缓冲文件服务器的映射关系,并生成包含映射关系的配置文件,在将配置文件下发到各主机中。各主机通过配置文件即可查找到该主机所属网络域中的文件缓冲服务器。
步骤206:从目标主机对应的目标缓冲服务器中,获取待分发文件,并将待分发文件分发到目标主机中。
在本发明实施例中,确定目标主机的所属网络域,根据目标主机的配置文件中的映射关系,确定出所属网络域对应的缓冲文件服务器,通过缓冲文件服务器,完成文件的中转下发,以提升文件下发的效率。
图3是本发明第三实施例提供的一种文件分发方法的流程示意图,如图3所示,该方法包括:
步骤301:接收文件分发请求,文件分发请求中包括:多个目标主机的主机信息及待分发文件的文件信息。
步骤302:确定各目标主机的所属网络域的缓冲文件服务器,得到至少一个目标缓冲服务器。
步骤303:根据待分发文件的文件信息,将待分发文件分发到至少一个目标缓冲服务器中。
步骤304:从目标主机的所属网络域的目标缓冲服务器中,获取待分发文件,并将待分发文件分发到目标主机中。
步骤305:获取目标主机对应的分发结果。
步骤306:在分发结果表征分发失败的情况下,确定并展示分发失败的提示信息。
在分发结果表征分发失败的情况下,确定并展示分发失败的提示信息,以提示相关人员尽快排查问题原因,减少文件分发失败的不良影响。
进一步地,在分发结果表征分发失败的情况下,确定并展示分发失败的提示信息之后,还包括:在分发失败的原因对应于缓冲服务器的情况下,从目标主机的至少一个邻近缓冲文件服务器中,确定出替换缓冲服务器;从替换缓冲服务器中,获取待分发文件,并将待分发文件分发到目标主机中。
确定分发失败的原因的方式有多种,例如:可通过排查系统日志,确定分发失败的原因,可以检测源文件服务器、缓冲文件服务器及目标主机是否可正常响应等方式确定。
在分发失败的原因对应于缓冲服务器的情况下,确定目标主机的至少一个邻近缓冲文件服务器中,根据各邻近缓冲文件服务器的带宽情况、响应情况及负载情况等,确定出替换缓冲服务器。并利用替换缓冲文件服务器,完成将待分发文件的分发处理。
为使本发明实施例的方案更加便于理解,以下阐述利用SaltStack实现文件下发的具体实施方案。SaltStack是一个配置管理系统,能够维护预定义状态的远程节点。
本发明实施例采用了不同数据中心、不同网络区域使用不同缓冲文件服务器的策略,减轻master上文件服务器或上游调用系统的一个文件服务器的压力;通过构建执行引擎层,根据minion主机所在网络区域的路由表,查找所属网络域(最近)的文件服务器,并将其写入配置文件下发到minion主机。
当上游调用系统下发跨数据中心分发多个文件的请求时,执行引擎层构建多文件下载模板,先将待分发的文件下发到缓冲文件服务器,然后再从缓冲文件服务器下发到minion主机。这个过程中,minion主机读取配置表中的缓冲文件服务器地址,从最近的文件服务器下载文件。
对于上游调用系统可以任意选定多个文件、下发到选定的多个数据中心的多个网络域中的多台minion主机,需要制定稳定可靠灵活的文件流向策略,支持数据文件从一个源文件服务器,通过执行引擎层,自动路由到minion主机所在的数据中心网络域的缓冲文件服务器,再从缓冲文件服务器下发到下游minion主机,从而保证文件服务器带宽压力小,下载成功率高、调度灵活。
图4是本发明的第四实施例提供的一种文件分发系统的结构示意图,如图4所示,本发明实施例的系统中主要包括上游调用系统、源文件服务器、缓冲文件服务器、saltstack系统、网络域等。saltstack系统包括:master主机、syndic(汇聚代理)、minion主机等。
上游调用系统:管理minion主机的上游需求方,其需求包含脚本执行、文件分发等。
执行引擎:针对上游调用系统下发的请求,做数据的封装、转发、结果处理等。
源文件服务器:待分发文件所在的文件服务器,可使用URL下载文件。
缓冲文件服务器:minion主机就近下载文件的服务器,每个数据中心的每个网络域均有对应的缓冲文件服务器。
master:服务端组件,主要负责向minion发送命令,然后聚合并显示这些命令的结果。
Syndic:汇聚代理,介于master与minion之间,可以提供比仅由master节点和minion节点类型构建的拓扑具有更大的结构灵活性和伸缩性。
minion:主代理,被纳管的机器。
网络域:网络应用的范围,在这个范围内的用户有一定的访问权限网络内用户或者主机,而不在域中的用户会受到域权限的控制而不能访问一些东西。
本发明实施例提供的文件分发方法可分为如下三个阶段:
第一阶段,将缓冲文件服务器的地址作为配置文件下发到minion主机的固定路径下,使其minion主机自身在无法查询数据库路由表的情况下,能够找到所属网络域的文件服务器。通过定时任务(比如每天一次)遍历所有网络域,针对每个网络域,执行如下步骤:
步骤11:根据路由表,查找当前网络域对应的缓冲文件服务器,将其地址写入配置文件,然后将配置文件上传到源文件服务器中。
步骤12:查找当前网络域中所有被纳管的minion主机,通过执行复制命令,将配置文件下发到minion主机的固定路径下。
第二阶段,将待分发文件从源文件服务器分发到目标缓冲文件服务器,可包括如下步骤:
步骤21:上游调用系统发出文件分发请求,请求中包含待分发的文件基础信息列表、目标minion主机列表、下载到minion主机路径、下载超时时间、下载重试次数及上下游交互的唯一ID信息。其中,文件基础信息列表中包括:文件名、文件下载路径、文件md5值等信息。
步骤22:执行引擎收到上游调用系统的请求后,将请求参数保存到数据库中。并根据每台minion主机所在的数据中心的网络域,到路由表中查找网络域中对应的缓冲文件服务器,形成缓冲文件服务器列表。
步骤23:重新构造请求参数。将原请求参数中的目标主机列表替换为缓冲文件服务器列表,并将下载到minion主机的目的路径修改为文件服务器的固定路径。
步骤24:构造脚本形式的文件下载模板,下载模板中包括执行对应的文件下载命令、可调整的URL下载地址、尝试次数、超时时间、md5计算与比对等,并发送文件下载模板和构造后的参数。
步骤25:saltstack系统收到请求后,执行下载模板。即通过文件下载模板及构造后的参数,将数据文件从源文件服务器下载到缓冲文件服务器。
值得注意的是:不是将源文件服务器中的所有文件都下载到缓冲文件服务器,至少将下载模板中包含的待下载文件为按需下载到minion所在网络域的缓冲文件服务器,。
第三阶段,即将待分发文件从缓冲文件服务器分发到minion主机,可包括如下步骤:
步骤31:将步骤24中的文件下载模板,连同步骤21中的请求参数发送saltstack系统执行。
步骤32:saltstack系统收到请求后,执行下载模板脚本。即各数据中心的minion主机从主机自身的配置文件中读取所属网络域的文件服务器,将文件从缓冲文件服务器下载到指定路径。
需要说明的是,步骤21及步骤22并不需要上游每次执行文件分发时均执行一遍,因对于数据中心、网络域、缓冲文件服务器、minion机器是相对固定的,可以定时执行一次即可。若有变更,可将这一阶段的步骤重新执行一次。此外,步骤24中涉及的文件下载模板可以为事先设置好的,每次执行可以复用。
在本发明实施例中,采用每个minion主机所属网络域一套缓冲文件服务器,并将文件服务器地址通过配置文件的方式存放在minion主机,根据智能路由表,将上游调用系统待分发的文件按需下发到minion最近的缓冲文件服务器上,从而执行命令时,minion可以直接将文件冲缓冲文件服务器下载到指定路径。解决了上游调用系统任意选择待分发minion主机(可能属于不同的数据中心)的需求,其下载速度、稳定性、灵活性远高于只有一套文件服务器的情形。而且根据minion主机所在的网络域,仅将需要下载的文件缓冲到二级文件服务器,而不是将二级文件服务器作为源文件服务器的镜像,节省大量二级服务器存储空间。与saltstack原生方法相比,本发明实施例提供的方法不仅支持跨中心、多文件,而且下载速度快、成功率高、智能灵活、易于控制。
图5是本发明的一个实施例提供的一种文件分发装置的结构示意图,如图5所示,该装置包括:
请求接收模块501,用于接收文件分发请求,所述文件分发请求中包括:多个目标主机的主机信息及待分发文件的文件信息;
服务器确定模块502,用于确定各所述目标主机的所属网络域的缓冲文件服务器,得到至少一个目标缓冲服务器;
第一分发模块503,用于根据所述待分发文件的文件信息,将所述待分发文件分发到所述至少一个目标缓冲服务器中;
第二分发模块504,用于从所述目标主机的所属网络域的目标缓冲服务器中,获取所述待分发文件,并将获取到的待分发文件分发到所述目标主机中。
可选地,所述第一分发模块503具体用于:
获取分发脚本模板;
根据所述目标缓冲服务器的服务器信息、所述待分发文件的文件信息及所述分发脚本模板,生成第一分发指令;
执行所述第一分发指令,以将所述待分发文件分发到所述目标缓冲服务器中。
可选地,所述第二分发模块504具体用于:
获取分发脚本模板;
确定所述目标主机的所属网络域的目标缓冲服务器;
根据所属网络域的目标缓冲服务器的服务器信息,更新所述待分发文件的文件信息;
根据所述目标主机的主机信息、更新后的待分发文件的文件信息及所述分发脚本模板,生成第二分发指令;
执行所述第二分发指令,以从所属网络域的目标缓冲服务器中获取所述待分发文件,并将获取到的待分发文件分发到所述目标主机中。
可选地,所述服务器确定模块502具体用于:
确定各所述目标主机的所属网络域;
查找路由表,获取各所述所属网络域中的缓冲文件服务器。
可选地,该装置还包括:
文件生成模块,用于确定多个网络域;
查找路由表,获取各所述网络域中的缓冲文件服务器;
确定网络域与缓冲文件服务器的映射关系,并生成包含所述映射关系的配置文件;
确定所述网络域中的多个主机,将所述配置文件下发到各所述主机中。
可选地,所述第二分发模块504具体用于:
确定所述目标主机中的所属网络域;
根据所述目标主机的配置文件中的映射关系,确定出所述所属网络域对应的缓冲文件服务器,并将确定出的缓冲文件服务器作为所述目标主机对应的目标缓冲服务器;
从所述目标主机对应的目标缓冲服务器中,获取所述待分发文件,并将获取到的待分发文件分发到所述目标主机中。
可选地,所述待分发文件的文件信息包括以下至少之一:文件名、文件下载路径及文件校验值,所述文件分发请求中还包括以下至少之一:下载超时时间、下载重试次数及上下游交互信息。
可选地,该装置还包括:
结果获取模块,用于获取所述目标主机对应的分发结果;
在所述分发结果表征分发失败的情况下,确定并展示分发失败的原因。
可选地,所述第二分发模块504还用于:
在所述分发失败的原因对应于缓冲服务器的情况下,从所述目标主机的至少一个邻近缓冲文件服务器中,确定出替换缓冲服务器;
从所述替换缓冲服务器中,获取所述待分发文件,并将获取到的待分发文件分发到所述目标主机中。
本发明实施例提供了一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现上述任一实施例的方法。
本发明实施例提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现本发明实施例中的企业风险评估方法。
下面参考图6,其示出了适于用来实现本发明实施例的终端设备的计算机系统600的结构示意图。图6示出的终端设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示,计算机系统600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时,执行本发明的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了根据本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:请求接收模块、服务器确定模块、第一分发模块及第二分发模块。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定,例如,请求接收模块还可以被描述为“接收文件分发请求,所述文件分发请求中包括:多个目标主机的主机信息及待分发文件的文件信息的模块”。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:
接收文件分发请求,所述文件分发请求中包括:多个目标主机的主机信息及待分发文件的文件信息;
确定各所述目标主机的所属网络域的缓冲文件服务器,得到至少一个目标缓冲服务器;
根据所述待分发文件的文件信息,将所述待分发文件分发到所述至少一个目标缓冲服务器中;
从所述目标主机的所属网络域的目标缓冲服务器中,获取所述待分发文件,并将获取到的待分发文件分发到所述目标主机中。
根据本发明实施例的技术方案,将多个主机划分到不同的网络域中,每个网络域中都设置有缓冲文件服务器。在接收到文件分发请求时,确定文件分发请求中的各目标主机的所属网络域中的目标缓冲服务器,将待分发文件分发到所述至少一个目标缓冲服务器中。各目标主机从所属网络域的目标缓冲服务器中,获取并下载待分发文件。本发明实施例的方案将数据源所在的文件服务器带宽压力,分散到各文件缓冲服务器中,能够减轻数据源所在的文件服务器带宽压力。
此外,相比所有目标主机都从同一数据源获取待分发文件的方式,各目标主机都从各自所属网络域的缓冲文件服务器中获取待分发文件的方式,还能够进一步提升文件分发速度。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

Claims (11)

1.一种文件分发方法,其特征在于,包括:
接收文件分发请求,所述文件分发请求中包括:多个目标主机的主机信息及待分发文件的文件信息;
确定各所述目标主机的所属网络域的缓冲文件服务器,得到至少一个目标缓冲服务器;
根据所述待分发文件的文件信息,将所述待分发文件分发到所述至少一个目标缓冲服务器中;
从所述目标主机的所属网络域的目标缓冲服务器中,获取所述待分发文件,并将获取到的待分发文件分发到所述目标主机中;
所述从所述目标主机的所属网络域的目标缓冲服务器中,获取所述待分发文件,并将获取到的待分发文件分发到所述目标主机中,包括:获取分发脚本模板;确定所述目标主机的所属网络域的目标缓冲服务器;根据所述所属网络域的目标缓冲服务器的服务器信息,更新所述待分发文件的文件信息;根据所述目标主机的主机信息、更新后的待分发文件的文件信息及所述分发脚本模板,生成第二分发指令;执行所述第二分发指令,以从所述所属网络域的目标缓冲服务器中获取所述待分发文件,并将获取到的待分发文件分发到所述目标主机中;
所述从所述目标主机的所属网络域的目标缓冲服务器中,获取所述待分发文件,并将获取到的待分发文件分发到所述目标主机中,包括:确定所述目标主机的所属网络域;根据所述目标主机的配置文件中的映射关系,确定出所述所属网络域对应的缓冲文件服务器,并将确定出的缓冲文件服务器作为所述目标主机对应的目标缓冲服务器;从所述目标主机对应的目标缓冲服务器中,获取所述待分发文件,并将获取到的待分发文件分发到所述目标主机中。
2.根据权利要求1所述的方法,其特征在于,所述根据所述待分发文件的文件信息,将所述待分发文件分发到所述至少一个目标缓冲服务器中,包括:
获取分发脚本模板;
根据所述目标缓冲服务器的服务器信息、所述待分发文件的文件信息及所述分发脚本模板,生成第一分发指令;
执行所述第一分发指令,以将所述待分发文件分发到所述目标缓冲服务器中。
3.根据权利要求1所述的方法,其特征在于,所述确定各所述目标主机的所属网络域的缓冲文件服务器,包括:
确定各所述目标主机的所属网络域;
查找路由表,获取各所述所属网络域中的缓冲文件服务器。
4.根据权利要求1所述的方法,其特征在于,所述从所述目标主机的所属网络域的目标缓冲服务器中,获取所述待分发文件,并将获取到的待分发文件分发到所述目标主机中之前,还包括:
确定多个网络域;
查找路由表,获取各所述网络域中的缓冲文件服务器,以确定网络域与缓冲文件服务器的映射关系;
生成包含所述映射关系的配置文件;
确定所述网络域中的多个主机,将所述配置文件下发到各所述主机中。
5.根据权利要求1所述的方法,其特征在于,所述待分发文件的文件信息包括以下至少之一:文件名、文件下载路径及文件校验值,所述文件分发请求中还包括以下至少之一:下载超时时间、下载重试次数及上下游交互信息。
6.根据权利要求1所述的方法,其特征在于,所述从所述目标主机的所属网络域的目标缓冲服务器中,获取所述待分发文件,并将获取到的待分发文件分发到所述目标主机中之后,还包括:
获取所述目标主机对应的分发结果;
在所述分发结果表征分发失败的情况下,确定并展示分发失败的提示信息。
7.根据权利要求6所述的方法,其特征在于,所述在所述分发结果表征分发失败的情况下,确定并展示分发失败的提示信息之后,还包括:
获取分发失败的原因;
在所述分发失败的原因表征缓冲服务器问题的情况下,从所述目标主机的至少一个邻近缓冲文件服务器中,确定出替换缓冲服务器;
从所述替换缓冲服务器中,获取所述待分发文件,并将获取到的待分发文件分发到所述目标主机中。
8.一种文件分发装置,其特征在于,包括:
请求接收模块,用于接收文件分发请求,所述文件分发请求中包括:多个目标主机的主机信息及待分发文件的文件信息;
服务器确定模块,用于确定各所述目标主机的所属网络域的缓冲文件服务器,得到至少一个目标缓冲服务器;
第一分发模块,用于根据所述待分发文件的文件信息,将所述待分发文件分发到所述至少一个目标缓冲服务器中;
第二分发模块,用于从所述目标主机的所属网络域的目标缓冲服务器中,获取所述待分发文件,并将获取到的待分发文件分发到所述目标主机中;
所述第二分发模块具体用于:获取分发脚本模板;确定所述目标主机的所属网络域的目标缓冲服务器;根据所述所属网络域的目标缓冲服务器的服务器信息,更新所述待分发文件的文件信息;根据所述目标主机的主机信息、更新后的待分发文件的文件信息及所述分发脚本模板,生成第二分发指令;执行所述第二分发指令,以从所述所属网络域的目标缓冲服务器中获取所述待分发文件,并将获取到的待分发文件分发到所述目标主机中;
所述第二分发模块具体用于:确定所述目标主机的所属网络域;根据所述目标主机的配置文件中的映射关系,确定出所述所属网络域对应的缓冲文件服务器,并将确定出的缓冲文件服务器作为所述目标主机对应的目标缓冲服务器;从所述目标主机对应的目标缓冲服务器中,获取所述待分发文件,并将获取到的待分发文件分发到所述目标主机中。
9.根据权利要求8所述的装置,其特征在于,所述第一分发模块具体用于:
获取分发脚本模板;
根据所述目标缓冲服务器的服务器信息、所述待分发文件的文件信息及所述分发脚本模板,生成第一分发指令;
执行所述第一分发指令,以将所述待分发文件分发到所述目标缓冲服务器中。
10.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
11.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN202210752314.1A 2022-06-29 2022-06-29 文件分发方法和装置 Active CN114928604B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210752314.1A CN114928604B (zh) 2022-06-29 2022-06-29 文件分发方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210752314.1A CN114928604B (zh) 2022-06-29 2022-06-29 文件分发方法和装置

Publications (2)

Publication Number Publication Date
CN114928604A CN114928604A (zh) 2022-08-19
CN114928604B true CN114928604B (zh) 2023-06-16

Family

ID=82814926

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210752314.1A Active CN114928604B (zh) 2022-06-29 2022-06-29 文件分发方法和装置

Country Status (1)

Country Link
CN (1) CN114928604B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104618410A (zh) * 2013-11-04 2015-05-13 腾讯科技(北京)有限公司 资源推送方法和装置
CN106445683A (zh) * 2016-09-12 2017-02-22 北京中电普华信息技术有限公司 一种服务器资源分发方法及装置
WO2020044977A1 (ja) * 2018-08-30 2020-03-05 ブラザー工業株式会社 アプリケーションプログラムおよびデータ転送システム
CN111835856A (zh) * 2020-07-17 2020-10-27 北京百度网讯科技有限公司 文件下载的方法、装置、设备以及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104618410A (zh) * 2013-11-04 2015-05-13 腾讯科技(北京)有限公司 资源推送方法和装置
CN106445683A (zh) * 2016-09-12 2017-02-22 北京中电普华信息技术有限公司 一种服务器资源分发方法及装置
WO2020044977A1 (ja) * 2018-08-30 2020-03-05 ブラザー工業株式会社 アプリケーションプログラムおよびデータ転送システム
CN111835856A (zh) * 2020-07-17 2020-10-27 北京百度网讯科技有限公司 文件下载的方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
CN114928604A (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
CN107590001B (zh) 负载均衡方法及装置、存储介质、电子设备
US8990176B2 (en) Managing a search index
US8090917B2 (en) Managing storage and migration of backup data
US20120323846A1 (en) Sending Category Information
CN105516284B (zh) 一种集群数据库分布式存储的方法和装置
CN102938784A (zh) 应用于分布式存储系统中的数据存储方法和系统
CN103607424A (zh) 一种服务器连接方法及服务器系统
CN112882647A (zh) 存储和访问数据的方法、电子设备和计算机程序产品
CN104468150A (zh) 一种虚拟主机实现故障迁移的方法及虚拟主机业务装置
CN107220375B (zh) 数据读写方法和服务器
CN111400041A (zh) 服务器配置文件的管理方法、装置及计算机可读存储介质
CN107818027B (zh) 名字节点主备切换的方法、装置和分布式系统
CN107526838B (zh) 数据库集群扩容的方法和装置
CN110798358B (zh) 分布式服务标识方法、装置、计算机可读介质及电子设备
CN113127430B (zh) 镜像信息处理方法、装置、计算机可读介质及电子设备
CN113535673B (zh) 生成配置文件及数据处理的方法和装置
CN112988879B (zh) 访问数据库的方法、系统、装置、存储介质及处理器
CN114928604B (zh) 文件分发方法和装置
CN111444148A (zh) 基于MapReduce的数据传输方法和装置
CN111343220B (zh) 转发器、分布式文件传输方法、系统、介质及电子设备
CN109992447B (zh) 数据复制方法、装置及存储介质
CN108733460B (zh) 保持用于网络存储设备的会话的方法和设备
CN114756173A (zh) 文件合并的方法、系统、设备和计算机可读介质
CN111090530B (zh) 一种分布式跨进程间通信总线系统
CN110058790B (zh) 用于存储数据的方法、设备和计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant