CN109684274A - 文件归档方法、设备及计算机可读存储介质 - Google Patents

文件归档方法、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN109684274A
CN109684274A CN201811053356.6A CN201811053356A CN109684274A CN 109684274 A CN109684274 A CN 109684274A CN 201811053356 A CN201811053356 A CN 201811053356A CN 109684274 A CN109684274 A CN 109684274A
Authority
CN
China
Prior art keywords
file
archive
downloading
scheduler
data space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811053356.6A
Other languages
English (en)
Other versions
CN109684274B (zh
Inventor
杨越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201811053356.6A priority Critical patent/CN109684274B/zh
Publication of CN109684274A publication Critical patent/CN109684274A/zh
Application granted granted Critical
Publication of CN109684274B publication Critical patent/CN109684274B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/03Credit; Loans; Processing thereof
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明提供一种文件归档方法,涉及云存储技术,该方法包括:服务器在接收到文件归档请求时,创建对应的数据空间、调度器、下载线程和交互线程;将所述文件归档请求转发至所述调度器,使得所述调度器控制所述下载线程下载对应的文件,并将下载得到的文件调度至所述数据空间中;当所述服务器检测到所述数据空间中存在文件时,通过所述交互线程将所述文件发送至对应的终端。本发明还提供一种文件归档设备及计算机可读存储介质。本发明基于并行处理的方式,通过下载线程和交互线程实现文件下载和文件发送并行执行来提升响应速度,从而可节省等待时间,提升用户体验。此外,基于云存储技术对下载完成的文件进行存储,可提高存储空间的利用率。

Description

文件归档方法、设备及计算机可读存储介质
技术领域
本发明涉及信息管理技术领域,尤其涉及一种文件归档方法、设备及计算机可读存储介质。
背景技术
用户在办理贷款等银行业务的过程中需要上传很多资料,例如用户信息、证明材料等,此外,工作人员在对用户进行贷款审批的过程中也会产生各种资料,例如照片和审核视频等,由于这些资料是分散存储在各个系统的文件夹中的,因此,每隔一段时间工作人员会对已完成业务的用户的相关资料进行文件归档处理,以集中存储各用户的资料文件。
在进行文件归档处理的过程中,服务器在接收到文件归档请求时,通常是先通过下载线程将文件归档请求中对应的所有文件均下载完成后,再将所有文件一起进行打包并发送给对应的用户终端。当文件较多较大时,下载所需时间较长,从而使得等待时间较长,影响用户体验。
发明内容
本发明的主要目的在于提供一种文件归档方法、设备及计算机可读存储介质,旨在通过文件下载和文件发送并行执行来提升响应速度,从而可节省等待时间,提升用户体验。
为实现上述目的,本发明提供一种文件归档方法,所述文件归档方法包括以下步骤:
服务器在接收到文件归档请求时,创建对应的数据空间、调度器、下载线程和交互线程;
将所述文件归档请求转发至所述调度器,使得所述调度器控制所述下载线程下载对应的文件,并将下载得到的文件调度至所述数据空间中;
当所述服务器检测到所述数据空间中存在文件时,通过所述交互线程将所述文件发送至对应的终端。
可选地,所述通过所述交互线程将所述文件发送至对应的终端的步骤之前,包括:
检测所述文件的类型是否为媒体文件;
若不为媒体文件,则对所述文件进行压缩,并通过所述交互线程将压缩后的文件发送至对应的终端;
若为媒体文件,则检测所述文件的大小是否超过第一预设阈值;
若未超过第一预设阈值,则执行步骤:对所述文件进行压缩,并通过所述交互线程将压缩后的文件发送至对应的终端;
若超过第一预设阈值,则执行步骤:通过所述交互线程将所述文件发送至对应的终端。
此外,为实现上述目的,本发明还提供一种文件归档方法,所述文件归档方法包括以下步骤:
服务器在接收到文件归档请求时,创建对应的数据空间、调度器、下载线程和交互线程,并将所述文件归档请求转发至所述调度器;
所述调度器根据所述文件归档请求控制所述下载线程下载对应的文件;
所述调度器在接收到所述下载线程发送的下载完成通知时,根据预设调度规则对下载完成的文件依次进行调度,调度至所述数据空间中;
当所述服务器检测到所述数据空间中存在文件时,通过所述交互线程将所述文件发送至对应的终端。
可选地,所述调度器在接收到所述下载线程发送的下载完成通知时,根据预设调度规则对下载完成的文件依次进行调度,调度至所述数据空间中的步骤包括:
所述调度器在接收到所述下载线程发送的下载完成通知时,根据所述下载完成通知的接收先后顺序和/或所述下载完成的文件的大小和/或所述下载完成的文件的类型确定所述下载完成的文件的优先调度级;
所述调度器根据所述优先调度级对所述下载完成的文件依次进行调度,调度至所述数据空间中。
可选地,所述调度器根据所述优先调度级对所述下载完成的文件依次进行调度,调度至所述数据空间中的步骤包括:
所述调度器根据所述优先调度级对所述下载完成的文件依次进行加锁调度,调度至所述数据空间中;
所述调度器根据所述优先调度级对所述下载完成的文件依次进行加锁调度,调度至所述数据空间中的步骤之后,还包括:
所述调度器对调度完成的加锁文件进行解锁处理。
可选地,所述通过所述交互线程将所述文件发送至对应的终端的步骤之前,包括:
所述服务器检测所述文件的类型是否为媒体文件;
若不为媒体文件,所述服务器对所述文件进行压缩,并通过所述交互线程将压缩后的文件发送至对应的终端;
若为媒体文件,所述服务器检测所述文件的大小是否超过第一预设阈值;
若未超过第一预设阈值,则执行步骤:所述服务器对所述文件进行压缩,并通过所述交互线程将压缩后的文件发送至对应的终端;
若超过第一预设阈值,则执行步骤:通过所述交互线程将所述文件发送至对应的终端。
可选地,所述文件归档方法还包括:
所述服务器实时监测所述数据空间的当前存储量是否超过第二预设阈值;
若所述数据空间的当前存储量超过第二预设阈值,所述服务器则生成对应的下载暂停指令并发送至所述调度器;
所述调度器在接收到所述下载暂停指令时,控制所述下载线程停止下载。
此外,为实现上述目的,本发明还提供一种文件归档设备,所述文件归档设备包括存储器、处理器以及存储在所述存储器上并可被所述处理器执行的文件归档程序,其中所述文件归档程序被所述处理器执行时,实现如上所述的文件归档方法的步骤。
此外,为实现上述目的,本发明还提供一种文件归档设备,所述文件归档设备包括存储器、处理器以及存储在所述存储器上并可被所述处理器执行的文件归档程序,其中所述文件归档程序被所述处理器执行时,实现如上所述的文件归档方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有文件归档程序,其中所述文件归档程序被处理器执行时,实现如上所述的文件归档方法的步骤。
本发明提供一种文件归档方法、设备及计算机可读存储介质,服务器在接收到文件归档请求时,根据该文件归档请求创建对应的数据空间、调度器、下载线程和交互线程;然后,服务器将该文件归档请求转发至调度器,使得调度器控制下载线程下载对应的文件,并将下载得到的文件发送至数据空间中;当服务器检测到数据空间中存在文件时,可通过交互线程将该文件发送至对应的终端。本发明实施例基于并行处理的方式,通过下载线程与交互线程实现文件下载和文件发送并行执行来提升响应速度,从而可节省等待时间,提升用户体验。此外,基于云存储技术对下载完成的文件进行存储,可提高存储空间的利用率。
附图说明
图1为本发明实施例方案中涉及的文件归档设备的硬件结构示意图;
图2为本发明文件归档方法第一实施例的流程示意图;
图3为本发明文件归档方法第二实施例的流程示意图;
图4为本发明文件归档方法第三实施例的流程示意图;
图5为本发明文件归档方法第四实施例的流程示意图;
图6为本发明文件归档装置第一实施例的功能模块示意图;
图7为本发明文件归档装置第三实施例的功能模块示意图;。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例涉及的文件归档方法主要应用于文件归档设备,该文件归档设备可以是PC(personal computer,个人计算机)、笔记本电脑、服务器等具有显示和处理功能的设备。
参照图1,图1为本发明实施例方案中涉及的文件归档设备的硬件结构示意图。本发明实施例中,文件归档设备可以包括:处理器1001,例如CPU(Central Processing Unit,中央处理器),通信总线1002,用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信;用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真WIreless-FIdelity,Wi-Fi接口);存储器1005可以是高速随机存取存储器(random access memory,RAM),也可以是稳定的存储器(non-volatile memory),例如磁盘存储器,存储器1005可选的还可以是独立于前述处理器1001的存储装置。本领域技术人员可以理解,图1中示出的硬件结构并不构成对本发明的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
继续参照图1,图1中作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及文件归档程序。在图1中,网络通信模块可用于连接服务器,与服务器进行数据通信;而处理器1001可以用于调用存储器1005中存储的文件归档程序,并执行本发明实施例提供的文件归档方法。
本发明实施例提供了一种文件归档方法。
请参阅图2,图2为本发明文件归档方法第一实施例的流程示意图。
在本实施例中,该文件归档方法包括:
步骤S10,服务器在接收到文件归档请求时,创建对应的数据空间、调度器、下载线程和交互线程;
在本实施例中,服务器在接收到文件归档请求时,根据该文件归档请求创建对应的数据空间、调度器、下载线程和交互线程。其中,文件归档请求的触发方式可以包括但不限于以下方式:在终端对应的应用界面,点击对应用户的完成订单界面中的导出选项,即可请求导出该订单号对应用户的相关文件,以进行文件归档处理。例如工作人员在对贷款用户的相关文件进行归档时,可在管理终端的贷款审批应用中,点击进入对应的完成订单界面,然后勾选某一个订单或多个订单,点击导出选项,即可请求导出某一用户或多个用户的相关文件。当然,在具体实施例中,在选择导出时,可以选择只导出某一类型的文件,即只对某一类型的文件进行归档处理。服务器所创建的数据空间,是基于虚拟化技术构建的,基于云存储技术来对调度器传输过来的下载完成的文件进行临时存储,可提高存储空间的利用率;调度器用于对下载线程下载完成的文件进行调度,将其调度至数据空间;下载线程用于下载文件,可以包括多个,以加快下载速度;交互线程用于服务器与管理终端之间的交互,服务器可通过交互线程将下载好的文件发送给管理终端。
步骤S20,将所述文件归档请求转发至所述调度器,使得所述调度器控制所述下载线程下载对应的文件,并将下载得到的文件调度至所述数据空间中;
然后,服务器将该文件归档请求转发至调度器,使得调度器控制下载线程下载对应的文件,并将下载得到的文件发送至数据空间中。其中,调度器控制下载线程下载对应的文件后,在接收到下载线程发送的下载完成通知时,可根据预设调度规则对下载完成的文件依次进行调度,将下载完成的文件调度至数据空间中。具体的,可根据下载完成通知的接收先后顺序和/或下载线程所下载完成的文件的大小和/或下载完成的文件的类型确定下载完成的文件的优先调度级;然后根据该优先调度级对下载完成的文件依次进行调度,调度至数据空间中。该预设调度规则可以包括但不限于:1)根据下载完成通知的接收先后顺序,按接收先后顺序调度对应下载线程所下载完成的文件,即采用先到先服务的调度规则;2)根据下载线程所下载完成的文件的大小,按优先调度较小文件的原则进行调度;3)根据下载线程所下载完成的文件的类型,按一定的优先级顺序进行调度,例如,当文件类型包括用户基本信息文件、电子合同文件、证明文件、照片文件和视频文件时,可以按照文件的重要等级进行调度,如优先调度电子合同文件,依次调度用户基本信息文件、照片文件、证明文件和视频文件;4)根据下载完成通知的接收先后顺序、下载完成的文件的大小和类型中的其中2个或3个因素,进行加权和,计算对应的优先级分值,按优先调度优先级分值较高的原则进行调度。
当所述服务器检测到所述数据空间中存在文件时,执行步骤S30:通过所述交互线程将所述文件发送至对应的终端。
当服务器检测到数据空间中存在文件时,可通过交互线程将该文件发送至对应的终端。此外,为节省内存空间,可在将文件发送至对应的终端之后,在数据空间中的删除该文件。
此外,在进行批量用户的文件归档处理时,由于系统资源是有限的,分配给每个用户的数据空间的存储量也是有限的,因此在归档处理过程中,服务器需实时监测数据空间的当前存储量是否超过第二预设阈值,若该数据空间的当前存储量已超过第二预设阈值,则说明该数据空间的当前存储量已快接近分配的存储量,此时,则不能继续进行下载,以防止数据空间无法进行存储,此时,服务器则生成对应的下载暂停指令并发送至调度器,使得该调度器根据该下载暂停指令控制下载线程停止下载。当然,在下载线程停止下载后,服务器会继续监测该数据空间的存储量是否超过第二预设阈值,若监测到数据空间的存储量未超过该第二预设阈值时,可以生成对应的下载恢复指令并发送至调度器,使得该调度器根据该下载恢复指令下载线程恢复下载。
本发明实施例提供一种文件归档方法,服务器在接收到文件归档请求时,根据该文件归档请求创建对应的数据空间、调度器、下载线程和交互线程;然后,服务器将该文件归档请求转发至调度器,使得调度器控制下载线程下载对应的文件,并将下载得到的文件发送至数据空间中;当服务器检测到数据空间中存在文件时,可通过交互线程将该文件发送至对应的终端。本发明实施例基于并行处理的方式,通过下载线程与交互线程实现文件下载和文件发送并行执行来提升响应速度,从而可节省等待时间,提升用户体验。此外,基于云存储技术对下载完成的文件进行存储,可提高存储空间的利用率。
进一步的,参照图3,图3为本发明文件归档方法第二实施例的流程示意图。
基于上述图2所示的第一实施例,在步骤S30之前,该文件归档方法还包括:
步骤S40,检测所述文件的类型是否为媒体文件;
若不为媒体文件,则执行步骤S50:对所述文件进行压缩,并通过所述交互线程将压缩后的文件发送至对应的终端;
若为媒体文件,则执行步骤S60:检测所述文件的大小是否超过第一预设阈值;
若未超过第一预设阈值,则执行步骤S50:对所述文件进行压缩,并通过所述交互线程将压缩后的文件发送至对应的终端;
若超过第一预设阈值,则执行步骤S30:通过所述交互线程将所述文件发送至对应的终端。
在本实施例中,为节省服务器资源,提高系统CPU的使用率,服务器在检测到数据空间中存在文件时,可先基于流特征识别检测该文件的类型和大小,然后根据文件的类型和大小进行对应的压缩后再发送给终端。具体的,当服务器检测到数据空间中存在文件时,可以先基于流特征检测该数据空间中的文件的类型是否为媒体文件,其中,基于流特征检测是指基于报文头来检测文件的类型。若该文件的类型不为媒体文件,则对该文件进行压缩,并通过交互线程将压缩后的文件发送至对应的终端;如果该文件为媒体文件,则进一步检测该文件的大小是否超过第一预设阈值,若该文件的大小未超过第一预设阈值,则对该文件进行压缩,并通过交互线程将压缩后的文件发送至对应的终端;若该文件的大小超过第一预设阈值,由于过大的文件压缩时会占用较大的CPU资源,此时,则不对该文件进行压缩,直接通过交互线程将该文件发送至对应的终端。当然,在具体实施例中,若该文件的大小超过第一预设阈值,还可以通过分段处理或降低其分辨率的方式对该文件进行处理后,再进行压缩,进而再将处理压缩后的文件发送至对应的终端。因此,本发明通过检测数据空间中的文件是否为媒体文件,若是,再进一步判断该媒体文件的大小是否超过第一预设阈值,若该媒体文件的大小超过第一预设阈值,则不进行压缩,以免占用较大的CPU资源,从而可提高系统CPU使用率。本实施例基于并行处理的方式,在通过下载线程与交互线程并行进行文件的下载与发送的同时,通过服务器对文件进行压缩,实现了文件下载、文件压缩和文件发送三个操作并行执行来提升响应速度,可节省等待时间,从而可提升用户体验。
进一步的,请参阅图4,图4为本发明文件归档方法第三实施例的流程示意图。
在本实施例中,该文件归档方法包括:
步骤S100,服务器在接收到文件归档请求时,创建对应的数据空间、调度器、下载线程和交互线程,并将所述文件归档请求转发至所述调度器;
本实施例中文档归档工作是由专门的文件归档设备进行的,其中,本实施例中对应的文件归档设备的硬件结构可参照上述文件归档设备的硬件结构,即文件归档设备系统可以包括处理器(例如CPU)、通信总线、用户接口、网络接口、存储器。对于处理器(例如CPU)、通信总线、用户接口、网络接口,其功能与上述文件归档设备中对应部分的功能类似。对于存储器部分,包括操作系统、网络通信模块以及文件归档程序;网络通信模块则主要用于连接服务器进行数据通信;而处理器可以用于调用存储器中存储的文件归档程序,并执行本实施例的相关操作。
在本实施例中,服务器在接收到文件归档请求时,根据该文件归档请求创建对应的数据空间、调度器、下载线程和交互线程,并将该文件归档请求转发至调度器。其中,文件归档请求的触发方式可以包括但不限于以下方式:在终端对应的应用界面,点击对应用户的完成订单界面中的导出选项,即可请求导出该订单号对应用户的相关文件,以进行文件归档处理。例如工作人员在对贷款用户的相关文件进行归档时,可在管理终端的贷款审批应用中,点击进入对应的完成订单界面,然后勾选某一个订单或多个订单,点击导出选项,即可请求导出某一用户或多个用户的相关文件。当然,在具体实施例中,在选择导出时,可以选择只导出某一类型的文件,即只对某一类型的文件进行归档处理。服务器所创建的数据空间,是基于虚拟化技术构建的,基于云存储技术对调度器传输过来的下载完成的文件进行临时存储,可提高存储空间的利用率;调度器用于对下载线程下载完成的文件进行调度,将其调度至数据空间;下载线程用于下载文件,可以包括多个,以加快下载速度;交互线程用于服务器与管理终端之间的交互,服务器可通过交互线程将下载好的文件发送给管理终端。
步骤S200,所述调度器根据所述文件归档请求控制所述下载线程下载对应的文件;
调度器在接收到服务器转发的文件归档请求时,根据该文件归档请求控制下载线程下载对应的文件。
步骤S300,所述调度器在接收到所述下载线程发送的下载完成通知时,根据预设调度规则对下载完成的文件依次进行调度,调度至所述数据空间中;
当下载线程下载完成某一文件时,会向调度器发送下载完成通知。此时,调度器在接收到下载线程发送的下载完成通知时,会根据预设调度规则对下载完成的文件依次进行调度,将下载完成的文件调度至数据空间中。在进行文件调度时,是以文件流的形式进行调度,即当下载线程下载完成某一文件时会向调度器发送下载完成通知,并将下载完成的文件以文件流的形式传输给调度器,此时调度器在接收到下载线程发送的下载完成通知时,对对应的文件流进行调度,调度至数据空间中。
为提高下载速度,通常会设置多个下载线程同时进行下载,因此当调度器接收到多个下载线程发送的下载完成通知时,可根据预设调度规则来选择调度下载线程所下载完成文件的先后顺序。具体的,步骤S300包括:
步骤S310,所述调度器在接收到所述下载线程发送的下载完成通知时,根据所述下载完成通知的接收先后顺序和/或所述下载完成的文件的大小和/或所述下载完成的文件的类型确定所述下载完成的文件的优先调度级;
步骤S320,所述调度器根据所述优先调度级对所述下载完成的文件依次进行调度,调度至所述数据空间中。
在本实施例中,调度器在接收到下载线程发送的下载完成通知时,可根据下载完成通知的接收先后顺序和/或下载完成的文件的大小和/或下载完成的文件的类型确定下载完成的文件的优先调度级;然后根据该优先调度级对下载完成的文件依次进行调度,调度至数据空间中。即该预设调度规则所依据的因素可以包括但不限于:下载完成通知的接收先后顺序、下载完成的文件的大小和类型。对应的,预设调度规则可以包括但不限于:1)根据下载完成通知的接收先后顺序,按接收先后顺序调度对应下载线程所下载完成的文件,即采用先到先服务的调度规则;2)根据下载线程所下载完成的文件的大小,按优先调度较小文件的原则进行调度;3)根据下载线程所下载完成的文件的类型,按一定的优先级顺序进行调度,例如,当文件类型包括用户基本信息文件、电子合同文件、证明文件、照片文件和视频文件时,可以按照文件的重要等级进行调度,如优先调度电子合同文件,依次调度用户基本信息文件、照片文件、证明文件和视频文件;4)根据下载完成通知的接收先后顺序、下载完成的文件的大小和类型中的其中2个或3个因素,进行加权和,计算对应的优先级分值,按优先调度优先级分值较高的原则进行调度。例如,当基于上述3个因素进行加权确定优先调度级时,可根据下载完成通知的接收先后顺序、下载完成的文件的大小和类型分别设置对应的区间,并未各区间设置对应的分值;然后根据所述下载完成通知的接收先后顺序、下载完成的文件的大小和下载完成的文件的类型各自所在的区间,分别对应所述下载完成通知的接收先后顺序、下载完成的文件的大小和下载完成的文件的类型的分值,然后再根据所述下载完成通知的接收先后顺序、下载完成的文件的大小和下载完成的文件的类型各自对应的预设权重系数计算各分值的加权和,从而得到优先级分值。
此外,为避免调度器同时调度多个文件,造成文件混乱,调度器在按照预设调度规则以文件流的形式对下载完成的文件进行调度时,会进行加锁处理,因此,步骤S320可以包括:
步骤S321,所述调度器根据所述优先调度级对所述下载完成的文件依次进行加锁调度,调度至所述数据空间中;
在本实施例中,在确定完下载完成的文件的优先调度级之后,调度器根据该优先调度级对下载完成的文件依次进行加锁处理,调度至数据空间中。在对该文件经过加锁处理后,则只有调度器可以访问调用该文件,加锁处理技术可参照现有技术,此处不作赘述。
当然,在调度完成后,为避免加锁后的文件无法被服务器访问,需对调度完成的加锁文件进行解锁处理,因此,步骤S321之后,还可以包括以下步骤:
步骤S331,所述调度器对调度完成的加锁文件进行解锁处理。
在本实施例中,在每一次调度完成后,调度器对调度完成的加锁文件进行解锁处理,以避免加锁文件无法被服务器访问。具体的,调度器在按照预设调度规则以文件流的形式对下载完成的文件进行调度时,对该下载完成的文件进行加锁处理,然后将该加锁文件发送至数据空间中之后,需对加锁文件进行开锁处理,进而调度器再继续根据确定出的调度优先级对下一下载完成的文件进行流加锁处理,以进行下一次调度。
当所述服务器检测到所述数据空间中存在文件时,执行步骤S400:通过所述交互线程将所述文件发送至对应的终端。
在本实施例中,当服务器检测到数据空间中存在文件时,可通过交互线程将该文件发送至对应的终端。此外,为节省内存空间,可在将文件发送至对应的终端之后,在数据空间中的删除该文件。
本发明实施例提供一种文件归档方法,服务器在接收到文件归档请求时,根据该文件归档请求创建对应的数据空间、调度器、下载线程和交互线程,并将该文件归档请求转发至调度器;调度器则根据该文件归档请求控制下载线程下载对应的文件,在接收到下载线程发送的下载完成通知时,会根据预设调度规则对下载完成的文件依次进行调度,将下载完成的文件调度至数据空间中;当服务器检测到数据空间中存在文件时,可通过交互线程将该文件发送至对应的终端。本发明实施例基于并行处理的方式,通过下载线程与交互线程实现文件下载和文件发送并行执行来提升响应速度,从而可节省等待时间,提升用户体验。此外,基于云存储技术对下载完成的文件进行存储,可提高存储空间的利用率。
进一步的,参照图5,图5为本发明文件归档方法第四实施例的流程示意图。
基于上述图4所示的第三实施例,在步骤S400之前,该文件归档方法还包括:
步骤S500,所述服务器检测所述文件的类型是否为媒体文件;
若不为媒体文件,则执行步骤S600:所述服务器对所述文件进行压缩,并通过所述交互线程将压缩后的文件发送至对应的终端;
若为媒体文件,则执行步骤S700:所述服务器检测所述文件的大小是否超过第一预设阈值;
若未超过第一预设阈值,则执行步骤S600:所述服务器对所述文件进行压缩,并通过所述交互线程将压缩后的文件发送至对应的终端;
若超过第一预设阈值,则执行步骤S400:通过所述交互线程将所述文件发送至对应的终端。
在本实施例中,为节省服务器资源,提高系统CPU的使用率,服务器在检测到数据空间中存在文件时,可先基于流特征识别检测该文件的类型和大小,然后根据文件的类型和大小进行对应的压缩后再发送给终端。具体的,当服务器检测到数据空间中存在文件时,可以先基于流特征检测该数据空间中的文件的类型是否为媒体文件,其中,基于流特征检测是指基于报文头来检测文件的类型。若该文件的类型不为媒体文件,则对该文件进行压缩,并通过交互线程将压缩后的文件发送至对应的终端;如果该文件为媒体文件,则进一步检测该文件的大小是否超过第一预设阈值,若该文件的大小未超过第一预设阈值,则对该文件进行压缩,并通过交互线程将压缩后的文件发送至对应的终端;若该文件的大小超过第一预设阈值,由于过大的文件压缩时会占用较大的CPU资源,此时,则不对该文件进行压缩,直接通过交互线程将该文件发送至对应的终端。当然,在具体实施例中,若该文件的大小超过第一预设阈值,还可以通过分段处理或降低其分辨率的方式对该文件进行处理后,再进行压缩,进而再将处理压缩后的文件发送至对应的终端。因此,本发明通过检测数据空间中的文件是否为媒体文件,若是,再进一步判断该媒体文件的大小是否超过第一预设阈值,若该媒体文件的大小超过第一预设阈值,则不进行压缩,以免占用较大的CPU资源,从而可提高系统CPU使用率。本实施例基于并行处理的方式,在通过下载线程与交互线程并行进行文件的下载与发送的同时,通过服务器对文件进行压缩,实现了文件下载、文件压缩和文件发送三个操作并行执行来提升响应速度,可节省等待时间,从而可提升用户体验。
进一步的,在进行批量用户的文件归档处理时,由于系统资源是有限的,分配给每个用户的数据空间的存储量也是有限的,因此在归档处理过程中,需实时监控数据空间的存储量,因此,该文件归档方法还包括:
步骤S800,所述服务器实时监测所述数据空间的当前存储量是否超过第二预设阈值;
步骤S900,若所述数据空间的当前存储量超过第二预设阈值,所述服务器则生成对应的下载暂停指令并发送至所述调度器;
步骤S1000,所述调度器在接收到所述下载暂停指令时,控制所述下载线程停止下载。
在本实施例中,服务器会实时监测数据空间的当前存储量是否超过第二预设阈值,若该数据空间的当前存储量已超过第二预设阈值,则说明该数据空间的当前存储量已快接近分配的存储量,此时,则不能继续进行下载,以防止数据空间无法进行存储,此时,服务器则生成对应的下载暂停指令并发送至调度器,调度器在接收到该下载暂停指令时,控制下载线程停止下载。当然,在下载线程停止下载后,服务器会继续监测该数据空间的存储量是否超过第二预设阈值,若监测到数据空间的存储量未超过该第二预设阈值时,可以生成对应的下载恢复指令并发送至调度器,调度器在接收到下载恢复指令时,控制下载线程恢复下载。
此外,本发明实施例还提供一种文件归档装置。
参照图6,图6为本发明文件归档装置第一实施例的功能模块示意图。
本实施例中,所述文件归档装置包括:
第一创建模块10,用于在接收到文件归档请求时,创建对应的数据空间、调度器、下载线程和交互线程;
第一转发模块20,用于将所述文件归档请求转发至所述调度器,使得所述调度器控制所述下载线程下载对应的文件,并将下载得到的文件调度至所述数据空间中;
第一发送模块30,用于当所述服务器检测到所述数据空间中存在文件时,通过所述交互线程将所述文件发送至对应的终端。
其中,上述文件归档装置的各虚拟功能模块存储于图1所示文件归档设备的存储器1005中,用于实现文件归档程序的所有功能;各模块被处理器1001执行时,可实现当接收到文件归档请求时,可通过下载线程和互动线程实现文件下载和文件发送并行处理的功能。
进一步的,所述文件归档装置还包括:
第一检测模块,用于检测所述文件的类型是否为媒体文件;
第二发送模块,用于若不为媒体文件,则对所述文件进行压缩,并通过所述交互线程将压缩后的文件发送至对应的终端;
第二检测模块,用于若为媒体文件,则检测所述文件的大小是否超过第一预设阈值;
第二发送模块,还用于若未超过第一预设阈值,则执行步骤:对所述文件进行压缩,并通过所述交互线程将压缩后的文件发送至对应的终端;
第一发送模块,还用于若超过第一预设阈值,则执行步骤:通过所述交互线程将所述文件发送至对应的终端。
其中,上述文件归档装置中各个模块的功能实现与上述文件归档方法实施例中各步骤相对应,其功能和实现过程在此处不再一一赘述。
此外,本发明实施例还提供一种文件归档装置。
参照图7,图7为本发明文件归档装置第三实施例的功能模块示意图。
本实施例中,所述文件归档装置包括:
第二创建模块100,用于服务器在接收到文件归档请求时,创建对应的数据空间、调度器、下载线程和交互线程,并将所述文件归档请求转发至所述调度器;
第一下载模块200,用于所述调度器根据所述文件归档请求控制所述下载线程下载对应的文件;
第一调度模块300,用于所述调度器在接收到所述下载线程发送的下载完成通知时,根据预设调度规则对下载完成的文件依次进行调度,调度至所述数据空间中;
第三发送模块400,用于当所述服务器检测到所述数据空间中存在文件时,通过所述交互线程将所述文件发送至对应的终端。
其中,上述文件归档装置的各虚拟功能模块存储于图4所示实施例的文件归档设备的存储器中,用于实现文件归档程序的所有功能;各模块被处理器执行时,可实现当接收到文件归档请求时,可通过下载线程和互动线程实现文件下载和文件发送并行处理的功能。
进一步的,所述第一调度模块300包括:
调度级确定单元,用于所述调度器在接收到所述下载线程发送的下载完成通知时,根据所述下载完成通知的接收先后顺序和/或所述下载完成的文件的大小和/或所述下载完成的文件的类型确定所述下载完成的文件的优先调度级;
文件调度单元,用于所述调度器根据所述优先调度级对所述下载完成的文件依次进行调度,调度至所述数据空间中;
所述文件调度单元,具体用于所述调度器根据所述优先调度级对所述下载完成的文件依次进行加锁调度,调度至所述数据空间中;
所述文件调度单元,还用于所述调度器对调度完成的加锁文件进行解锁处理。
进一步的,所述文件归档装置还包括:
第三检测模块,用于所述服务器检测所述文件的类型是否为媒体文件;
第四发送模块,用于若不为媒体文件,所述服务器对所述文件进行压缩,并通过所述交互线程将压缩后的文件发送至对应的终端;
第四检测模块,用于若为媒体文件,所述服务器检测所述文件的大小是否超过第一预设阈值;
第四发送模块,还用于若未超过第一预设阈值,则执行步骤:所述服务器对所述文件进行压缩,并通过所述交互线程将压缩后的文件发送至对应的终端;
第三发送模块,还用于若超过第一预设阈值,则执行步骤:通过所述交互线程将所述文件发送至对应的终端。
进一步的,所述文件归档装置还包括:
存储量监测模块,用于所述服务器实时监测所述数据空间的当前存储量是否超过第二预设阈值;
指令发送模块,用于若所述数据空间的当前存储量超过第二预设阈值,所述服务器则生成对应的下载暂停指令并发送至所述调度器;
下载暂停模块,用于所述调度器在接收到所述下载暂停指令时,控制所述下载线程停止下载。
其中,上述文件归档装置中各个模块的功能实现与上述文件归档方法实施例中各步骤相对应,其功能和实现过程在此处不再一一赘述。
此外,本发明实施例还提供一种计算机可读存储介质。
本发明计算机可读存储介质上存储有文件归档程序,其中所述文件归档程序被处理器执行时,实现如上述的文件归档方法的步骤。
其中,文件归档程序被执行时所实现的方法可参照本发明中文件归档方法的各个实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种文件归档方法,其特征在于,所述文件归档方法包括以下步骤:
服务器在接收到文件归档请求时,创建对应的数据空间、调度器、下载线程和交互线程;
将所述文件归档请求转发至所述调度器,使得所述调度器控制所述下载线程下载对应的文件,并将下载得到的文件调度至所述数据空间中;
当所述服务器检测到所述数据空间中存在文件时,通过所述交互线程将所述文件发送至对应的终端。
2.如权利要求1所述的文件归档方法,其特征在于,所述通过所述交互线程将所述文件发送至对应的终端的步骤之前,包括:
检测所述文件的类型是否为媒体文件;
若不为媒体文件,则对所述文件进行压缩,并通过所述交互线程将压缩后的文件发送至对应的终端;
若为媒体文件,则检测所述文件的大小是否超过第一预设阈值;
若未超过第一预设阈值,则执行步骤:对所述文件进行压缩,并通过所述交互线程将压缩后的文件发送至对应的终端;
若超过第一预设阈值,则执行步骤:通过所述交互线程将所述文件发送至对应的终端。
3.一种文件归档方法,其特征在于,所述文件归档方法包括以下步骤:
服务器在接收到文件归档请求时,创建对应的数据空间、调度器、下载线程和交互线程,并将所述文件归档请求转发至所述调度器;
所述调度器根据所述文件归档请求控制所述下载线程下载对应的文件;
所述调度器在接收到所述下载线程发送的下载完成通知时,根据预设调度规则对下载完成的文件依次进行调度,调度至所述数据空间中;
当所述服务器检测到所述数据空间中存在文件时,通过所述交互线程将所述文件发送至对应的终端。
4.如权利要求3所述的文件归档方法,其特征在于,所述调度器在接收到所述下载线程发送的下载完成通知时,根据预设调度规则对下载完成的文件依次进行调度,调度至所述数据空间中的步骤包括:
所述调度器在接收到所述下载线程发送的下载完成通知时,根据所述下载完成通知的接收先后顺序和/或所述下载完成的文件的大小和/或所述下载完成的文件的类型确定所述下载完成的文件的优先调度级;
所述调度器根据所述优先调度级对所述下载完成的文件依次进行调度,调度至所述数据空间中。
5.如权利要求4所述的文件归档方法,其特征在于,所述调度器根据所述优先调度级对所述下载完成的文件依次进行调度,调度至所述数据空间中的步骤包括:
所述调度器根据所述优先调度级对所述下载完成的文件依次进行加锁调度,调度至所述数据空间中;
所述调度器根据所述优先调度级对所述下载完成的文件依次进行加锁调度,调度至所述数据空间中的步骤之后,还包括:
所述调度器对调度完成的加锁文件进行解锁处理。
6.如权利要求3所述的文件归档方法,其特征在于,所述通过所述交互线程将所述文件发送至对应的终端的步骤之前,包括:
所述服务器检测所述文件的类型是否为媒体文件;
若不为媒体文件,所述服务器对所述文件进行压缩,并通过所述交互线程将压缩后的文件发送至对应的终端;
若为媒体文件,所述服务器检测所述文件的大小是否超过第一预设阈值;
若未超过第一预设阈值,则执行步骤:所述服务器对所述文件进行压缩,并通过所述交互线程将压缩后的文件发送至对应的终端;
若超过第一预设阈值,则执行步骤:通过所述交互线程将所述文件发送至对应的终端。
7.如权利要求3所述的文件归档方法,其特征在于,所述文件归档方法还包括:
所述服务器实时监测所述数据空间的当前存储量是否超过第二预设阈值;
若所述数据空间的当前存储量超过第二预设阈值,所述服务器则生成对应的下载暂停指令并发送至所述调度器;
所述调度器在接收到所述下载暂停指令时,控制所述下载线程停止下载。
8.一种文件归档设备,其特征在于,所述文件归档设备包括存储器、处理器以及存储在所述存储器上并可被所述处理器执行的文件归档程序,其中所述文件归档程序被所述处理器执行时,实现如权利要求1至2中任一项所述的文件归档方法的步骤。
9.一种文件归档设备,其特征在于,所述文件归档设备包括存储器、处理器以及存储在所述存储器上并可被所述处理器执行的文件归档程序,其中所述文件归档程序被所述处理器执行时,实现如权利要求3至7中任一项所述的文件归档方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有文件归档程序,其中所述文件归档程序被处理器执行时,实现如权利要求1至2或3至7中任一项所述的文件归档方法的步骤。
CN201811053356.6A 2018-09-07 2018-09-07 文件归档方法、设备及计算机可读存储介质 Active CN109684274B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811053356.6A CN109684274B (zh) 2018-09-07 2018-09-07 文件归档方法、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811053356.6A CN109684274B (zh) 2018-09-07 2018-09-07 文件归档方法、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN109684274A true CN109684274A (zh) 2019-04-26
CN109684274B CN109684274B (zh) 2023-04-18

Family

ID=66185703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811053356.6A Active CN109684274B (zh) 2018-09-07 2018-09-07 文件归档方法、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109684274B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287148A (zh) * 2019-07-01 2019-09-27 中原银行股份有限公司 一种数据交互方法及装置
CN111178836A (zh) * 2019-12-25 2020-05-19 远光软件股份有限公司 电子单据的批量归档方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104184817A (zh) * 2014-08-28 2014-12-03 广州金山网络科技有限公司 一种下载优化方法及装置、终端
CN106302751A (zh) * 2016-08-17 2017-01-04 中国联合网络通信集团有限公司 电子档案的归档方法、接口服务器和归档系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104184817A (zh) * 2014-08-28 2014-12-03 广州金山网络科技有限公司 一种下载优化方法及装置、终端
CN106302751A (zh) * 2016-08-17 2017-01-04 中国联合网络通信集团有限公司 电子档案的归档方法、接口服务器和归档系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287148A (zh) * 2019-07-01 2019-09-27 中原银行股份有限公司 一种数据交互方法及装置
CN110287148B (zh) * 2019-07-01 2021-10-29 中原银行股份有限公司 一种数据交互方法及装置
CN111178836A (zh) * 2019-12-25 2020-05-19 远光软件股份有限公司 电子单据的批量归档方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN109684274B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
US11568338B2 (en) Task map providing apparatus and method thereof
US8595735B2 (en) Holistic task scheduling for distributed computing
CN100499462C (zh) 不同应用系统间数据交换的统一处理系统及方法
CN110351342A (zh) 业务指令处理方法、装置、计算机设备和存储介质
US20030156142A1 (en) Information processing apparatus for project management and its computer software
CN102223363B (zh) 在管理通信会话的图形界面中生成持续会话的系统和方法
CN109582466A (zh) 一种定时任务执行方法、分布式服务器集群及电子设备
CN111338791A (zh) 集群队列资源的调度方法、装置、设备及存储介质
US11720515B2 (en) Article, device, and techniques for serverless stack for streaming message processing
CN109656698A (zh) 任务处理方法、管理平台、执行端及计算机可读存储介质
CN110704095A (zh) 基于工作流的配置处理方法、装置、计算机设备和存储介质
CN109684274A (zh) 文件归档方法、设备及计算机可读存储介质
CN109325034A (zh) 数据处理方法、装置、计算机设备及存储介质
CN114357029A (zh) 业务数据的处理方法、装置、设备、介质及程序产品
CN104794000B (zh) 一种作业调度方法及系统
KR20140013892A (ko) 복수의 정보 시스템에서의 출력 비교 방법
CN114979125B (zh) 文件快速上传网盘方法、装置、终端及存储介质
CN110235158B (zh) 日历上的经分类的时间指定
CN106302125A (zh) 一种对请求信息进行响应的方法、装置及系统
CN107077490B (zh) 数据查询作业提交管理
CN110516922B (zh) 分配数据处理对象的方法及装置
CN111091262A (zh) 配送资源召回方法、装置、服务器及存储介质
CN114707954B (zh) 企业智慧平台的信息管理方法及系统
US10803136B2 (en) Apparatus and method enablement of customer information control systems on a mainframe computer
CN116702225A (zh) 基于哈希并行计算快速验证电子档案文件的方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant