CN113411393A - 文件推送方法及装置 - Google Patents

文件推送方法及装置 Download PDF

Info

Publication number
CN113411393A
CN113411393A CN202110670569.9A CN202110670569A CN113411393A CN 113411393 A CN113411393 A CN 113411393A CN 202110670569 A CN202110670569 A CN 202110670569A CN 113411393 A CN113411393 A CN 113411393A
Authority
CN
China
Prior art keywords
file
pushing
priority
files
pushed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110670569.9A
Other languages
English (en)
Inventor
沈聪
嵇海锋
杨旭
刘泱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202110670569.9A priority Critical patent/CN113411393A/zh
Publication of CN113411393A publication Critical patent/CN113411393A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/11File system administration, e.g. details of archiving or snapshots
    • G06F16/116Details of conversion of file system types or formats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/164File meta data generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/55Push-based network services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种文件推送方法及装置,涉及分布式技术领域,方法包括:按预设的分片规则对待推送文件进行分片处理生成分片文件;按预设的优先级规则确定待推送文件的优先级;根据确定的优先级并发推送所述待推送文件的分片文件以实现文件推送。本发明按预设的分片规则和优先级并发推送待推送文件的分片文件以实现文件推送。克服了现有技术中,由于单个压缩包文件较大,一旦出现推送失败就需要整个重新推送,浪费系统的推送资源和宽带资源的问题。

Description

文件推送方法及装置
技术领域
本发明涉及分布式计算技术领域,具体的讲是一种文件推送方法及装置。
背景技术
在现有技术的银企直连系统中,银行需要每日向企业ERP系统推送每日对账单文件、电子回单文件、明细文件等多种不同用途的文件。
现有技术中,银行与企业之间传输文件有2种途径:一种由文件提供方(即银行)提供一个SFTP服务器地址和目录,并设定好权限,由企业客户端自行连接SFTP下载文件。另一种,企业在与银行签订协议时确定好企业侧的SFTP服务器地址、目录和用户密码,由银行文件服务器完成文件推送/上载(upload)到企业的SFTP服务器,然后企业ERP系统可以直接读取服务器本地文件并进行后续的对账等处理。银行与企业之间进行文件推送存在如下问题:
1、出现较多推送失败需要重新推送的场景。由于较多企业处于安全考虑对接银行的网络是向网络服务提供商申请了有限带宽的专线处理日常交易的,专线带宽较小一般为1Mb/s~4Mb/s的速率。并且由于企业日常交易较多,遇到联机交易高峰期就容器出现批量推送的文件网络拥堵的情况,一旦出现拥堵,在一定时间后,银行侧推送系统就认为推送失败。
2、推送的文件一般为根据单个集团ID,对其涉及的所有文件进行打包并一起推送。根据企业交易量的大小,企业日常对账单、电子回单文件在几百到十几万个之间。即使按固定文件个数,如单个zip包100个文件打包后,单个压缩包文件也在几十兆左右,一旦出现推送失败就需要整个重新推送,较为浪费系统的推送资源和宽带资源。
3、与银行对接的企业的网络环境,企业的SFTP服务器环境各不相同,某些即使网络不拥堵,也会出现因SFTP服务器短暂不可用造成的推送失败。推送失败后的重复推送也造成了相当一部分银行推送系统资源浪费。
发明内容
针对现有技术的缺陷,本发明提供了一种文件推送方法,包括:
按预设的分片规则对待推送文件进行分片处理生成分片文件;
按预设的优先级规则确定待推送文件的优先级;
根据确定的优先级并发推送所述待推送文件的分片文件以实现文件推送。
本发明实施例中,所述的按预设的分片规则对待推送文件进行分片处理生成分片文件包括:
按预设的文件类型、文件用途和/或文件用户分类对待推送文件进行分类;
按预设的分片文件大小对分类后的待推送文件进行分片处理生成分片文件。
本发明实施例中,所述的预设的优先级规则包括:预设的用户分类优先级、用户网络优先级、文件用途优先级、文件类型优先级及优先级调整规则。
本发明实施例中,所述的方法还包括:
对生成的分片文件进行哈希处理生成分片文件的哈希映射表。
本发明实施例中,所述的根据确定的优先级并发推送所述的分片文件以实现文件推送包括:
根据确定的优先级并发推送所述待推送文件的分片文件及其对应的哈希映射表。
同时,本发明还提供一种文件推送装置,包括:
分片模块,用于按预设的分片规则对待推送文件进行分片处理生成分片文件;
优先级确定模块,用于按预设的优先级规则确定待推送文件的优先级;
推送模块,用于根据确定的优先级推送所述待推送文件的分片文件以实现文件推送。
本发明实施例中,所述的分片模块包括:
分类单元,用于按预设的文件类型、文件用途和/或文件用户分类对待推送文件进行分类;
分片单元,用于按预设的分片文件大小对分类后的待推送文件进行分片处理生成分片文件。
本发明实施例中,所述的装置还包括:
哈希处理模块,用于对生成的分片文件进行哈希处理生成分片文件的哈希映射表。
本发明实施例中,所述的推送模块根据确定的优先级推送所述的分片文件以实现文件推送包括:
根据确定的优先级推送所述待推送文件的分片文件及其对应的哈希映射表。
同时,本发明还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述方法。
同时,本发明还提供一种计算机可读存储介质,计算机可读存储介质存储有执行上述方法的计算机程序。
本发明按预设的分片规则对待推送文件进行分片处理生成分片文件,按预设的优先级规则确定待推送文件的优先级,根据确定的优先级并发推送待推送文件的分片文件,以实现文件推送通过并行发送的方式提升了整体文件推送时效,并且通过文件分片的哈希值计算与校验,保证了传输文件的完整性和有效性。并实现通过动态调整文件发送优先级,和并发推送任务数量,一方面能最大程度利用网络带宽,另一方面能尽可能现有技术中降低因网络延迟、用户FTP服务器异常引起的文件推送系统后台推送资源浪费。
为让本发明的上述和其他目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附图式,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的文件推送方法的流程图;
图2为本发明提供的文件推送装置的框图;
图3为本发明实施例提供的文件推送装置的框图;
图4为本发明实施例中的示意图;
图5为本发明实施例中的示意图;
图6为本发明实施例提供的电子设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供了一种文件推送方法,如图1所示,其包括:
步骤S101,按预设的分片规则对待推送文件进行分片处理生成分片文件;
步骤S102,按预设的优先级规则确定待推送文件的优先级;
步骤S103,根据确定的优先级并发推送所述待推送文件的分片文件以实现文件推送。
本发明提供的文件推送方法,按预设的分片规则对待推送文件进行分片处理生成分片文件,并按预设的优先级规则确定待推送文件的优先级并发推送所述待推送文件的分片文件以实现文件推送。克服了现有技术中,由于单个压缩包文件较大,一旦出现推送失败就需要整个重新推送,浪费系统的推送资源和宽带资源,并且按预设的优先级规则确定待推送文件的优先级并发推送分片文件,通过并行发送的方式减少文件推送的整体耗时,提高文件推送效率。本发明客服了现有文件推送系统中的不足,提供了一种实现简单,维护成本低,运行高效的文件推送方法。
本发明实施例中,所述的按预设的分片规则对待推送文件进行分片处理生成分片文件包括:
按预设的文件类型、文件用途和/或文件用户分类对待推送文件进行分类;
按预设的分片文件大小对分类后的待推送文件进行分片处理生成分片文件。
具体的,本发明实施例中,按照文件类型、文件用途、用户分类文件,形成分类文件;具体的,一实施例中,形成的分类文件包括:
{[txt,对账单,集团A],[bin,对账单,集团A],[bin,回单,集团A],[bin,回单,集团B]......[zip,明细,集团Z]}。
本发明实施例中,对文件分类后,每个分类下会包含某个集团下特定文件类型和特定用途的一批文件,对这一批文件打包压缩并按照预设的固定大小分割,本发明一实施例中,预设每个分片100kB对分类后的待推送文件进行分片,并对分片文件进行重命名,例如对分片文件进行编号命名。
具体的,本发明一实施例中,将分片文件命名为:
“txt-对账单-集团A.zip.001”,“txt-对账单-集团A.zip.002”,......,“txt-对账单-集团A.zip.n”的分片文件。
本发明实施例中,所述的预设的优先级规则包括:预设的用户分类优先级、用户网络优先级、文件用途优先级、文件类型优先级及优先级调整规则。
具体的,预设的优先级规则包括:预设的用户分类优先级、用户网络优先级、文件用途优先级、文件类型优先级,即预先设定的不同的用户分类优先级、用户网络优先级、文件用途优先级、文件类型优先级,例如:
1、用户分类:重点VIP用户优先推送;
2、用户网络情况:使用专线+大带宽的用户优先推送,专线+小带宽的用户次之,使用互联网的用户优先级较低;
3、按文件用途:实时性要求高的文件优先推送,时效不敏感的文件优先级较低。优先级可以按照实际业务系统的功能预先确定。
另外,本发明实施例中,预设的优先级调整规则包括:在推送过程中对文件推送优先级进行动态调整;具体的,比如用户A的回单文件一直推送失败,则有可能接收该文件的服务器存在可用性问题,则每重复推送一次就将该文件的优先级级别降1,后续定时重复推送时该文件将放在后面推送。
本发明提供的文件推送方法,通过动态调整文件发送优先级一方面能最大程度利用网络带宽,另一方面能尽可能降低因网络延迟、用户FTP服务器异常引起的文件推送系统后台推送资源浪费。
本发明实施例中,所述的方法还包括:
对生成的分片文件进行哈希处理生成分片文件的哈希映射表。
即当某一分类下的所有分片都成功推送至用户服务器后,将发送推送完成的命令到用户,生成分片文件的哈希映射表,即建立的key=文件名,value=哈希值的映射表记录。
若该文件分类下共有100个分片文件,则会将总计100条映射表记录发送到用户终端,用户终端需要计算每个分片的SHA1哈希值,并与用户服务器命令消息中的哈希值作比对,如果比对一致则表示文件分片传输正常,否则分片文件数据传输异常需要重新传输。所有分片文件的哈希值都校验通过后,通过unzip命令可以将100个分片解压缩成实际文件供后续处理。
本发明通过并行发送的方式提升了整体文件推送时效,并且通过文件分片的哈希值计算与校验,保证了传输文件的完整性和有效性。
同时,如图2所示,本发明还提供一种文件推送装置,包括:
分片模块201,用于按预设的分片规则对待推送文件进行分片处理生成分片文件;
优先级确定模块202,用于按预设的优先级规则确定待推送文件的优先级;
推送模块203,用于根据确定的优先级推送所述待推送文件的分片文件以实现文件推送。
本发明实施例中,所述的分片模块201包括:
分类单元,用于按预设的文件类型、文件用途和/或文件用户分类对待推送文件进行分类;
分片单元,用于按预设的分片文件大小对分类后的待推送文件进行分片处理生成分片文件。
进一步,如图3所示,本发明实施例中,所述的推送装置还包括:
哈希处理模块204,用于对生成的分片文件进行哈希处理生成分片文件的哈希映射表。
本发明客服了现有文件推送系统中的不足,提供了一种实现简单,维护成本低,运行高效的文件推送方法。如图4所示,为银行的文件推送服务器向企业文件服务器推送文件的示意图。
针对大批量文件推送,本发明实施例中,文件提供方应用服务系统需要将大批量的文件在分拣后分别发送到多个预先配置的目标服务器,并且为存在因网络拥堵、目标服务器可用性低、配置错误等多种原因导致的推送失败情况,通过预先设置的优先调整规则动态配置文件发送的优先级对于这类情况需要重复发送以保证最终成功。
具体的,本发明实施例提供的文件推送具体包括:
文件分拣和压缩分片:
本发明实施例依次按照文件类型、文件用途、用户分类文件,形成分类文件;本实施例中,形成的分类文件包括:
{[txt,对账单,集团A],[bin,对账单,集团A],[bin,回单,集团A],[bin,回单,集团B]......[zip,明细,集团Z]}。
本实施例中,每个分类下会包含某个集团下特定文件类型和特定用途的一批文件,对这一批文件打包压缩并按照预设的固定大小分割(如每个分片100kB),并对分片文件进行重命名,例如对分片文件进行编号命名。
具体的本发明一实施例中,将分片文件命名为:
“txt-对账单-集团A.zip.001”,“txt-对账单-集团A.zip.002”,......,“txt-对账单-集团A.zip.{n}”的分片文件。
分片文件使用SHA1算法计算哈希值,所有分类下每个分片经过计算后,最终建立全局的key=文件名,value=哈希值的映射表数据结构,该映射表数据结构记录作为推送的明细记录持久化到数据库。
如图5所示,为本发明一实施例中提供的文件分片及建立映射表的示意图。
文件推送优先级确定:
按预设的优先级,从多种不同纬度来确定文件推送的优先级。包括:按用户分类、用户网络情况及文件用途进行优先级设定。具体的1、用户分类:重点VIP用户优先推送;
2、用户网络情况:使用专线+大带宽的用户优先推送,专线+小带宽的用户次之,使用互联网的用户优先级较低;
3、按文件用途:实时性要求高的文件优先推送,时效不敏感的文件优先级较低。优先级可以按照实际业务系统的功能预先确定,并维护至文件推送优先级定义表。
如下表1、表2所示,为本实施例中提供的预设的优先级表格。
表1
Figure BDA0003118554510000071
表2
Figure BDA0003118554510000072
本实施例中,每个分类中的文件按照上面的定义表确定最终的优先级,如用户A的对账单CSV文件,优先级=5+3+3+2=13。将所有分类的文件根据预设的优先级计算出优先级并按照从高到低排序后即可得到文件发送初始优先级。
文件推送优先级的动态调整:
本实施例中,文件推送优先级在推送过程中需要动态调整,比如用户A的回单文件一直推送失败,则有可能接收该文件的服务器存在可用性问题,则每重复推送一次就将优先级级别降1,后续定时重复推送时该文件将放在后面推送。
顺序和并发的推送机制:
为提高文件推送效率,可以通过并行发送的方式减少文件推送的整体耗时,假设文件推送服务器用于推送的后台线程有100个,即可以同时执行100个推送任务。
用户A和用户B用户存放不同类别文件的FTP服务器地址分别有2个和3个,每个FTP服务器可以支持10个连接用于数据传输,则实际可以同时进行50个文件分片的发送。
实际上由于用户梳理和用户服务器数量必定远大于文件推送系统的线程数量,因此实际并行执行的发送任务可以占满所有推送线程,由此,根据实际情况,可以通过扩大推送服务器线程数量,或者增加推送服务器数量来提高文件发送的吞吐量,进一步缩短推送耗时。
另外由于某个单一文件用户的网络带宽是有限的,且需要预留一定的带宽用于日常联机交易,所以本发明实施例中,针对单一用户,预先设置用户的并发推送任务限制在5个以下,防止带宽的拥堵造成联机交易阻塞。最小可以将文件推送任务限制为1,则实际为分片的顺序推送。
并发任务的动态调整:
本发明实施例中,通过部署流量监控工具,动态监测用户带宽占用情况、单一用户的整体发送速率,在带宽占用未到80%情况下,尝试提升并发数可以最大程度利用带宽。
分片文件的还原:
当某一分类下的所有分片都成功推送至用户服务器后,文件推送服务器将发送推送完成的命令到用户,(例如用户的ERP系统),命令格式为前述的建立的key=文件名,value=哈希值的映射表记录,若该文件分类下共有100个分片文件,则会将总计100条映射表记录发送到企业ERP系统。ERP系统需要计算每个分片的SHA1哈希值,并与命令消息中的哈希值作比对,如果比对一致则表示文件分片传输正常,否则分片文件数据传输异常需要重新传输。所有分片文件的哈希值都校验通过后,通过unzip命令可以将100个分片解压缩成实际文件供ERP系统后续处理。
异常分片的重新传输:
1、分片推送在传输过程中因异常原因中断失败:
文件推送服务器定频扫描数据库中的文件分片映射表记录,比对发送状态(发送失败),上一次发送时间超过预设时间(如10分钟)或当前分片推送优先级(存在多条失败待重发记录时按优先级由高到低顺序发送),来确定是否重新推送当前文件分片。
2、分片推送完成但用户ERP系统校验文件分片哈希值失败:
银行提供文件下载接口供企业用户ERP系统调用,接口的主要参数为文件类型(必输),日期(必输),分片文件名(选输)。
银行侧银企互联系统接收该请求后,判断如果分片文件名为空,则将重发整个文件,实际为将文件分片映射表记录中某一分类下的所有分片发送记录置为失败,则文件推送服务器进行重发;如果分片文件名非空,则仅重发该分片文件,实际为将文件分片映射表中该分片记录置为失败,文件推送服务器完成重发。
1、本发明通过并行发送的方式提升了整体文件推送时效,并且通过文件分片的哈希值计算与校验,保证了传输文件的完整性和有效性。
2、通过动态调整文件发送优先级,和并发推送任务数量,一方面能最大程度利用网络带宽,另一方面能尽可能降低因网络延迟、用户FTP服务器异常引起的文件推送系统后台推送资源浪费。
需要说明的是,本公开的文件推送方法和装置涉及分布式技术领域,可用于金融领域在用户账单及其它文件的推送,也可用于除金融领域之外的任意领域的文件的推送,本公开文件推送方法和装置的应用领域不做限定。
同时,本发明实施例还提供一种电子设备,该电子设备可以是台式计算机、平板电脑及移动终端等,本实施例不限于此。在本实施例中,该电子设备可以参照前述方法及装置的实施例,其内容被合并于此,重复之处不再赘述。
图6为本发明实施例的电子设备600的系统构成的示意框图。如图6所示,该电子设备600可以包括中央处理器100和存储器140;存储器140耦合到中央处理器100。值得注意的是,该图是示例性的;还可以使用其他类型的结构,来补充或代替该结构,以实现电信功能或其他功能。
一实施例中,文件推送功能可以被集成到中央处理器100中。其中,中央处理器100可以被配置为进行如下控制:
按预设的分片规则对待推送文件进行分片处理生成分片文件;
按预设的优先级规则确定待推送文件的优先级;
根据确定的优先级并发推送所述待推送文件的分片文件以实现文件推送。
在另一个实施方式中,文件推送装置可以与中央处理器100分开配置,例如可以将文件推送装置配置为与中央处理器100连接的芯片,通过中央处理器的控制来实现文件推送功能。
如图6所示,该电子设备600还可以包括:通信模块110、输入单元120、音频处理单元130、显示器160、电源170。值得注意的是,电子设备600也并不是必须要包括图6中所示的所有部件;此外,电子设备600还可以包括图6中没有示出的部件,可以参考现有技术。
如图6所示,中央处理器100有时也称为控制器或操作控件,可以包括微处理器或其他处理器装置和/或逻辑装置,该中央处理器100接收输入并控制电子设备600的各个部件的操作。
其中,存储器140,例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息,此外还可存储执行有关信息的程序。并且中央处理器100可执行该存储器140存储的该程序,以实现信息存储或处理等。
输入单元120向中央处理器100提供输入。该输入单元120例如为按键或触摸输入装置。电源170用于向电子设备600提供电力。显示器160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器,但并不限于此。
该存储器140可以是固态存储器,例如,只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器,其即使在断电时也保存信息,可被选择性地擦除且设有更多数据,该存储器的示例有时被称为EPROM等。存储器140还可以是某种其它类型的装置。存储器140包括缓冲存储器141(有时被称为缓冲器)。存储器140可以包括应用/功能存储部142,该应用/功能存储部142用于存储应用程序和功能程序或用于通过中央处理器100执行电子设备600的操作的流程。
存储器140还可以包括数据存储部143,该数据存储部143用于存储数据,例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器140的驱动程序存储部144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块110即为经由天线111发送和接收信号的发送机/接收机110。通信模块(发送机/接收机)110耦合到中央处理器100,以提供输入信号和接收输出信号,这可以和常规移动通信终端的情况相同。
基于不同的通信技术,在同一电子设备中,可以设置有多个通信模块110,如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)110还经由音频处理器130耦合到扬声器131和麦克风132,以经由扬声器131提供音频输出,并接收来自麦克风132的音频输入,从而实现通常的电信功能。音频处理器130可以包括任何合适的缓冲器、解码器、放大器等。另外,音频处理器130还耦合到中央处理器100,从而使得可以通过麦克风132能够在本机上录音,且使得可以通过扬声器131来播放本机上存储的声音。
本发明实施例还提供一种计算机可读程序,其中当在电子设备中执行所述程序时,所述程序使得计算机在所述电子设备中执行如上面实施例所述的文件推送方法。
本发明实施例还提供一种存储有计算机可读程序的存储介质,其中所述计算机可读程序使得计算机在电子设备中执行上面实施例所述的文件推送。
以上参照附图描述了本发明的优选实施方式。这些实施方式的许多特征和优点根据该详细的说明书是清楚的,因此所附权利要求旨在覆盖这些实施方式的落入其真实精神和范围内的所有这些特征和优点。此外,由于本领域的技术人员容易想到很多修改和改变,因此不是要将本发明的实施方式限于所例示和描述的精确结构和操作,而是可以涵盖落入其范围内的所有合适修改和等同物。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种文件推送方法,其特征在于,所述的方法包括:
按预设的分片规则对待推送文件进行分片处理生成分片文件;
按预设的优先级规则确定待推送文件的优先级;
根据确定的优先级并发推送所述待推送文件的分片文件以实现文件推送。
2.如权利要求1所述的文件推送方法,其特征在于,所述的按预设的分片规则对待推送文件进行分片处理生成分片文件包括:
按预设的文件类型、文件用途和/或文件用户分类对待推送文件进行分类;
按预设的分片文件大小对分类后的待推送文件进行分片处理生成分片文件。
3.如权利要求1所述的文件推送方法,其特征在于,所述的预设的优先级规则包括:预设的用户分类优先级、用户网络优先级、文件用途优先级、文件类型优先级及优先级调整规则。
4.如权利要求1所述的文件推送方法,其特征在于,所述的方法还包括:
对生成的分片文件进行哈希处理生成分片文件的哈希映射表。
5.如权利要求4所述的文件推送方法,其特征在于,所述的根据确定的优先级并发推送所述的分片文件以实现文件推送包括:
根据确定的优先级并发推送所述待推送文件的分片文件及其对应的哈希映射表。
6.一种文件推送装置,其特征在于,所述的装置包括:
分片模块,用于按预设的分片规则对待推送文件进行分片处理生成分片文件;
优先级确定模块,用于按预设的优先级规则确定待推送文件的优先级;
推送模块,用于根据确定的优先级并发推送所述待推送文件的分片文件以实现文件推送。
7.如权利要求6所述的文件推送装置,其特征在于,所述的分片模块包括:
分类单元,用于按预设的文件类型、文件用途和/或文件用户分类对待推送文件进行分类;
分片单元,用于按预设的分片文件大小对分类后的待推送文件进行分片处理生成分片文件。
8.如权利要求6所述的文件推送装置,其特征在于,所述的装置还包括:
哈希处理模块,用于对生成的分片文件进行哈希处理生成分片文件的哈希映射表。
9.如权利要求6所述的文件推送装置,其特征在于,所述的预设的优先级规则包括:预设的用户分类优先级、用户网络优先级、文件用途优先级、文件类型优先级及优先级调整规则。
10.如权利要求8所述的文件推送装置,其特征在于,所述的推送模块根据确定的优先级推送所述的分片文件以实现文件推送包括:
根据确定的优先级并发推送所述待推送文件的分片文件及其对应的哈希映射表。
11.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5任一项所述方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有执行权利要求1至5任一项所述方法的计算机程序。
CN202110670569.9A 2021-06-17 2021-06-17 文件推送方法及装置 Pending CN113411393A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110670569.9A CN113411393A (zh) 2021-06-17 2021-06-17 文件推送方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110670569.9A CN113411393A (zh) 2021-06-17 2021-06-17 文件推送方法及装置

Publications (1)

Publication Number Publication Date
CN113411393A true CN113411393A (zh) 2021-09-17

Family

ID=77684612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110670569.9A Pending CN113411393A (zh) 2021-06-17 2021-06-17 文件推送方法及装置

Country Status (1)

Country Link
CN (1) CN113411393A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004185188A (ja) * 2002-12-02 2004-07-02 Fit:Kk データの転送処理方法及びシステム並びにデータ転送処理用プログラム
US20120185448A1 (en) * 2011-01-14 2012-07-19 Mensch James L Content based file chunking
CN102611760A (zh) * 2012-04-16 2012-07-25 苏州阔地网络科技有限公司 一种文件的传输方法及系统
US20170019458A1 (en) * 2015-07-17 2017-01-19 Bio-Rad Laboratories, Inc. Network transfer of large files in unstable network environments
CN106375483A (zh) * 2016-11-09 2017-02-01 腾讯科技(深圳)有限公司 文件传输方法和装置
CN106790633A (zh) * 2017-01-03 2017-05-31 北京电子工程总体研究所 一种基于优先级动态调整的远程多文件传输方法
CN111049884A (zh) * 2019-11-18 2020-04-21 武汉方始科技有限公司 一种分布式大文件存储系统及文件上传和下载方法
CN111414334A (zh) * 2020-02-21 2020-07-14 平安科技(深圳)有限公司 基于云技术的文件分片上传方法、装置、设备及存储介质
CN111586094A (zh) * 2020-03-26 2020-08-25 平安养老保险股份有限公司 一种文件上传方法、装置及计算机设备
CN112699081A (zh) * 2020-10-23 2021-04-23 中国工商银行股份有限公司 基于区块链的文件自证方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004185188A (ja) * 2002-12-02 2004-07-02 Fit:Kk データの転送処理方法及びシステム並びにデータ転送処理用プログラム
US20120185448A1 (en) * 2011-01-14 2012-07-19 Mensch James L Content based file chunking
CN102611760A (zh) * 2012-04-16 2012-07-25 苏州阔地网络科技有限公司 一种文件的传输方法及系统
US20170019458A1 (en) * 2015-07-17 2017-01-19 Bio-Rad Laboratories, Inc. Network transfer of large files in unstable network environments
CN106375483A (zh) * 2016-11-09 2017-02-01 腾讯科技(深圳)有限公司 文件传输方法和装置
CN106790633A (zh) * 2017-01-03 2017-05-31 北京电子工程总体研究所 一种基于优先级动态调整的远程多文件传输方法
CN111049884A (zh) * 2019-11-18 2020-04-21 武汉方始科技有限公司 一种分布式大文件存储系统及文件上传和下载方法
CN111414334A (zh) * 2020-02-21 2020-07-14 平安科技(深圳)有限公司 基于云技术的文件分片上传方法、装置、设备及存储介质
CN111586094A (zh) * 2020-03-26 2020-08-25 平安养老保险股份有限公司 一种文件上传方法、装置及计算机设备
CN112699081A (zh) * 2020-10-23 2021-04-23 中国工商银行股份有限公司 基于区块链的文件自证方法及装置

Similar Documents

Publication Publication Date Title
US10659383B2 (en) System and method for latency-based queuing
CN110162382B (zh) 基于容器的灰度发布方法、装置、计算机设备及存储介质
CN110392094B (zh) 一种获取业务数据的方法及融合cdn系统
CN110738497B (zh) 一种数据处理方法、装置、节点设备及存储介质
US10200295B1 (en) Client selection in a distributed strict queue
US20200125391A1 (en) Apparatus and method for batch processing for blockchain transactions
CN113535648A (zh) 一种基于ipfs的分布式云存储方法、设备及存储介质
US9591101B2 (en) Message batching in a distributed strict queue
US7395314B2 (en) Systems and methods for governing the performance of high volume electronic mail delivery
CN110502364A (zh) 一种OpenStack平台下大数据沙箱集群的跨云备份恢复方法
CN110764881A (zh) 分布式系统后台重试方法及装置
EP3582116A1 (en) Webpage loading method, webpage loading system, and server
US11422871B1 (en) Event archiving and replay
CN113411404A (zh) 一种文件下载方法、装置、服务器及存储介质
CN111510493B (zh) 分布式数据传输方法及装置
CN112767151A (zh) 应用于区块链中验证节点的交易处理方法和装置
CN114553863B (zh) 文件传输方法及装置、存储介质和电子设备
CN115718868A (zh) 模型训练方法、装置及系统
CN112783853A (zh) 基于区块链的作业处理方法、装置及系统
CN109842497B (zh) Dns服务器的配置更新的方法及装置、终端设备和配置更新系统
CN116069493A (zh) 一种数据处理方法、装置、设备以及可读存储介质
CN113411393A (zh) 文件推送方法及装置
CN109343880B (zh) 一种rn包更新方法、装置及可读存储介质
CN111818179A (zh) 用户请求的处理方法、装置、计算设备和介质
US20190236331A1 (en) Method, apparatus, and storage medium for data verification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210917

RJ01 Rejection of invention patent application after publication