CN110677497A - 一种网络介质分发方法及装置 - Google Patents
一种网络介质分发方法及装置 Download PDFInfo
- Publication number
- CN110677497A CN110677497A CN201911011185.5A CN201911011185A CN110677497A CN 110677497 A CN110677497 A CN 110677497A CN 201911011185 A CN201911011185 A CN 201911011185A CN 110677497 A CN110677497 A CN 110677497A
- Authority
- CN
- China
- Prior art keywords
- medium
- distribution
- distributed
- file
- files
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明提供了一种网络介质分发方法及装置,网络介质分发方法包括:根据用户的介质分发请求确定待分发介质所要分发的网络节点、分发优先级、所述待分发介质的大小、所述待分发介质的指纹数据以及所述待分发介质的切片预设大小;根据所述切片预设大小对所述待分发介质进行切片,并对生成的片文件进行编号;对由分发代理节点所发送的片文件进行合片,并将生成的合片文件发送至所述网络节点中。本发明可以提供一种安全、高效、可监控、可识别分发异常节点的网络介质分发方法。
Description
技术领域
本发明涉及互联网介质传输技术领域,特别是涉及一种网络介质分发方法及装置。
背景技术
随着现代互联网技术的迅猛发展,各行业都在利用互联网技术提供更加便利、更加丰富、高效的服务。作为互联网传输最基本的载体-文件(介质),其安全、高效的传输、分发成互联网技术应用中需要面对的最基本、最重要的焦点。文件(介质)做为企业内部系统之间以及企业与外部客户之间进行信息交换的载体,无时无刻都在企业的IT信息系统中进行传递。而且随着企业业务系统的不断增多,这种传输的复杂度、规模也在不断增大。在全球化商业布局的今天,大型企业分布式集群环境下参与介质分发的服务器多达几千台,每日的介质分发总量能够多达几百G,因此对文件(介质)的传输、分发的安全、高效及可控性管理都提出了极高的要求。传统的文件传输思维及工具已经无法适应日益庞大、复杂的企业级应用需求。
传统文件传输方式通常体现在集中式的资源管理和不确定用户的下载,以及局域网内集中式管理资源及点对点的小体量介质传输。目前在互联网上大型介质集群内的传输、分发尚处于待填补的空缺,针对这种互联网上大型介质分发、传输存在的安全问题、效率问题、分发过程不可管控、分发不可配置的空缺提出此方法。
发明内容
针对现有技术中的问题,本发明提供的方法克服了互联网上传统介质传输不安全、巨型介质传输效率低、不可主动监控传输及分发过程、巨型介质传输失败需整体重传的问题。提供一种安全、高效、可监控、可识别分发异常节点、以及对异常节点进行重新补发的网络介质分发方法。
为解决上述技术问题,本发明提供以下技术方案:
第一方面,本发明提供一种网络介质分发方法,包括:
根据用户的介质分发请求确定待分发介质所要分发的网络节点、分发优先级、所述待分发介质的大小、所述待分发介质的指纹数据以及所述待分发介质的切片预设大小;
根据所述切片预设大小对所述待分发介质进行切片,并对生成的片文件进行编号;
对由分发代理节点所发送的片文件进行合片,并将生成的合片文件发送至所述网络节点中。
优选地,网络介质分发方法还包括:根据所述分发代理节点个数以及所述片文件个数确定每个分发代理节点所发送的片文件个数。
优选地,网络介质分发方法还包括:根据所述片文件生成其所对应的特征报文,所述特征报文包括:所述片文件的大小、所述片文件的指纹数据、所述片文件的分发网络节点以及所述编号。
优选地,网络介质分发方法还包括:将所述片文件在多个分发代理节点间相互交换。
第二方面,本发明提供一种网络介质分发装置,该装置包括:
待分发介质确定单元,用于根据用户的介质分发请求确定待分发介质所要分发的网络节点、分发优先级、所述待分发介质的大小、所述待分发介质的指纹数据以及所述待分发介质的切片预设大小;
片文件编号单元,用于根据所述切片预设大小对所述待分发介质进行切片,并对生成的片文件进行编号;
片文件合片单元,用于对由分发代理节点所发送的片文件进行合片,并将生成的合片文件发送至所述网络节点中。
优选地,网络介质分发装置还包括:个数确定单元,用于根据所述分发代理节点个数以及所述片文件个数确定每个分发代理节点所发送的片文件个数。
优选地,网络介质分发装置还包括:特征报文生成单元,用于根据所述片文件生成其所对应的特征报文,所述特征报文包括:所述片文件的大小、所述片文件的指纹数据、所述片文件的分发网络节点以及所述编号。
优选地,网络介质分发装置还包括:片文件交换单元,用于将所述片文件在多个分发代理节点间相互交换。
第三方面,本发明提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现网络介质分发方法的步骤。
第四方面,本发明提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现网络介质分发方法的步骤。
从上述描述可知,本发明提供的网络介质分发方法及装置,提供一种不同于现有技术中的P2P传输机制,而是采用自定义的文件传输方式来实现在局域网和广域网上各个节点间及时可靠地传输大容量的文件(无论二进制文件、文本文件、结构换数据文件、非结构化数据文件)。具体地,先根据用户的介质分发请求确定待分发介质所要分发的网络节点、分发优先级、所述待分发介质的大小、所述待分发介质的指纹数据以及所述待分发介质的切片预设大小;接着对生成的片文件进行编号;最后将生成的合片文件发送至所述网络节点中。在此过程中采用成熟的消息中间件为基础架构,确保核心系统稳定可靠,具有良好的可扩展性和相当好的处理性能。本方法通过对目前企业级通用文件传输平台进行技术改进,使其具备巨型文件分片合片、参数化配置传输优先级别、高优先级插队、介质分发归档结果信息通报、分发前后指纹校验的功能等,从而提升巨型文件传输的安全系数及传输的效率,另外对传输过程的监控也是非常适合作为企业级文件传输管理使用。
综上,本方法克服了互联网上传统介质传输不安全、巨型介质传输效率低、不可主动监控传输及分发过程、巨型介质传输失败需整体重传的问题。并提供一种安全、高效、可监控、可识别分发异常节点、以及对异常节点进行重新补发的方法,同时能够提供可配置方案,适用于不同企业及不同用户群体定制化实施。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的实施例中网络介质分发方法流程示意图一;
图2为本发明的实施例中网络介质分发方法流程示意图二;
图3为本发明的实施例中网络介质分发方法流程示意图三;
图4为本发明的实施例中网络介质分发方法流程示意图四;
图5为本发明的具体应用实例中网络介质分发方法的流程示意图;
图6为本发明的具体应用实例中介质分片传输、分发示意图;
图7为本发明的具体应用实例中C0资源总控中心工作示意图;
图8为本发明的具体应用实例中分发代理工作示意图;
图9为本发明的具体应用实例中集群中接收节点工作示意图
图10为本发明的具体应用实例中消息总控工作示意图
图11为本发明的具体应用实例中网络介质分发装置的结构示意图一;
图12为本发明的具体应用实例中网络介质分发装置的结构示意图二;
图13为本发明的具体应用实例中网络介质分发装置的结构示意图三;
图14为本发明的具体应用实例中网络介质分发装置的结构示意图四;
图15为本发明的实施例中的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
现有技术中,随着业务范围的快速扩展,互联网企业面临两类场景:1.不断增长的业务访问量、数据量。2.特殊活动日,如双十一、618大促、店庆、春节等,交易量,数据量会急剧增加,而在活动结束后,各项指标又会恢复原有水平。为应对以上两类场景,大部分数据存储系统在最初构建集群时即按业务量,数据量的峰值来评估搭建,从而造成了计算节点,存储节点的大量闲置浪费,且当评估不准确,或业务增长过快无法预测时,为满足数据增长后的存储需求,只能采用:纵向扩容,增加CPU数量,更换更大内存,更换更大的磁盘。横向静态扩容,由于增加分片节点后将影响所有节点的数据访问路由规则,所以需要应用停机配合扩容,对全量数据进行重分布后,更新路由信息,才能对外服务。
综上:纵向扩容,很容易触及天花板,横向静态扩容对于存量数据的迁移过程中又影响了服务连续性等,所以以上两种方案暴露了在扩缩容能力上的诸多痛点。基于此本发明的实施例提供一种网络介质分发方法的具体实施方式,参见图1,该方法具体包括如下内容:
步骤100:根据用户的介质分发请求确定待分发介质所要分发的网络节点、分发优先级、所述待分发介质的大小、所述待分发介质的指纹数据以及所述待分发介质的切片预设大小。
可以理解的是,步骤100中的指纹数据可以用来验证待分发介质的安全性,以防止在分发过程中,不法分子对待分发介质进行篡改。
步骤200:根据所述切片预设大小对所述待分发介质进行切片,并对生成的片文件进行编号。
步骤300:对由分发代理节点所发送的片文件进行合片,并将生成的合片文件发送至所述网络节点中。
在步骤200至步骤300中,切片操作,即分片上传,就是将所要上传的文件,按照一定的大小,将整个文件分隔成多个数据块(Part)来进行分别上传,上传完之后再由服务端对所有上传的文件进行汇总整合成原始的文件。分片上传不仅可以避免因网络环境不好导致的一直需要从文件起始位置还是上传的问题,还能使用多线程对不同分块数据进行并发发送,提高发送效率,降低发送时间。
综上,本方法克服了互联网上传统介质传输不安全、巨型介质传输效率低、不可主动监控传输及分发过程、巨型介质传输失败需整体重传的问题。并提供一种安全、高效、可监控、可识别分发异常节点、以及对异常节点进行重新补发的方法,同时能够提供可配置方案,适用于不同企业及不同用户群体定制化实施。
参见图2,一实施例中,网络介质分发方法还包括:
步骤400:根据所述分发代理节点个数以及所述片文件个数确定每个分发代理节点所发送的片文件个数。
片文件在移动时会根据分发代理个数来确定分片移动分配规则,例如有两个代理分发节点,那么这两个代理节点将处理等同数量的分片文件(分片结果为N奇数时其中一个代理分发N/2+1片,否则每个代理为N/2片文件分发)。
参见图3,一实施例中,网络介质分发方法还包括:
步骤500:根据所述片文件生成其所对应的特征报文,所述特征报文包括:所述片文件的大小、所述片文件的指纹数据、所述片文件的分发网络节点以及所述编号。
在往待发送目录下移动分片的同时会给每片文件对应生成一份特征报文,该报文说明当前这片文件特征如:大小、指纹(例如MD5值)、分发范围(下发的目的集群中的服务器节点编码)、片数编码等信息。Move进程执行移动操作。
参见图4,一实施例中,网络介质分发方法还包括:
步骤600:将所述片文件在多个分发代理节点间相互交换。
由于分片文件是对等的份数分别分发至集群中不同的分发代理节点上,所以分发代理节点在分发时是分别拥有一份不同的介质,因此两个分发代理节点之间也需要交换文件以获取对方所拥有的己方所没有的文件分片。
从上述描述可知,本发明提供的网络介质分发方法,提供一种不同于现有技术中的P2P传输机制,而是采用自定义的文件传输方式来实现在局域网和广域网上各个节点间及时可靠地传输大容量的文件(无论二进制文件、文本文件、结构换数据文件、非结构化数据文件)。具体地,先根据用户的介质分发请求确定待分发介质所要分发的网络节点、分发优先级、所述待分发介质的大小、所述待分发介质的指纹数据以及所述待分发介质的切片预设大小;接着对生成的片文件进行编号;最后将生成的合片文件发送至所述网络节点中。在此过程中采用成熟的消息中间件为基础架构,确保核心系统稳定可靠,具有良好的可扩展性和相当好的处理性能。本方法通过对目前企业级通用文件传输平台进行技术改进,使其具备巨型文件分片合片、参数化配置传输优先级别、高优先级插队、介质分发归档结果信息通报、分发前后指纹校验的功能等,从而提升巨型文件传输的安全系数及传输的效率,另外对传输过程的监控也是非常适合作为企业级文件传输管理使用。
综上,本方法克服了互联网上传统介质传输不安全、巨型介质传输效率低、不可主动监控传输及分发过程、巨型介质传输失败需整体重传的问题。并提供一种安全、高效、可监控、可识别分发异常节点、以及对异常节点进行重新补发的方法,同时能够提供可配置方案,适用于不同企业及不同用户群体定制化实施。
为进一步地说明本方案,本发明提供网络介质分发方法的具体应用实例,该具体应用实例具体包括如下内容,参见图5。
S0:根据用户的介质分发请求确定待分发介质所要分发的网络节点、分发优先级、所述待分发介质的大小、所述待分发介质的指纹数据以及所述待分发介质的切片预设大小。
如图6所示,客户端H向服务器S发出大介质分发请求,服务器S发出一条指令给资源总控中心C0。
服务器S将分发指令发送资源管理中心C0,C0接收到分发指令后会读取分发指令内容,C0先要确定要向集群中分发的节点范围、分发的有优先级、待分发介质的大小、待分发介质指纹、切片每片预设大小这些信息。C0启动切片操作,
S1:根据所述切片预设大小对所述待分发介质进行切片。
将待分发介质按照预设分片size进行切片,并对切分出的片文件进行编码以区分不同的片文件。
切片完成后部署在集群中每个节点上的agent的守候move程序启动工作,将已分片的文件按照预设的规则分别移动到C0中通用文件传输平台(文中后续统称GTP)的代理发送目录。该目录与集群中的分发代理AGENT1、AGENT2上部署的GTP的代理接收目录一一对应。
如图7所示,C0上面部署的AGENT在移动时会根据集群中配置的分发代理个数来确定分片移动分配规则,例如图6中有两个代理分发节点,那么这两个代理节点将处理等同数量的分片文件(分片结果为N奇数时其中一个代理分发N/2+1片,否则每个代理为N/2片文件分发)。
C0上部署的AGENT在往待发送目录下移动分片的同时会给每片文件对应生成一份特征报文,该报文说明当前这片文件特征如:大小、指纹(文中均指MD5值)、分发范围(下发的目的集群中的服务器节点编码)、片数编码等信息。Move进程执行移动操作,将CO上分片文件及对应特征报文移动至GTP待发送目录下。
部署在C0节点上的GTP开始工作进行文件传输,将对应发送目录下的文件(包含片文件及特征报文)传输到GTP传输任务配置的接收目录下。
代理A1接收到传递过来的片文件后,接收目录下的agent守候程序启动工作,读取当前分片的特征报文获取当前分片文件的归档目录信息,将当前分片归档到当前代理的归档目录下。代理A2工作步骤等同A1。代理A1在完成自身文档归档操作后同时会读取特征报文中的发布范围,明确要将当前分片文件分发到集群中的那些节点上。分别复制一份片文件到代理的GTP分发目录,该目录确定了集群中那些节点的GTP接收目录可以收到当前的分片文件。同时在GTP分发目录下会生成对应的一份分发报文,该报文明确了集群中接收节点的归档路径、当前片文件大小、当前片文件编号、当前分片文件指纹、分片前文件大小、分片前文件指纹等信息。代理A2会等同的执行以上操作。
如图8所示,集群中代理间的文件交换,由于在总控平台上分片文件是对等的份数分别分发至集群中不同的代理节点上,所以两个代理节点在分发时是分别拥有一份不同的介质,因此两个代理之间也需要交换文件以获取对方所拥有的己方所没有的文件分片。代理节点向集群中非代理节(N1、N2及N3)点分发文件,通过GTP任务启动将代理待发送目录下文件传输到集群中目标节点的GTP接收目录。
如图9所示,集群中的目的节点接收到GTP传递过来的文件后,该节点部署的agent程序会启动归档动作,通过分析报文中的目的地址,将当前节点上面GTP接收目录中的文件移动至目标目录。归档前会先对当前文件做身份验证,通过对比分发传输前后的指纹来确定接收文件即使分发文件,从而确保文件传输的安全性。
至此完成了文件分片中一片文件由资源总控到分发代理再到接收节点的分发、传输、归档操作,其它分片依次按上述过程完成分片传输。归档成功后,会将归档消息上送消息总控中心如图10所示(该消息总控中心由kafka消息管理支撑),记录当前归档结果。
S2:对由分发代理节点所发送的片文件进行合片,并将生成的合片文件发送至所述网络节点中。
如图9所示,集群中各节点完成归档目录下的分片文件合片操作,每个报文中均会记录当前传输文件的分片信息,包括当前分片文件的分片数量、分片前的指纹、当前分片的指纹、文件名称、文件大小等信息。分片归档目录下每新归档一片文件都会检索报文内容判断当前是否是最后一片文件,如果不是继续等待下一片文件到来,如果是最后一片则agent启动合片动作。将归档目录下收到的分片按照命名规则合并成一个新的文件,同时会计算新合并的文件的指纹与报文中携带的源文件的指纹是否吻合。
如图10所示,集群中的各节点部署的agent程序完成合片动作后对比指纹,同时将比对结果上送消息总控中心,可以理解的是,此过程实现了传输过程的可监控。消息经由消息总控中心处理后持久化到数据库中记录,库中会记录到每片文件的属性及传输状态及传输结果,同时归档结果也上送消息总控中心并完成持久化操作。将文件分发结果通过应用程序展示到前端控制台视图中供用户管理、分析。
从上述描述可知,本发明提供的网络介质分发方法,提供一种不同于现有技术中的P2P传输机制,而是采用自定义的文件传输方式来实现在局域网和广域网上各个节点间及时可靠地传输大容量的文件(无论二进制文件、文本文件、结构换数据文件、非结构化数据文件)。具体地,先根据用户的介质分发请求确定待分发介质所要分发的网络节点、分发优先级、所述待分发介质的大小、所述待分发介质的指纹数据以及所述待分发介质的切片预设大小;接着对生成的片文件进行编号;最后将生成的合片文件发送至所述网络节点中。在此过程中采用成熟的消息中间件为基础架构,确保核心系统稳定可靠,具有良好的可扩展性和相当好的处理性能。本方法通过对目前企业级通用文件传输平台进行技术改进,使其具备巨型文件分片合片、参数化配置传输优先级别、高优先级插队、介质分发归档结果信息通报、分发前后指纹校验的功能等,从而提升巨型文件传输的安全系数及传输的效率,另外对传输过程的监控也是非常适合作为企业级文件传输管理使用。
综上,本方法克服了互联网上传统介质传输不安全、巨型介质传输效率低、不可主动监控传输及分发过程、巨型介质传输失败需整体重传的问题。并提供一种安全、高效、可监控、可识别分发异常节点、以及对异常节点进行重新补发的方法,同时能够提供可配置方案,适用于不同企业及不同用户群体定制化实施。
基于同一发明构思,本申请实施例还提供了网络介质分发装置,可以用于实现上述实施例所描述的方法,如下面的实施例。由于网络介质分发装置解决问题的原理与网络介质分发方法相似,因此网络介质分发装置的实施可以参见网络介质分发方法实施,重复之处不再赘述。以下所使用的,术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
本发明的实施例提供一种能够实现网络介质分发方法的网络介质分发装置的具体实施方式,参见图11,网络介质分发装置具体包括如下内容:
待分发介质确定单元10,用于根据用户的介质分发请求确定待分发介质所要分发的网络节点、分发优先级、所述待分发介质的大小、所述待分发介质的指纹数据以及所述待分发介质的切片预设大小。
片文件编号单元20,用于根据所述切片预设大小对所述待分发介质进行切片,并对生成的片文件进行编号。
片文件合片单元30,用于对由分发代理节点所发送的片文件进行合片,并将生成的合片文件发送至所述网络节点中。
优选地,参见图12,网络介质分发装置还包括:个数确定单元40,用于根据所述分发代理节点个数以及所述片文件个数确定每个分发代理节点所发送的片文件个数。
优选地,参见图13,网络介质分发装置还包括:特征报文生成单元50,用于根据所述片文件生成其所对应的特征报文,所述特征报文包括:所述片文件的大小、所述片文件的指纹数据、所述片文件的分发网络节点以及所述编号。
优选地,参见图14,网络介质分发装置还包括:片文件交换单元60,用于将所述片文件在多个分发代理节点间相互交换。
从上述描述可知,本发明提供的网络介质分发装置,提供一种不同于现有技术中的P2P传输机制,而是采用自定义的文件传输方式来实现在局域网和广域网上各个节点间及时可靠地传输大容量的文件(无论二进制文件、文本文件、结构换数据文件、非结构化数据文件)。具体地,先根据用户的介质分发请求确定待分发介质所要分发的网络节点、分发优先级、所述待分发介质的大小、所述待分发介质的指纹数据以及所述待分发介质的切片预设大小;接着对生成的片文件进行编号;最后将生成的合片文件发送至所述网络节点中。在此过程中采用成熟的消息中间件为基础架构,确保核心系统稳定可靠,具有良好的可扩展性和相当好的处理性能。本方法通过对目前企业级通用文件传输平台进行技术改进,使其具备巨型文件分片合片、参数化配置传输优先级别、高优先级插队、介质分发归档结果信息通报、分发前后指纹校验的功能等,从而提升巨型文件传输的安全系数及传输的效率,另外对传输过程的监控也是非常适合作为企业级文件传输管理使用。
综上,本方法克服了互联网上传统介质传输不安全、巨型介质传输效率低、不可主动监控传输及分发过程、巨型介质传输失败需整体重传的问题。并提供一种安全、高效、可监控、可识别分发异常节点、以及对异常节点进行重新补发的方法,同时能够提供可配置方案,适用于不同企业及不同用户群体定制化实施。
本申请的实施例还提供能够实现上述实施例中的网络介质分发方法中全部步骤的一种电子设备的具体实施方式,参见图15,电子设备具体包括如下内容:
处理器(processor)1201、存储器(memory)1202、通信接口(CommunicationsInterface)1203和总线1204;
其中,处理器1201、存储器1202、通信接口1203通过总线1204完成相互间的通信;通信接口1203用于实现服务器端设备、记录设备以及用户端设备等相关设备之间的信息传输。
处理器1201用于调用存储器1202中的计算机程序,处理器执行计算机程序时实现上述实施例中的网络介质分发方法中的全部步骤,例如,处理器执行计算机程序时实现下述步骤:
步骤100:根据用户的介质分发请求确定待分发介质所要分发的网络节点、分发优先级、所述待分发介质的大小、所述待分发介质的指纹数据以及所述待分发介质的切片预设大小。
步骤200:根据所述切片预设大小对所述待分发介质进行切片,并对生成的片文件进行编号。
步骤300:对由分发代理节点所发送的片文件进行合片,并将生成的合片文件发送至所述网络节点中。
从上述描述可知,本申请实施例中的电子设备,提供一种不同于现有技术中的P2P传输机制,而是采用自定义的文件传输方式来实现在局域网和广域网上各个节点间及时可靠地传输大容量的文件(无论二进制文件、文本文件、结构换数据文件、非结构化数据文件)。具体地,先根据用户的介质分发请求确定待分发介质所要分发的网络节点、分发优先级、所述待分发介质的大小、所述待分发介质的指纹数据以及所述待分发介质的切片预设大小;接着对生成的片文件进行编号;最后将生成的合片文件发送至所述网络节点中。在此过程中采用成熟的消息中间件为基础架构,确保核心系统稳定可靠,具有良好的可扩展性和相当好的处理性能。本方法通过对目前企业级通用文件传输平台进行技术改进,使其具备巨型文件分片合片、参数化配置传输优先级别、高优先级插队、介质分发归档结果信息通报、分发前后指纹校验的功能等,从而提升巨型文件传输的安全系数及传输的效率,另外对传输过程的监控也是非常适合作为企业级文件传输管理使用。
综上,本方法克服了互联网上传统介质传输不安全、巨型介质传输效率低、不可主动监控传输及分发过程、巨型介质传输失败需整体重传的问题。并提供一种安全、高效、可监控、可识别分发异常节点、以及对异常节点进行重新补发的方法,同时能够提供可配置方案,适用于不同企业及不同用户群体定制化实施。
本申请的实施例还提供能够实现上述实施例中的网络介质分发方法中全部步骤的一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中的网络介质分发方法的全部步骤,例如,处理器执行计算机程序时实现下述步骤:
步骤100:根据用户的介质分发请求确定待分发介质所要分发的网络节点、分发优先级、所述待分发介质的大小、所述待分发介质的指纹数据以及所述待分发介质的切片预设大小。
步骤200:根据所述切片预设大小对所述待分发介质进行切片,并对生成的片文件进行编号。
步骤300:对由分发代理节点所发送的片文件进行合片,并将生成的合片文件发送至所述网络节点中。
从上述描述可知,本申请实施例中的计算机可读存储介质,提供一种不同于现有技术中的P2P传输机制,而是采用自定义的文件传输方式来实现在局域网和广域网上各个节点间及时可靠地传输大容量的文件(无论二进制文件、文本文件、结构换数据文件、非结构化数据文件)。具体地,先根据用户的介质分发请求确定待分发介质所要分发的网络节点、分发优先级、所述待分发介质的大小、所述待分发介质的指纹数据以及所述待分发介质的切片预设大小;接着对生成的片文件进行编号;最后将生成的合片文件发送至所述网络节点中。在此过程中采用成熟的消息中间件为基础架构,确保核心系统稳定可靠,具有良好的可扩展性和相当好的处理性能。本方法通过对目前企业级通用文件传输平台进行技术改进,使其具备巨型文件分片合片、参数化配置传输优先级别、高优先级插队、介质分发归档结果信息通报、分发前后指纹校验的功能等,从而提升巨型文件传输的安全系数及传输的效率,另外对传输过程的监控也是非常适合作为企业级文件传输管理使用。
综上,本方法克服了互联网上传统介质传输不安全、巨型介质传输效率低、不可主动监控传输及分发过程、巨型介质传输失败需整体重传的问题。提供一种安全、高效、可监控、可识别分发异常节点、以及对异常节点进行重新补发的方法,同时能够提供可配置方案,适用于不同企业及不同用户群体定制化实施。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于硬件+程序类实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
虽然本申请提供了如实施例或流程图的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的装置或客户端产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种网络介质分发方法,其特征在于,包括:
根据用户的介质分发请求确定待分发介质所要分发的网络节点、分发优先级、所述待分发介质的大小、所述待分发介质的指纹数据以及所述待分发介质的切片预设大小;
根据所述切片预设大小对所述待分发介质进行切片,并对生成的片文件进行编号;
对由分发代理节点所发送的片文件进行合片,并将生成的合片文件发送至所述网络节点中。
2.根据权利要求1所述的网络介质分发方法,其特征在于,还包括:
根据所述分发代理节点个数以及所述片文件个数确定每个分发代理节点所发送的片文件个数。
3.根据权利要求1所述的网络介质分发方法,其特征在于,还包括:
根据所述片文件生成其所对应的特征报文,所述特征报文包括:所述片文件的大小、所述片文件的指纹数据、所述片文件的分发网络节点以及所述编号。
4.根据权利要求1所述的网络介质分发方法,其特征在于,还包括:
将所述片文件在多个分发代理节点间相互交换。
5.一种网络介质分发装置,其特征在于,包括:
待分发介质确定单元,用于根据用户的介质分发请求确定待分发介质所要分发的网络节点、分发优先级、所述待分发介质的大小、所述待分发介质的指纹数据以及所述待分发介质的切片预设大小;
片文件编号单元,用于根据所述切片预设大小对所述待分发介质进行切片,并对生成的片文件进行编号;
片文件合片单元,用于对由分发代理节点所发送的片文件进行合片,并将生成的合片文件发送至所述网络节点中。
6.根据权利要求5所述的网络介质分发装置,其特征在于,还包括:
个数确定单元,用于根据所述分发代理节点个数以及所述片文件个数确定每个分发代理节点所发送的片文件个数。
7.根据权利要求5所述的网络介质分发装置,其特征在于,还包括:
特征报文生成单元,用于根据所述片文件生成其所对应的特征报文,所述特征报文包括:所述片文件的大小、所述片文件的指纹数据、所述片文件的分发网络节点以及所述编号。
8.根据权利要求5所述的网络介质分发装置,其特征在于,还包括:
片文件交换单元,用于将所述片文件在多个分发代理节点间相互交换。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至4任一项所述网络介质分发方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至4任一项所述网络介质分发方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911011185.5A CN110677497B (zh) | 2019-10-23 | 2019-10-23 | 一种网络介质分发方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911011185.5A CN110677497B (zh) | 2019-10-23 | 2019-10-23 | 一种网络介质分发方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110677497A true CN110677497A (zh) | 2020-01-10 |
CN110677497B CN110677497B (zh) | 2022-10-18 |
Family
ID=69083869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911011185.5A Active CN110677497B (zh) | 2019-10-23 | 2019-10-23 | 一种网络介质分发方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110677497B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112000542A (zh) * | 2020-07-23 | 2020-11-27 | 中国建设银行股份有限公司 | 文件传输状态的监控方法及相关设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6765868B1 (en) * | 1998-09-22 | 2004-07-20 | International Business Machines Corp. | System and method for large file transfers in packet networks |
CN101471919A (zh) * | 2007-12-29 | 2009-07-01 | 突触计算机系统(上海)有限公司 | 基于点对点传输协议的设备中用于下载分片的方法及装置 |
CN101789910A (zh) * | 2009-12-22 | 2010-07-28 | 北京邮电大学 | 融合消息业务中实现会谈历史记录的方法及装置 |
CN104104675A (zh) * | 2014-06-24 | 2014-10-15 | 赖洪昌 | Internet控制报文协议伪装捕获与分析技术 |
CN108040034A (zh) * | 2017-11-15 | 2018-05-15 | 中国航空无线电电子研究所 | 分布式实时通信中间件 |
CN109831244A (zh) * | 2019-03-19 | 2019-05-31 | 福建紫辰信息科技有限公司 | 一种基于一体机的卫星数据实时可控传输方法及系统 |
CN110266775A (zh) * | 2019-06-04 | 2019-09-20 | 南京南瑞继保电气有限公司 | 文件传输方法、装置、计算机设备及存储介质 |
-
2019
- 2019-10-23 CN CN201911011185.5A patent/CN110677497B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6765868B1 (en) * | 1998-09-22 | 2004-07-20 | International Business Machines Corp. | System and method for large file transfers in packet networks |
CN101471919A (zh) * | 2007-12-29 | 2009-07-01 | 突触计算机系统(上海)有限公司 | 基于点对点传输协议的设备中用于下载分片的方法及装置 |
CN101789910A (zh) * | 2009-12-22 | 2010-07-28 | 北京邮电大学 | 融合消息业务中实现会谈历史记录的方法及装置 |
CN104104675A (zh) * | 2014-06-24 | 2014-10-15 | 赖洪昌 | Internet控制报文协议伪装捕获与分析技术 |
CN108040034A (zh) * | 2017-11-15 | 2018-05-15 | 中国航空无线电电子研究所 | 分布式实时通信中间件 |
CN109831244A (zh) * | 2019-03-19 | 2019-05-31 | 福建紫辰信息科技有限公司 | 一种基于一体机的卫星数据实时可控传输方法及系统 |
CN110266775A (zh) * | 2019-06-04 | 2019-09-20 | 南京南瑞继保电气有限公司 | 文件传输方法、装置、计算机设备及存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112000542A (zh) * | 2020-07-23 | 2020-11-27 | 中国建设银行股份有限公司 | 文件传输状态的监控方法及相关设备 |
Also Published As
Publication number | Publication date |
---|---|
CN110677497B (zh) | 2022-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108664496B (zh) | 数据迁移方法及装置 | |
CN112470112B (zh) | 块存储系统的分布式副本 | |
CN102307210B (zh) | 一种数据下载系统及其数据管理和下载方法 | |
Almeida et al. | ChainReaction: a causal+ consistent datastore based on chain replication | |
EP2721504B1 (en) | File processing method, system and server-clustered system for cloud storage | |
CN108874558A (zh) | 分布式事务的消息订阅方法、电子装置及可读存储介质 | |
CN111338773A (zh) | 一种分布式定时任务调度方法、调度系统及服务器集群 | |
CN111447248A (zh) | 一种文件传输的方法及装置 | |
CN102833281A (zh) | 一种分布式自增计数的实现方法、装置及系统 | |
GB2529436A (en) | Data processing apparatus and method | |
CN111338834B (zh) | 数据存储方法和装置 | |
BE1024939B1 (nl) | Systeem en apparaat voor het gegarandeerd precies eenmalig verwerken van een gebeurtenis in een verdeelde gebeurtenissen-aangedreven omgeving | |
WO2016101759A1 (zh) | 一种数据路由方法、数据管理装置和分布式存储系统 | |
CN108733515A (zh) | 文件备份的调度方法、文件备份方法、装置及存储介质 | |
CN110677497B (zh) | 一种网络介质分发方法及装置 | |
US20210149709A1 (en) | Method and apparatus for processing transaction | |
EP3349416B1 (en) | Relationship chain processing method and system, and storage medium | |
CN111147226B (zh) | 数据存储方法、装置及存储介质 | |
CN109992447B (zh) | 数据复制方法、装置及存储介质 | |
CN109389271B (zh) | 应用性能管理方法及系统 | |
US10511656B1 (en) | Log information transmission integrity | |
CN114138786A (zh) | 一种联机交易消息去重方法、装置、介质、产品和设备 | |
CN112783613B (zh) | 一种单元调度的方法和装置 | |
CN111431951B (zh) | 一种数据处理方法、节点设备、系统及存储介质 | |
CN111666338B (zh) | 数据复制方法、控制节点及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |