CN110019030B - 分割文件的方法和装置 - Google Patents

分割文件的方法和装置 Download PDF

Info

Publication number
CN110019030B
CN110019030B CN201710761531.6A CN201710761531A CN110019030B CN 110019030 B CN110019030 B CN 110019030B CN 201710761531 A CN201710761531 A CN 201710761531A CN 110019030 B CN110019030 B CN 110019030B
Authority
CN
China
Prior art keywords
file
destination address
data packet
segmentation
connection request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710761531.6A
Other languages
English (en)
Other versions
CN110019030A (zh
Inventor
赵鹏
刘恩英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201710761531.6A priority Critical patent/CN110019030B/zh
Publication of CN110019030A publication Critical patent/CN110019030A/zh
Application granted granted Critical
Publication of CN110019030B publication Critical patent/CN110019030B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了分割文件的方法和装置,涉及计算机技术领域。该方法的一具体实施方式包括:获取连接请求,对所述连接请求中携带的数据包进行解析;基于所述解析结果,根据所述数据包中的分割规则对目标文件进行分割。该实施方式能够简化开发流程,规范分割标准,避免了每个系统都根据各自的规则来分割文件所导致的工作重复的问题技术效果。

Description

分割文件的方法和装置
技术领域
本发明涉及计算机技术领域,尤其涉及一种分割文件的方法和装置。
背景技术
随着计算机技术的发展,现在的社会是一个高速发展的社会,科技发达,信息流通,人们之间的交流越来越密切,生活也越来越方便,大数据就是这个高科技时代的产物,例如电商平台,随着单量的逐年递增,商品的日志信息不断加大,为了进行大数据分析,需要对文件进行解析,但是,读取过大的文件导致占用的内存过大,容易系统崩溃。
现有技术通常采用对文件先分割再读取的方式调用数据文件,目前,各个系统在进行文件分割时,都按照各自的规则进行解析。
在实现本发明过程中,发明人发现现有技术中至少存在如下问题:
由于缺少一个统一的协议来规范文件的切割,各个系统都在重复着类似的事情,却无法将功能进行重复使用。
发明内容
有鉴于此,本发明实施例提供一种分割文件的,能够简化开发流程,规范分割标准,避免了每个系统都根据各自的规则来分割文件所导致的工作重复的问题技术效果。
为实现上述目的,根据本发明实施例的一个方面,提供了一种分割文件的方法。
本发明实施例的一种分割文件的方法包括:获取连接请求,对所述连接请求中携带的数据包进行解析;基于所述解析结果,根据所述数据包中的分割规则对目标文件进行分割。
可选地,所述数据包还包括源地址、目的地址、认证/注册需求、返回类型,其中,所述返回类型还包括协议、地址、参数、文件组;所述分割规则还包括文件数、规则表达式、文件名格式。
可选地,根据所述数据包中的分割规则对目标文件进行分割之前包括:判断所述目的地址是否已注册;若是,则对所述目的地址进行认证;若否,则对所述目的地址进行注册及认证。
可选地,对所述目的地址进行认证包括:查询目的地址白名单是否存在所述目的地址;若是,则通过认证;若否,则终止所述连接请求。
可选地,根据所述数据包中的分割规则对目标文件进行分割还包括:更新所述目标文件的分割进程,并断开连接;分割后的所述目标文件根据所述文件名格式进行命名,并存储于所述地址。
可选地,根据所述数据包中的分割规则对目标文件进行分割之前还包括:根据所述源地址判断所述连接请求是否合法;若合法,则建立连接;否则,不建立连接。
为实现上述目的,根据本发明实施例的另一方面,提供了一种分割文件的装置。
本发明实施例的一种分割文件的装置包括:解析模块,用于获取连接请求,对所述连接请求中携带的数据包进行解析;分割模块,用于基于所述解析结果,根据所述数据包中的分割规则对目标文件进行分割。
可选地,所述数据包还包括源地址、目的地址、认证/注册需求、返回类型,其中,所述返回类型还包括协议、地址、参数、文件组;所述分割规则还包括文件数、规则表达式、文件名格式。
可选地,所述装置还包括:第一判断模块,用于判断所述目的地址是否已注册;若是,则对所述目的地址进行认证;若否,则对所述目的地址进行注册及认证。
可选地,所述第一判断模块还用于:查询目的地址白名单是否存在所述目的地址;若是,则通过认证;若否,则终止所述连接请求。
可选地,所述分割模块还用于:更新所述目标文件的分割进程,并断开连接;分割后的所述目标文件根据所述文件名格式进行命名,并存储于所述地址。
可选地,所述装置还包括:第二判断模块,用于根据所述源地址判断所述连接请求是否合法;若合法,则建立连接;否则,不建立连接。
为实现上述目的,根据本发明实施例的再一方面,提供了一种分割文件的电子设备。
本发明实施例的一种分割文件的电子设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明实施例的分割文件的方法。
为实现上述目的,根据本发明实施例的又一方面,提供了一种计算机可读介质。
本发明实施例的一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明实施例的分割文件的方法。
上述发明中的一个实施例具有如下优点或有益效果:因为各个系统采用相同的文件分割协议,所有系统执行文件的分割任务时,都可以采用同样的协议来处理的技术手段,所以克服了由于缺少一个统一的协议来规范文件的切割,各个系统都在重复着类似的事情,却无法将功能进行重复使用技术问题,进而简化开发流程,规范分割标准,避免了每个系统都根据各自的规则来分割文件所导致的工作重复的问题技术效果。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是根据本发明实施例的分割文件的方法的主要流程的示意图;
图2是根据本发明实施例的分割文件的装置的主要模块的示意图;
图3是根据本发明实施例的分割文件的方法的实现框架示意图;
图4是本发明实施例可以应用于其中的示例性系统架构图;
图5是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本发明实施例中,各个系统采用相同的分割规则对文件进行分割,分割规则可以是一个规则或者多个规则的组合,具体的分割规则、分割方法等信息可以通过协议在各个系统、服务器、客户端之间传递。
图1是根据本发明实施例的分割文件的方法的主要流程的示意图。
如图1所示,本发明实施例的一种分割文件的方法主要包括以下步骤:
步骤S101:获取连接请求,对连接请求中携带的数据包进行解析。
当客户端需要对某个文件进行分割时,由源地址向目的地址发起连接请求,即需要进行文件分割的客户端向该文件所在的地址发送连接请求。系统获取到该连接请求后,对连接请求中携带的数据包进行解析。
在连接请求携带的数据包中包括了分割要求等文件分割信息,在本发明实施例中,数据包还包括源地址、目的地址、认证/注册需求、返回类型,其中,返回类型还包括协议、地址、参数、文件组;分割规则还包括文件数、规则表达式、文件名格式。
连接请求所携带的数据包的信息还可以用于审核文件的分割是否允许。为了防止被其他程序或系统恶意访问,在本发明实施例中,根据所述源地址判断所述连接请求是否合法,若合法,则建立连接;否则,不建立连接。
为了进一步防止被其他程序或系统恶意访问,在本发明实施例中,判断目的地址是否已注册;若是,则对目的地址进行认证;若否,则对目的地址进行注册及认证。
在本发明实施例中,对目的地址进行认证包括:查询目的地址白名单是否存在目的地址;若是,则通过认证;若否,则终止连接请求。目的地址白名单可以由服务器指定,也可以由各个系统根据实际情况设置。系统在对目的地址进行认证时直接查询目的地址白名单,如果目的地址白名单中存在该目的地址则认证通过,否则认证不通过终止连接请求。
步骤S102:基于解析结果,根据数据包中的分割规则对目标文件进行分割。
由于连接请求所携带的数据包中包括了源地址、目的地址、认证/注册需求、分割规则(分割规则还包括文件数、规则表达式、文件名格式)、返回类型(返回类型还包括协议、地址、参数、文件组)等信息,通过对数据包进行解析可以得到数据包中的所有信息,读取解析结果能够获取到分割规则及目标文件的地址,从而根据分割规则对目标文件进行分割。
需要说明的是,目标文件的类型可能存在多种类型,例如可扩展标记语言(XML)、日志等,目标文件的类型并不影响分割规则的选择。
在本发明实施例中,本步骤还可以包括步骤S1021至S1022(图1中并未示出)。
步骤S1021:更新目标文件的分割进程,并断开连接。
在目标文件分割后需要对分割进程进行更新并断开连接,从而减少传输控制协议/因特网互联协议(TCP/IP)连接数。
步骤S1022:分割后的目标文件根据文件名格式进行命名,并存储于目的地址。
目标文件在分割后,根据数据包中的文件名格式对分割后的目标文件进行重命名,并存储于数据包中的地址。该地址可以是存放目标文件的目的地址,也可能是系统指定的地址。
根据本发明实施例的分割文件的方法可以看出,因为各个系统采用相同的文件分割协议,所有系统执行文件的分割任务时,都可以采用同样的协议来处理的技术手段,所以克服了由于缺少一个统一的协议来规范文件的切割,各个系统都在重复着类似的事情,却无法将功能进行重复使用技术问题,进而简化开发流程,规范分割标准,避免了每个系统都根据各自的规则来分割文件所导致的工作重复的问题技术效果。
图2是根据本发明实施例的分割文件的装置的主要模块的示意图。
如图2所示,本发明实施例的一种分割文件的装置200主要包括:解析模块201、分割模块202。
其中:
解析模块201,用于获取连接请求,对所述连接请求中携带的数据包进行解析;
分割模块202,用于基于所述解析结果,根据所述数据包中的分割规则对目标文件进行分割。
在本发明实施例中,所述数据包还包括源地址、目的地址、认证/注册需求、返回类型,其中,所述返回类型还包括协议、地址、参数、文件组;所述分割规则还包括文件数、规则表达式、文件名格式。
在本发明实施例中,所述装置还包括:第一判断模块,用于判断所述目的地址是否已注册;若是,则对所述目的地址进行认证;若否,则对所述目的地址进行注册及认证。
此外,所述第一判断模块还用于:查询目的地址白名单是否存在所述目的地址;若是,则通过认证;若否,则终止所述连接请求。
在本发明实施例中,所述分割模块还用于:更新所述目标文件的分割进程,并断开连接;分割后的所述目标文件根据所述文件名格式进行命名,并存储于所述地址。
在本发明实施例中,所述装置还包括:第二判断模块,用于根据所述源地址判断所述连接请求是否合法;若合法,则建立连接;否则,不建立连接。
根据本发明实施例的分割文件的装置可以看出,因为各个系统采用相同的文件分割协议,所有系统执行文件的分割任务时,都可以采用同样的协议来处理的技术手段,所以克服了由于缺少一个统一的协议来规范文件的切割,各个系统都在重复着类似的事情,却无法将功能进行重复使用技术问题,进而简化开发流程,规范分割标准,避免了每个系统都根据各自的规则来分割文件所导致的工作重复的问题技术效果。
图3是根据本发明实施例的分割文件的方法的协议框架示意图。
如图3所示,本发明实施例的协议框架主要包括建立连接、注册/认证、拉取文件、更新状态四个部分,具体的文件分割流程包括:
首先,获取连接请求,该连接请求是由源地址向目的地址发起的,该连接请求中包含有数据包。
Figure BDA0001393238520000091
表1
如表1所示为数据包的示例,该数据包中包括源地址、目的地址、认证/注册需求、分割规则、返回类型,其中:
源地址:指当前发出连接请求的地址。
目的地址:指文件存放的地址。
认证/注册需求:指源地址与目的地址是否需要进行认证或者注册,例如可以用01表示认证,02表示注册。
分割规则用来定义文件被分割后的文件数、规则表达式、文件名格式,具体的:
文件数:指需要将文件分割为多少个。
规则表达式:指截取文件需要的规则,规则支持正则表达式。
文件名格式:指被切割后保存的文件名应采取哪种格式进行保存。
返回类型是指将文件分割的结果怎样返回,具体的:
协议:返回类型的协议,例如超文本传输协议(HTTP)、文件传输协议(FTP)、通过一个双向的通信连接实现数据的交换(socket)等。
地址:指分割后的文件具体返回的地址,与协议形成对应关系。
参数:参数指需要传递的文件采用什么样的参数名传递。
文件组:文件组表示所有文件的文件名,根据各个系统需求不同,返回的文件名格式也不同。
然后,获取连接请求中的数据包,并对数据包进行解析,根据数据包中的源地址判断该连接请求是否合法,若合法,则建立连接;否则,不建立连接。
其次,判断数据包中的目的地址是否已注册;若是,则对目的地址进行认证;若否,则对目的地址进行注册及认证。对目的地址进行认证即查询目的地址是否在目的地址白名单中,若是,则拉取文件并读取数据包中的分割规则,进而对文件进行分割;若否,则停止文件分割进程。需要说明的是数据包中的分割规则与文件的程序语言相对应。
需要注意的是,为减少TCP/IP连接数,在满足注册/认证过程时,创建拉取文件进程,并结束建立的连接。
对文件进行分割是通过各个程序语言对文件进行截取来完成的,截取的规则是根据规则表达式指定来完成的,本发明实施例中选用定义日志规则(log4j),例如:文件数为10,其规则表达式为%-4r[%t]%-5p%c%x-%m%n,文件格式为日志文件(log),那么对文件进行切割的时候,首先计算文件总和,然后按照文件个数进行匹配,同时,按照规则表达式对文件内容进行筛选、分割,而后将分割后的文件采用“原文件名-x.log”的形式进行命名,并保存至数据包中返回类型的地址。
log4j的格式化符号说明如下:
%p:输出日志信息的优先级;
%d:输出日志时间点的日期或时间,默认格式为国际标准的日期和时间表示方法(ISO 8601),也可以在其后指定格式;
%r:输出自应用程序启动到输出该log信息耗费的毫秒数;
%t:输出产生该日志事件的线程名;
%c:输出日志信息所属的类目,通常就是所在类的全名;
%M:输出产生日志信息的方法名;
%F:输出日志消息产生时所在的文件名称;
%L::输出代码中的行号;
%m::输出代码中指定的具体日志信息;
%rn或%n:输出一个回车换行符,视窗操作系统(Windows)平台为"%rn",尤尼斯操作系统(Unix)平台为"%n";
%x:输出和当前线程相关联的嵌套诊断环境(NDC);
%%:输出一个"%"字符;
%l:输出日志事件的发生位置,相当于%c.%M(%F:%L)的组合,包括类全名、方法、文件名以及在代码中的行数。
最后,当文件被分解成多个文件后,对此过程状态进行更新,更新后断开连接,并将切割文件的信息发送至数据包中返回类型的地址。
现结合具体的应用情景对本发明实施例的技术方案进行说明,以网站订单数据和商品日志信息为例:
例一、网站订单数据
网站订单数据可以包括订单号、商品编号、商品价格、支付方式以及收货地址等信息,本发明实施例中网站订单数据以可扩展标记语言(XML)的形式存储于数据库中,则具体的分割过程如下:
首先,获取客户端向存放网站订单数据的数据库发送的连接请求。
然后,获取连接请求中的数据包,该连接请求中所携带的数据包的内容如表2所示,对数据包进行解析,根据数据包中的源地址124.205.0.1确认该连接请求合法,建立连接。
Figure BDA0001393238520000111
表2
其次,判断数据包中的目的地址127.0.0.1是否已注册认证,由于认证/注册需求01/02表示即需要注册又需要认证,因此,需要对目的地址127.0.0.1进行注册,之后在目的地址白名单中查询目的地址127.0.0.1,确定目的地址白名单中存在该目的地址后拉取网站订单数据文件,以及读取数据包中的分割规则,并结束建立的连接,进而对网站订单数据文件进行分割。
规则表达式“byte[]bytes=new byte[104857600]”表示将文件分割成大小为100M的子文件,子文件数为90,文件格式为XML,那么对文件进行切割的时候,首先计算文件总和,然后按照90个文件进行匹配,同时,按照规则表达式对文件内容进行筛选、分割,而后将分割后的文件采用“订单-1.XML”……“订单-90.XML”的形式进行命名,并保存至数据包中返回类型的地址127.0.0.1。
最后,当文件被分解成多个文件后,对此过程状态进行更新,更新后断开连接,并将切割文件的信息发送至数据包中返回类型的地址127.0.0.1。
例二、商品日志信息
商品日志信息可以包括商品详情信息、商品价格、商品销售信息以及商品图片等信息,本发明实施例中商品日志信息以字符串的形式存储于京东云,则具体的分割过程如下:
首先,获取客户端向存放商品日志信息的京东云发送的连接请求。
然后,获取连接请求中的数据包,该连接请求中所携带的数据包的内容如表3所示,对数据包进行解析,根据数据包中的源地址124.205.0.1确认该连接请求合法,建立连接。
Figure BDA0001393238520000131
表3
其次,判断数据包中的目的地址http://www.jcloud.com/是否已注册认证,由于认证/注册需求01表示仅需要认证,因此,直接在目的地址白名单中查询目的地址127.0.0.0,确定目的地址白名单中存在该目的地址后拉取商品日志信息,以及读取数据包中的分割规则,并结束建立的连接,进而对商品日志信息进行分割。
根据定义的日志规则%-4r[%t]%-5p%c%x-%m%n将商品日志信息文件分割为10个子文件,首先计算文件总和,然后按照10个进行匹配,同时,按照规则表达式对文件内容进行筛选、分割,而后将分割后的文件采用“商品-1.log”……“商品-10.log”的形式进行命名,最后保存至数据包中返回类型的地址124.205.0.1。
最后,当文件被分解成多个文件后,对此过程状态进行更新,更新后断开连接,并将切割文件的信息发送至数据包中返回类型的地址124.205.0.1。
图4示出了可以应用本发明实施例的分割文件的方法或分割文件的装置的示例性系统架构400。
如图4所示,系统架构400可以包括终端设备401、402、403,网络404和服务器405。网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备401、402、403通过网络404与服务器405交互,以接收或发送消息等。终端设备401、402、403上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备401、402、403可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器405可以是提供各种服务的服务器,例如对用户利用终端设备401、402、403所浏览的购物类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的日志信息查询请求等数据进行分析等处理,并将处理结果反馈给终端设备。
需要说明的是,本发明实施例所提供的分割文件的方法一般由服务器405执行,相应地,分割文件的装置一般设置于服务器405中。
应该理解,图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
下面参考图5,其示出了适于用来实现本发明实施例的终端设备的计算机系统500的结构示意图。图5示出的终端设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示,计算机系统500包括中央处理单元(CPU)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中,还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505:包括键盘、鼠标等的输入部分506;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507;包括硬盘等的存储部分508;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器510上,以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分509从网络上被下载和安装,和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时,执行本发明的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:一种处理器包括解析模块、分割模块。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定,例如,解析模块还可以被描述为“获取连接请求,解析所述连接请求中携带的数据包的模块”。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:步骤S101:获取连接请求,对连接请求中携带的数据包进行解析;步骤S102:基于解析结果,根据数据包中的分割规则对目标文件进行分割。
根据本发明实施例的技术方案,因为各个系统采用相同的文件分割协议,所有系统执行文件的分割任务时,都可以采用同样的协议来处理的技术手段,所以克服了由于缺少一个统一的协议来规范文件的切割,各个系统都在重复着类似的事情,却无法将功能进行重复使用技术问题,进而简化开发流程,规范分割标准,避免了每个系统都根据各自的规则来分割文件所导致的工作重复的问题技术效果。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

Claims (9)

1.一种分割文件的方法,其特征在于,包括:
确定各个系统所采用的相同的文件分割协议;
获取连接请求,对所述连接请求中携带的数据包进行解析;其中,所述数据包包括目的地址、分割规则;
判断所述目的地址是否已注册;
若所述目的地址已注册,则基于所述解析结果,创建拉取文件进程,并结束建立的连接;根据所述数据包中的所述分割规则、基于所述文件分割协议对目标文件进行分割。
2.根据权利要求1所述的方法,其特征在于,
所述数据包还包括源地址、认证/注册需求、返回类型,其中,所述返回类型还包括协议、地址、参数、文件组;
所述分割规则包括文件数、规则表达式、文件名格式。
3.根据权利要求1或2所述的方法,其特征在于,还包括:
若所述目的地址已注册,则对所述目的地址进行认证;
若所述目的地址尚未注册,则对所述目的地址进行注册及认证。
4.根据权利要求3所述的方法,其特征在于,对所述目的地址进行认证包括:
查询目的地址白名单是否存在所述目的地址;
若是,则通过认证;
若否,则终止所述连接请求。
5.根据权利要求2所述的方法,其特征在于,根据所述数据包中的所述分割规则、基于所述文件分割协议对目标文件进行分割还包括:
更新所述目标文件的分割进程,并断开连接;
分割后的所述目标文件根据所述文件名格式进行命名,并存储于所述返回类型的所述地址。
6.根据权利要求2所述的方法,其特征在于,在判断所述目的地址是否已注册之前,根据所述源地址判断所述连接请求是否合法;
若合法,则建立连接;
否则,不建立连接。
7.一种分割文件的装置,其特征在于,包括:
确定各个系统所采用的相同的文件分割协议;
解析模块,用于获取连接请求,对所述连接请求中携带的数据包进行解析;其中,所述数据包包括目的地址、分割规则;
第一判断模块,用于判断所述目的地址是否已注册;
分割模块,若所述目的地址已注册,用于基于所述解析结果,创建拉取文件进程,并结束建立的连接;根据所述数据包中的所述分割规则、基于所述文件分割协议对目标文件进行分割。
8.一种分割文件的电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
9.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。
CN201710761531.6A 2017-08-30 2017-08-30 分割文件的方法和装置 Active CN110019030B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710761531.6A CN110019030B (zh) 2017-08-30 2017-08-30 分割文件的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710761531.6A CN110019030B (zh) 2017-08-30 2017-08-30 分割文件的方法和装置

Publications (2)

Publication Number Publication Date
CN110019030A CN110019030A (zh) 2019-07-16
CN110019030B true CN110019030B (zh) 2021-11-05

Family

ID=67186157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710761531.6A Active CN110019030B (zh) 2017-08-30 2017-08-30 分割文件的方法和装置

Country Status (1)

Country Link
CN (1) CN110019030B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1933404A (zh) * 2005-09-15 2007-03-21 乐金电子(中国)研究开发中心有限公司 媒体数据的多区段下载方法
CN103309907A (zh) * 2012-03-16 2013-09-18 上海安捷力信息系统有限公司 对不同来源的业务数据进行规范化处理的方法及系统
CN105955979A (zh) * 2016-04-15 2016-09-21 北京奇虎科技有限公司 文件处理方法和系统
CN106484881A (zh) * 2016-10-14 2017-03-08 北京百度网讯科技有限公司 文件处理方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751478A (zh) * 2010-02-20 2010-06-23 浪潮(北京)电子信息产业有限公司 一种文件备份方法及系统
CN104035932B (zh) * 2013-03-05 2017-05-31 中国移动通信集团湖南有限公司 web页面分割方法及装置
US9696933B2 (en) * 2014-08-15 2017-07-04 International Business Machines Corporation Virtual machine manager initiated page-in of kernel pages
CN106027614B (zh) * 2016-05-09 2020-06-30 百度在线网络技术(北京)有限公司 信息推送的方法、装置和系统
CN106294683A (zh) * 2016-08-05 2017-01-04 中国银行股份有限公司 一种文件拆分方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1933404A (zh) * 2005-09-15 2007-03-21 乐金电子(中国)研究开发中心有限公司 媒体数据的多区段下载方法
CN103309907A (zh) * 2012-03-16 2013-09-18 上海安捷力信息系统有限公司 对不同来源的业务数据进行规范化处理的方法及系统
CN105955979A (zh) * 2016-04-15 2016-09-21 北京奇虎科技有限公司 文件处理方法和系统
CN106484881A (zh) * 2016-10-14 2017-03-08 北京百度网讯科技有限公司 文件处理方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"分布式存储中文件分割的最优化模型";陈卫卫等;《解放军理工大学学报(自然科学版)》;20101125;第11卷(第4期);413-416 *

Also Published As

Publication number Publication date
CN110019030A (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
US10839038B2 (en) Generating configuration information for obtaining web resources
CN110120917B (zh) 基于内容的路由方法及装置
US7870482B2 (en) Web browser extension for simplified utilization of web services
CN107844324B (zh) 客户端页面跳转处理方法和装置
CN110019211A (zh) 关联索引的方法、装置和系统
CN109683998A (zh) 国际化实现方法、装置和系统
CN107491382B (zh) 日志输出方法和装置
CN110858202A (zh) 数据库查询语句中where子句的生成方法和生成装置
CN111427701A (zh) 一种工作流引擎系统和业务处理方法
CN109981322A (zh) 基于标签的云资源管理的方法和装置
CN111666293A (zh) 数据库访问方法和装置
CN113626223A (zh) 一种接口调用方法和装置
CN111427899A (zh) 存储文件的方法、装置、设备和计算机可读介质
CN113268955A (zh) 报文转换的方法和装置
CN112818026A (zh) 数据整合方法和装置
CN113778499B (zh) 发布服务的方法、装置、设备和计算机可读介质
US9679262B2 (en) Image index routing
CN112948138A (zh) 一种处理消息的方法和装置
CN110019030B (zh) 分割文件的方法和装置
CN113271300B (zh) 一种认证的系统和方法
CN115658127A (zh) 数据处理的方法、装置、电子设备和存储介质
CN113992641A (zh) 一种数据处理方法、装置、设备及存储介质
CN110858240A (zh) 一种前端模块加载方法和装置
CN113312053A (zh) 一种数据处理的方法和装置
CN113779018A (zh) 一种数据处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant