CN106470237A - 一种异步下载方法及系统 - Google Patents

Abstract

本发明提供的异步下载方法及系统，通过在DNS缓存中设置URL对应服务器的IP和端口号，使得对HTTPS网页实现异步下载，既满足可以HTTPS网页下载的功能，又可以进行异步下载，提高HTTPS网页的下载效率。

Description

一种异步下载方法及系统

技术领域

本发明涉及互联网领域，特别涉及一种异步下载方法及系统。

背景技术

超文本传输协议HTTP(中文：超文本传输协议，英文：HyperText TransferProtocol))协议被用于在Web浏览器和网站服务器之间传递信息。HTTP协议以明文方式发送内容，不提供任何方式的数据加密，如果攻击者截取了Web浏览器和网站服务器之间的传输报文，就可以直接读懂其中的信息，因此HTTP协议不适合传输一些敏感信息，比如信用卡号、密码等。

为了解决HTTP协议的这一缺陷，需要使用另一种协议：HTTPS(中文：安全套接字层超文本传输协议，英文：Hyper Text Transfer Protocol over SecureSocket Layer)协议，是以安全为目标的HTTP通道，为了数据传输的安全，HTTPS在HTTP的基础上加入了SSL(中文：安全套接字层，英文：SecureSocket Layer)协议，SSL依靠证书来验证服务器的身份，并为浏览器和服务器之间的通信加密。

WEB下载方式分为HTTP与FTP(中文：文件传输协议，英文：FileTransportation Protocol)两种类型，它们是计算机之间交换数据的方式，也是两种经典的下载方式，该下载方式原理非常简单，就是用户两种协议和提供文件的服务器取得联系并将文件搬到自己的计算机中来，从而实现下载的功能。

在WEB下载中包括了同步下载和异步下载两种方式，异步下载是指向目标网站发送连接请求时，无需等待下载是否完成都可继续发送请求，即不必等待对方网站返回数据，不停的向外发送数据，目前实现的异步下载网页的方式大多是HTTP网页，HTTPS的网页目前只支持同步下载，如python的一些下载库、linux中的wget命令和curl命令。Python库一般可以使用urllib2或requests(python在安装编译时要加入openssl)，利用wget命令和curl命令可以通过添加一些参数实现HTTPS网页的同步下载。

目前的技术解决方案中，无法实现HTTPS网页的异步下载，对于数据量较大的下载业务，很容易造成数据拥塞，特别是受到对方网站的响应时间的限制，如果存在大量链接超时情况，则对下载效率的影响更大。

发明内容

有鉴于此，本发明实施例提供了一种异步下载方法及系统。

本发明的一个目的是提供一种异步下载方法，包括：

接收逻辑控制发送模块的请求数据包；

获取所述请求数据包中的统一资源定位符链接URL；

当所述URL为HTTPS请求时记录所述URL的用于信息统计和下载完毕后打包信息的第一信息并存储至异步请求队列，所述第一信息包括URL长度、URL域名解析得到IP地址以及发送URL的逻辑控制发送模块ID；

初始化所述URL的发送请求信息；

配置DNS缓存并将与所述URL指向的IP和端口号放置到所述DNS缓存中；

将所述发送请求信息和所述第一信息加入到所述异步请求队列中启动下载；

当监听到所述异步请求队列完成下载时根据所述第一信息将下载数据进行发送至所述逻辑控制发送模块。

进一步地、所述接收逻辑控制发送模块的请求数据包，包括：

监听网络端口；

接收逻辑控制发送模块的ASN抽象语法标记格式数据包；

所述获取所述请求数据包中的统一资源定位符链接URL，包括：

获取ASN抽象语法标记格式数据包中的统一资源定位符链接URL。

进一步地，所述获取ASN抽象语法标记格式数据包中的统一资源定位符链接URL之前，还包括：

判断所述ASN格式数据包是否是合法请求，若为合法请求，执行后续步骤。

进一步地，所述初始化URL的发送请求信息，包括：

设置HTTPS请求的头部；

是否支持URL跳转；

是否设置代理；

设置记录下载结果的变量；以及

是否验证所述URL所访问的HTTPS站点的证书。

进一步地，所述当监听到所述异步请求队列完成下载时根据所述第一信息将下载数据进行发送至所述逻辑控制发送模块，包括：

监听所述异步请求队列的下载情况；

当下载完成时将下载数据封装成ASN格式的返回包；

根据所述第一信息的内容将所述ASN格式的返回包发送至所述逻辑控制发送模块。

进一步地，所述当监听到所述异步请求队列完成下载时根据所述第一信息将下载数据进行发送至所述逻辑控制发送模块之后，还包括：

将所述异步请求队列中与所述下载数据对应的所述第一信息删除。

本发明的另一个目的是提供一种异步下载系统，包括：

接收单元，用于接收逻辑控制发送模块的请求数据包；

获取单元，用于获取所述请求数据包中的统一资源定位符链接URL；

存储单元，用于当所述URL为HTTPS请求时记录所述URL的用于信息统计和下载完毕后打包信息的第一信息并存储至异步请求队列，所述第一信息包括URL长度、URL域名解析得到IP地址以及发送URL的逻辑控制发送模块ID；

初始化单元，用于初始化所述URL的发送请求信息；

配置单元，用于配置DNS缓存并将与所述URL指向的IP和端口号放置到所述DNS缓存中；

下载单元，用于将所述发送请求信息和所述第一信息加入到所述异步请求队列中启动下载；

发送单元，用于当监听到所述异步请求队列完成下载时根据所述第一信息将下载数据进行发送至所述逻辑控制发送模块。

进一步地，所述接收单元还用于监听网络端口以及接收逻辑控制发送模块的ASN抽象语法标记格式数据包；

所述获取单元还用于获取ASN抽象语法标记格式数据包中的统一资源定位符链接URL。

进一步地，所述异步下载系统还包括：

判断单元，用于判断所述ASN格式数据包是否是合法请求，若为合法请求则通知所述获取单元。

进一步地，所述初始化单元还用于设置HTTPS请求的头部、是否支持URL跳转、是否设置代理、设置记录下载结果的变量以及是否验证所述URL所访问的HTTPS站点的证书。

进一步地，所述发送单元还用于监听所述异步请求队列的下载情况、当下载完成时将下载数据封装成ASN格式的返回包以及根据所述第一信息的内容将所述ASN格式的返回包发送至所述逻辑控制发送模块。

进一步地、所述异步下载系统还包括：

删除单元，用于将所述异步请求队列中与所述下载数据对应的所述第一信息删除。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明提供的异步下载方法及系统，通过在DNS缓存中设置URL对应服务器的IP和端口号，使得对HTTPS网页实现异步下载，既满足可以HTTPS网页下载的功能，又可以进行异步下载，提高HTTPS网页的下载效率。

附图说明

图1是本发明提供的异步下载方法的一种实施例的流程图；

图2是本发明提供的异步下载方法的另一种实施例的流程图；

图3是本发明提供的异步下载系统的一种实施例的结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

结合图所示，本发明的异步下载方法一种实施例，包括：

S101、接收逻辑控制发送模块的请求数据包。

逻辑控制发送模块(简称：LCS，英文：Logic Control Sender)，请求数据包可以按照一定格式进行发送，，请求数据包中包括了统一资源定位符链接URL，逻辑控制发送模块将请求数据包发送至服务器，服务器可以对请求数据包进行解析，请求数据包的格式可以采用ASN(中文：抽象语法标记，英文：Abstract Syntax Notation)，ASN是一种对数据进行表示、编码、传输和解码的数据格式，本领域普通技术人员应当了解，不进行具体介绍。

S102、获取所述请求数据包中的统一资源定位符链接URL。

URL(中文：统一资源定位符，英文：Uniform Resource Locator)，即在通常使用时用户在浏览器中输入的网址，例如，搜索“百度公司”，可以在地址栏中输入“HTTPS://www.baidu.com/”，而这个网址就称为URL，接收到请求数据包后需要进行解析，解析出请求数据包中的URL，即用户向下载资源的目标位置，再利用域名解析既可以获得该URL对应的IP(中文：网络之间互连的协议，英文：Internet Protocol)地址，利用IP地址可以进行访问。

S103、当所述URL为HTTPS请求时记录所述URL的用于信息统计和下载完毕后打包信息的第一信息并存储至异步请求队列，所述第一信息包括URL长度、URL域名解析得到IP地址以及发送URL的逻辑控制发送模块ID(中文：身份标识，英文：identity)。

当对请求数据包进行解析后得到的URL后，对URL的链接类型进行判断，链接类型可以包括http链接、HTTPS链接、ftp(中文：文件传输协议，英文：File Transfer Protocol)链接或ftps(一种多传输协议，相当于加密版的FTP)链接等，当判断解析得到的URL为HTTPS链接则进行记录该URL的第一信息，第一信息用于在信息统计和下载完毕后打包信息使用，将这个第一信息存储至异步请求队列中，所述的异步请求队列是由key-value组成的列表形式，即K-V存储，key是URL初始化后数据结构的地址，value是第一信息中的各种信息记录的数据结构，所述第一信息包括URL长度、URL域名解析得到IP地址以及发送URL的逻辑控制发送模块ID(中文：身份标识，英文：identity)。

S104、初始化所述URL的发送请求信息。

S104中，初始化的操作可以采用爬虫技术的常用手段，利用模拟浏览器去访问网络，初始化的内容可以包括是否支持URL跳转，是否设置代理，设置记录下载结果的变量以及是否验证所述URL所访问的HTTPS站点的证书，值得一提的是，是否验证所述URL所访问的HTTPS站点的证书，在浏览器中访问HTTPS网页都是要通过证书验证才能正常访问的，一旦遇到不可信任站点，浏览器会给出警告，这样可以防止访问站点是不可信站点，提高安全性，本领域普通技术人员应当了解，不进行赘述。

S105、配置DNS缓存并将与所述URL指向的IP和端口号放置到所述DNS缓存中。

本方案中，为了实现异步下载，增加了DNS(中文：域名系统，英文：Domain Name System)缓存结构，预先将所述URL对应的IP地址和端口号解析出然后放置在DNS缓存中，提前解析出IP和端口号可以跳过函数getaddrinfo的调用，这里的提前解析也是利用域名解析，预先进行解析，而不是现场调用函数getaddrinfo，这样可以避免用色，因为通常在HTTPS请求过程中，要经过一个域名解析过程，即函数getaddrinfo的调用，由于函数getaddrinfo是拥塞、非异步的函数，严重影响下载的效率，所以设置了一个DNS缓存，把相应的IP和端口号直接设置到下载请求的缓存中，避免的拥塞的现象产生，实现真正的异步下载。

S106、将所述发送请求信息和所述第一信息加入到所述异步请求队列中启动下载。

将发送请求信息和所述第一信息加入到异步请求队列中即可启动下载，对应异步请求队列的构成前文中以进行介绍，此处不作赘述。

S107、当监听到所述异步请求队列完成下载时根据所述第一信息将下载数据进行发送至所述逻辑控制发送模块。

在进行异步请求下载的过程中，需要监听异步请求队列的下载情况，出现情况则可以立即进行处理，提高处理效率，下载情况可以包括两种情况：下载完成和下载出错，而下载出错中可以包括多种错误情况，例如：连接异常、拒绝接受该URL、连接超时等，每种下载错误都对应一个错误码，本领域普通技术人员应当了解，不做限定，监听到下载出错信息后，可将错误码返回至逻辑控制发送模块进行反馈；当下载完成时根据存储在异步请求队列中的第一信息可以确定该下载的请求方地址，即第一信息中的发送URL的逻辑控制发送模块ID，对下载得到的数据进行处理后发送至逻辑控制发送模块，完成异步下载操作，需要说明的是，再向逻辑控制发送模块发送之前可以对下载得到的数据进行ASN格式的封装，得到ASN格式的返回包，将ASN格式的返回包发送至逻辑控制发送模块，当然，处理的方式也可以采用其他方式，此处不做限定。

本发明提供的异步下载方法，通过增加DNS缓存预先放置URL对应的IP和端口号，使得HTTPS下载实现异步下载，既满足可以下载HTTPS网页的功能，又可以进行异步下载，很大程度的提升了效率，提高下载效率。

结合图2所示，本发明的异步下载方法还提供了一种实施例，包括；

S201、监听网络端口。

通过监听网络端口，可以获得逻辑控制发送模块发送的ASN格式数据包。

S202、接收逻辑控制发送模块的ASN抽象语法标记格式数据包。

ASN格式数据包中包括了请求下载的URL，即下载资源的所在位置，通过对ASN格式数据包的解析可以得到URL。

S203、判断所述ASN格式数据包是否是合法请求，若为合法请求执行S204，若为不合法请求则执行S201。

为了提高安全性，判断ASN格式数据包中的请求是否合法，对于合法请求则仅需执行后续操作，若不是合法请求则忽略该ASN格式数据包，继续监听网络端口，准备接收新的ASN格式数据包。

S204、获取ASN抽象语法标记格式数据包中的统一资源定位符链接URL。

验证ASN格式的数据包中的请求是合法之后，对ASN格式的数据包进行解析以获得下载资源对应的URL，对于对ASN格式数据包的解析操作，本领与普通技术人员应当了解，此处不作赘述。

S205、当所述URL为HTTPS请求时记录所述URL的用于信息统计和下载完毕后打包信息的第一信息并存储至异步请求队列，所述第一信息包括URL长度、URL域名解析得到IP地址以及发送URL的逻辑控制发送模块ID。

步骤205与上文中S103相类似，此处不进行赘述。

S206、初始化URL的发送请求信息。

初始化的操作可以包括设置HTTPS请求的头部、是否支持URL跳转、是否设置代理、设置记录下载结果的变量以及是否验证所述URL所访问的HTTPS站点的证书，具体可参见S104，此处不作赘述。

S207、配置DNS缓存并将与所述URL指向的IP和端口号放置到所述DNS缓存中。

步骤S207与上文中S105相类似，为了避免内容重复，此处不作赘述

S208、将所述发送请求信息和所述第一信息加入到所述异步请求队列中启动下载。

将发送请求信息和所述第一信息加入到异步请求队列中即可启动下载。

S209、监听所述异步请求队列的下载情况，若下载完成执行S210，若下载出错执行S213。

在进行异步请求下载的过程中，需要监听异步请求队列的下载情况，出现情况则可以立即进行处理，提高处理效率。

S210、当下载完成时将下载数据封装成ASN格式的返回包；

S211、根据所述第一信息的内容将所述ASN格式的返回包发送至所述逻辑控制发送模块。

S212、将所述异步请求队列中与所述下载数据对应的所述第一信息删除。

由于异步请求队列在进行异步下载时需要不停地接收数据，不停地发送数据，否则异步请求队列会无限增大，导致性能下降，所以在下载完成得到的下载数据封装称为ASN格式返回包发送至逻辑控制发送模块后，需要将异步请求队列中对下载数据的第一信息进行删除，保证异步请求队列中的空间足够处理新的异步下载请求。

S213、当下载出错时，向逻辑控制发送模块返回错误码。

根据错误码可以获悉下载出错的原因，方便用户及时对下载出错的操作进行处理，本领与普通技术人员应当了解，具体不做限定。

结合图3所示，上面介绍了异步下载方法，对应地，本文还提供了异步下载系统，下面进行具体介绍：

异步下载系统的一种实施例，包括：

接收单元301，用于接收逻辑控制发送模块的请求数据包；

获取单元302，用于获取所述请求数据包中的统一资源定位符链接URL；

存储单元303，用于当所述URL为HTTPS请求时记录所述URL的用于信息统计和下载完毕后打包信息的第一信息并存储至异步请求队列，所述第一信息包括URL长度、解析得到DNS地址以及URL标识位；

初始化单元304，用于初始化所述URL的发送请求信息；

配置单元305，用于配置DNS缓存并将与所述URL指向的IP和端口号放置到所述DNS缓存中；

下载单元306，用于将所述发送请求信息和所述第一信息加入到所述异步请求队列中启动下载；

发送单元307，用于当监听到所述异步请求队列完成下载时根据所述第一信息将下载数据进行发送至所述逻辑控制发送模块。

进一步地，所述接收单元301还用于监听网络端口以及接收逻辑控制发送模块的ASN抽象语法标记格式数据包；

所述获取单元302还用于获取ASN抽象语法标记格式数据包中的统一资源定位符链接URL。

进一步地，所述异步下载系统还包括：

判断单元308，用于判断所述ASN格式数据包是否是合法请求，若为合法请求则通知所述获取单元。

进一步地，所述初始化单元304还用于设置HTTPS请求的头部、是否支持URL跳转、是否设置代理、设置记录下载结果的变量以及是否验证所述URL所访问的HTTPS站点的证书。

进一步地，所述发送单元307还用于监听所述异步请求队列的下载情况、当下载完成时将下载数据封装成ASN格式的返回包以及根据所述第一信息的内容将所述ASN格式的返回包发送至所述逻辑控制发送模块。

进一步地，所述异步下载系统还包括：

删除单元309，用于将所述异步请求队列中与所述下载数据对应的所述第一信息删除。

本发明提供的异步下载方法及系统，通过在DNS缓存中设置URL对应服务器的IP和端口号，使得对HTTPS网页实现异步下载，既满足可以HTTPS网页下载的功能，又可以进行异步下载，提高HTTPS网页的下载效率。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上对本发明所提供的一种异步下载方法及系统进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种异步下载方法，其特征在于，包括：

接收逻辑控制发送模块的请求数据包；

获取所述请求数据包中的统一资源定位符链接URL；

当所述URL为HTTPS请求时记录所述URL的用于信息统计和下载完毕后打包信息的第一信息并存储至异步请求队列，所述第一信息包括URL长度、URL域名解析得到IP地址以及发送URL的逻辑控制发送模块ID；

初始化所述URL的发送请求信息；

配置DNS缓存并将与所述URL指向的IP和端口号放置到所述DNS缓存中；

将所述发送请求信息和所述第一信息加入到所述异步请求队列中启动下载；

当监听到所述异步请求队列完成下载时根据所述第一信息将下载数据进行发送至所述逻辑控制发送模块。

2.根据权利要求1所述的异步下载方法，其特征在于，所述接收逻辑控制发送模块的请求数据包，包括：

监听网络端口；

接收逻辑控制发送模块的ASN抽象语法标记格式数据包；

所述获取所述请求数据包中的统一资源定位符链接URL，包括：

获取ASN抽象语法标记格式数据包中的统一资源定位符链接URL。

3.根据权利要求2所述的异步下载方法，其特征在于，所述获取ASN抽象语法标记格式数据包中的统一资源定位符链接URL之前，还包括：

判断所述ASN格式数据包是否是合法请求，若为合法请求，执行后续步骤。

4.根据权利要求1所述的异步下载方法，其特征在于，所述初始化URL的发送请求信息，包括：

设置HTTPS请求的头部；

是否支持URL跳转；

是否设置代理；

设置记录下载结果的变量；以及

是否验证所述URL所访问的HTTPS站点的证书。

5.根据权利要求1所述的异步下载方法，其特征在于，所述当监听到所述异步请求队列完成下载时根据所述第一信息将下载数据进行发送至所述逻辑控制发送模块，包括：

监听所述异步请求队列的下载情况；

当下载完成时将下载数据封装成ASN格式的返回包；

根据所述第一信息的内容将所述ASN格式的返回包发送至所述逻辑控制发送模块。

6.根据权利要求1所述的异步下载方法，其特征在于，所述当监听到所述异步请求队列完成下载时根据所述第一信息将下载数据进行发送至所述逻辑控制发送模块之后，还包括：

将所述异步请求队列中与所述下载数据对应的所述第一信息删除。

7.一种异步下载系统，其特征在于，包括：

接收单元，用于接收逻辑控制发送模块的请求数据包；

获取单元，用于获取所述请求数据包中的统一资源定位符链接URL；

存储单元，用于当所述URL为HTTPS请求时记录所述URL的用于信息统计和下载完毕后打包信息的第一信息并存储至异步请求队列，所述第一信息包括URL长度、URL域名解析得到IP地址以及发送URL的逻辑控制发送模块ID；

初始化单元，用于初始化所述URL的发送请求信息；

配置单元，用于配置DNS缓存并将与所述URL指向的IP和端口号放置到所述DNS缓存中；

下载单元，用于将所述发送请求信息和所述第一信息加入到所述异步请求队列中启动下载；

发送单元，用于当监听到所述异步请求队列完成下载时根据所述第一信息将下载数据进行发送至所述逻辑控制发送模块。

8.根据权利要求7所述的异步下载系统，其特征在于，所述接收单元还用于监听网络端口以及接收逻辑控制发送模块的ASN抽象语法标记格式数据包；

所述获取单元还用于获取ASN抽象语法标记格式数据包中的统一资源定位符链接URL。

9.根据权利要求8所述的异步下载系统，其特征在于，还包括：

判断单元，用于判断所述ASN格式数据包是否是合法请求，若为合法请求则通知所述获取单元。

10.根据权利要求7所述的异步下载系统，其特征在于，所述初始化单元还用于设置HTTPS请求的头部、是否支持URL跳转、是否设置代理、设置记录下载结果的变量以及是否验证所述URL所访问的HTTPS站点的证书。

11.根据权利要求7所述的异步下载系统，其特征在于，所述发送单元还用于监听所述异步请求队列的下载情况、当下载完成时将下载数据封装成ASN格式的返回包以及根据所述第一信息的内容将所述ASN格式的返回包发送至所述逻辑控制发送模块。

12.根据权利要求7所述的异步下载系统，其特征在于，还包括：

删除单元，用于将所述异步请求队列中与所述下载数据对应的所述第一信息删除。