CN105069163A - 网络请求处理方法和装置 - Google Patents

Abstract

本申请公开了一种网络请求处理方法和装置，其利用PHP语言中数据传输工具CURL的批处理功能模拟多线程处理方式，即首先创建CURL批处理句柄以及与各个URL请求对应的CURL请求，再通过该CURL批处理句柄同时对各个CURL请求进行处理，也即实现并行处理多个URL请求，不仅维护成本低，还可以大大缩减网络请求处理耗时，提高网页响应速度，提升用户体验。

Description

网络请求处理方法和装置

技术领域

本发明涉及数据处理技术领域，特别是涉及一种网络请求处理方法和装置。

背景技术

超文本预处理器(HypertextPreprocessor，PHP)，是一种在Web服务器端执行的HTML内嵌式脚本编程语言，PHP语言的一个重要应用是Web动态网页设计，其突出的特点就是单线程处理方式，即在处理网络请求时，同一时刻只存在一个线程、处理一个网络请求，不能在其脚本程序中创建另一个线程去同时执行其他请求，而是只能在当前脚本程序处理完当前的网络请求后，再创建下一个脚本程序去处理另外一个请求。

然而在实际应用中，用户在电脑客户端或移动客户端执行的一个线上操作通常会触发多个网络请求。例如：用户在某个社交网页上发布新信息或发表对其他用户的评论后，该用户的积分、等级就会发生相应的改变，网页向该用户推送的消息也会相应变化；其中，积分改变、等级改变、推送信息这三个事件就是三个并发的网络请求；如果采用现有基于PHP语言的单线程处理方式，该社交网页对应的Web服务器需要逐一对上述三个网络请求进行处理，用户也只能等待Web服务器对上述三个事件的请求都处理完成后，才能获得最新的网页响应。

可见，现有基于PHP语言的单线程处理方式，Web服务器在处理多个并发网络请求时，耗费时间较长，网络响应速度慢，从而导致用户等待时间长，操作体验好感度差。

发明内容

为了解决上述技术问题，本申请公开了一种网络请求处理方法和装置。

本申请第一方面提供了一种网络请求处理方法，所述方法包括：

当确认待处理的网络请求包含无时序关联的至少两个URL请求时，创建CURL批处理句柄；

为所述至少两个URL请求分别创建对应的CURL请求；

通过所述CURL批处理句柄并行处理所述CURL请求，得到所述URL请求对应的响应数据。

结合第一方面，在第一方面第一种可行的实施方式中，所述方法还包括：

在得到所述URL请求对应的响应数据之后，获取与所述响应数据对应的传输消息。

结合第一方面第一种可行的实施方式，在第一方面第二种可行的实施方式中，所述方法还包括：

如果所述传输信息中存在错误码，则将所述错误码记入错误日志中；

如果所述传输信息中不存在错误码，则获取并执行相应CURL请求对应的回调方法。

结合第一方面第一种可行的实施方式，在第一方面第三种可行的实施方式中，所述方法还包括：

在得到所述URL请求对应的响应数据之后，监听各个CURL请求对应的CURL文件描述符，并在所述CURL文件描述符改变时，执行所述获取与所述响应数据对应的传输消息。

结合第一方面第一种可行的实施方式，或者第一方面第二种可行的实施方式，或者第一方面第三种可行的实施方式，在第一方面第四种可行的实施方式中，所述方法还包括：

在获取与所述响应数据对应的传输消息之后，判断是否存在处于活跃状态的CURL请求；如果不存在，则释放所述CURL批处理句柄。

本申请第二方面提供了一种网络请求处理装置，所述装置包括：

批处理句柄创建单元，用于在确认待处理的网络请求包含无时序关联的至少两个URL请求时，创建CURL批处理句柄；

请求转换单元，用于为所述至少两个URL请求分别创建对应的CURL请求；

批处理单元，用于通过所述CURL批处理句柄并行处理所述CURL请求，得到所述URL请求对应的响应数据。

结合第二方面，在第二方面第一种可行的实施方式中，所述装置还包括：

传输消息获取单元，用于在得到所述URL请求对应的响应数据之后，获取与所述响应数据对应的传输消息。

结合第二方面第一种可行的实施方式，在第二方面第二种可行的实施方式中，所述装置还包括：

错误码处理单元，用于在所述传输信息中存在错误码时，将所述错误码记入错误日志中；

回调单元，用于在所述传输信息中不存在错误码时，获取并执行相应CURL请求对应的回调方法。

结合第二方面第一种可行的实施方式，在第二方面第三种可行的实施方式中，所述装置还包括：

监听单元，用于在得到所述URL请求对应的响应数据之后，监听各个CURL请求对应的CURL文件描述符，并在所述CURL文件描述符改变时，触发所述传输消息获取单元。

结合第二方面第一种可行的实施方式，或者第二方面第二种可行的实施方式，或者第二方面第三种可行的实施方式，在第二方面第四种可行的实施方式中，所述装置还包括：

处理状态监测单元，用于在获取与所述响应数据对应的传输消息之后，判断是否存在处于活跃状态的CURL请求；如果不存在，则释放所述CURL批处理句柄。

由以上技术方案可知，本申请实施例利用PHP语言中数据传输工具CURL的批处理功能模拟多线程处理方式，即首先创建CURL批处理句柄以及与各个URL请求对应的CURL请求，再通过该CURL批处理句柄同时对各个CURL请求进行处理，也即实现并行处理多个URL请求，不仅维护成本低，还可以大大缩减网络请求处理耗时，提高网页响应速度，提升用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一个实施例提供的网络请求处理方法的流程图；

图2为本申请另一个实施例提供的网络请求处理方法的的流程图；

图3为本申请又一个实施例提供的网络请求处理方法的的流程图；

图4为本申请一个实施例提供的网络请求处理装置的结构框图；

图5为本申请另一个实施例提供的网络请求处理装置的结构框图；

图6为本申请又一个实施例提供的网络请求处理装置的结构框图。

具体实施方式

首先对本申请提供的网络请求处理方法的实施例进行说明。本申请提供的网络请求处理方法应用于基于PHP语言搭建的Web服务器，以实现该Web服务器快速处理来自电脑客户端或移动客户端的网络请求。

图1为本申请实施例提供的一种网络请求处理方法的流程图。参照图1，该处理方法包括：

S11、当确认待处理的网络请求包含无时序关联的至少两个URL请求，创建CURL批处理句柄。

上述CURL是指PHP语言中一种利用URL语法规定来传输数据的工具，通过CURL批处理句柄可以实现批处理功能。

S12、为所述至少两个URL请求分别创建对应的CURL请求。

上述创建CURL请求的步骤，具体包括：根据URL请求个数，创建等数量的CURL请求句柄，并建立与URL请求之间的一一映射关系，分别初始化各个CURL请求句柄，批量设置各个CURL请求的参数选项。其中，该参数选项具体包括：相应的URL请求的URL，URL请求的过期时间，以及URL请求的POST字段等。

S13、通过所述CURL批处理句柄并行处理所述CURL请求，得到所述URL请求对应的响应数据。

本实施例利用CURL批处理功能来模拟多线程处理方式，通过调用curl_multi_exec函数解析CURL批处理句柄，依据各个CURL请求对应的URL获取响应数据，从而实现并行处理多个URL请求，可以大大缩减网络请求处理耗时，也即提高网页响应速度。

例如，一个页面中数据包含用户关注列表，用户排行，用户近期消费记录三种；在客户端请求展示该页面时，相当于同时向Web服务器发送了三个URL请求，分别为：获取用户关注列表的第一URL请求、获取用户排行的第二URL请求、获取用户近期消费记录的第三URL请求；相应的，第一URL请求对应的响应数据即用于展现用户关注列表的数据，第二URL请求对应的响应数据即用于展现用户排行的数据，第三URL请求对应的响应数据即用于展现用户近期消费记录的数据。其中，第一URL请求处理时间是200ms、第二URL请求处理时间是300ms、第三URL请求处理时间是300ms。若采用现有单线程处理方式，Web服务器所需的处理总时间长为200ms+300ms+300ms＝800ms，页面展现在客户端上所需的时间为1s左右。但是，若采用本实施例提供的处理方法，Web服务器会同时处理以上三个URL请求，所需的处理总时间长为300ms(以上三个URL请求中单个处理时长最大为300ms)，页面展现在客户端上所需的时间约为300ms至500ms。可见，相对于现有技术，本实施例可以大大缩减网络请求处理耗时，提高网页响应速度，提升用户体验。

需要说明的是，本申请实施例所述的网络请求主要包括由客户端发送到Web服务器的请求消息，相应的，CURL批处理过程中，响应数据由Web服务器通过网络传输至客户端，故各个CURL请求的处理速度受网络传输数据速度的限制，不能保证该各个请求处理完成的顺序，因此，本方案适用于无时序关联，即彼此相对独立的多个URL请求的场景。对于存在时序关联、必须按照一定的顺序处理的多个URL请求，可仍采用现有单线程处理方式，根据其时序关联顺序执行各个URL请求。

由以上步骤可知，本申请实施例利用PHP语言中CURL批处理功能模拟多线程处理方式，即首先创建CURL批处理句柄以及与各个URL请求对应的CURL请求，再通过该CURL批处理句柄同时对各个CURL请求进行处理，也即实现并行处理多个URL请求，不仅维护成本低，还可以大大缩减网络请求处理耗时，提高网页响应速度，提升用户体验。

另外，如果确认待处理的网络请求只有一个，则直接执行即可，不需要创建CURL批处理句柄；具体可以包括如下步骤：

将该URL请求的参数(包括请求的URL，请求过期时间，请求POST字段等)进行整合；

针对该URL请求初始化一个CURL会话，依据上述整合后的参数对该CURL会话参数进行设置，并执行该CURL会话；

获取该CURL会话返回的错误码，如果存在该错误码,则将其作为错误信息写入错误日志；

如果不存在上述错误码，则获取并执行该URL请求对应的回调方法,执行完成后关闭该CURL会话；如果不存在相应的回调方法，则直接关闭该CURL会话即可。

图2所示为本申请另一个实施例提供的网络请求处理方法的流程图。相对于图1所示实施例，图2所示实施例在步骤S13后还包括：

S14、获取与所述响应数据对应的传输消息。

本实施例具体可以通过调用curl_multi_info_read函数来获取上述传输消息；该传输消息具体可以包括：从单独的传输线程返回的错误码、指示响应数据是否已完成传输的报告等。

根据获取到的传输消息，本实施例提供的网络请求处理方法还包括：如果所述传输信息中存在错误码，则将所述错误码记入错误日志中，并释放相应的CURL请求句柄；如果所述传输信息中不存在错误码，则获取并执行相应CURL请求对应的回调方法，并在执行完该回调方法后释放相应的CURL请求句柄。具体的，本实施例根据步骤S12中创建CURL请求时得到的一一映射关系，获取与CURL请求对应的URL请求的回调方法。

仍参照图2，在步骤S14后，本实施例提供的网络请求处理方法还包括：

S15、判断是否存在处于活跃状态的CURL请求；如果存在处于活跃状态的CURL请求，则返回步骤S13，否则执行步骤S16；

S16、释放所述CURL批处理句柄。

在一种可行的具体实施方式中，通过获得响应数据时返回的PHP常量判读相应CURL请求是否处于活跃状态。具体的，如果返回的PHP常量为CURLM_OK，表明相应CURL请求已处理完成，如果返回的PHP常量为CURLM_CALL_MULTI_PERFORM，表明相应的CURL请求还没有处理完；如果返回的PHP常量中存在CURLM_CALL_MULTI_PERFORM，则可以判定存在处于活跃状态(即未处理完)的CURL请求，故等待以继续处理未完成的CURL请求，直至各个CURL请求返回的PHP常量均为CURLM_OK，则可以判定不存在处于活跃状态的CURL请求，即并发的多个URL请求全部处理完，从而可以释放CURL批处理句柄。

可见，本实施例通过监测CURL请求的活跃状态，来判断批处理的各个CURL请求是否已全部处理完成，可以保证成功获取到所有URL请求的响应数据，避免响应数据获取不完整。

上述实施例中，由于CURL请求的处理速度对网络传输速度的依赖性较强，在网络传输速度较低时，可能需要较长的时间才能传输完相关的响应数据。而步骤S13执行完成时只表明响应的CURL请求数据传输完成，其响应数据还未完全传输至客户端，在执行步骤S14时也就无法读取与响应数据对应的传输消息，返回继续执行S13，如此循环会导致循环取数据、判断是否有孩子执行的请求，导致处理器(CPU)IO飙升(频繁的输入、输出)，影响服务的稳定性。有鉴于此，本申请实施例提供了图3所示的网络请求处理方法。相对于图2，参照图3所示方法在步骤S13和S14之间还包括：

S13’、监听各个CURL请求对应的CURL文件描述符并判断所述CURL文件描述符是否改变，如果所述CURL文件描述符改变，则执行步骤S14，否则再次执行本步骤S13’。

本实施例通过监听CURL文件描述符对网络请求处理程序进行加锁，可以避免程序处于忙空转状态，避免IO飙升，进而保证服务的稳定性。

与上述网络请求处理方法的实施例相对应，本申请实施例还提供了一种网络请求处理装置，该装置同样应用于基于PHP语言搭建的Web服务器。图4为该网络请求处理装置的一种结构框图。参照图4，该装置包括：批处理句柄创建单元100、请求转换单元200和批处理单元300。

其中，该批处理句柄创建单元100用于，在确认待处理的网络请求包含无时序关联的至少两个URL请求时，创建CURL批处理句柄；

该请求转换单元200用于，为所述至少两个URL请求分别创建对应的CURL请求；

该批处理单元300用于，通过所述CURL批处理句柄并行处理所述CURL请求，得到所述URL请求对应的响应数据。

上述实施例提供的网络请求处理装置利用PHP语言中CURL批处理功能模拟多线程处理方式，即首先创建CURL批处理句柄以及与各个URL请求对应的CURL请求，再通过该CURL批处理句柄同时对各个CURL请求进行处理，也即实现并行处理多个URL请求，不仅维护成本低，还可以大大缩减网络请求处理耗时，提高网页响应速度，提升用户体验。

图5为本申请另一实施例提供的网络请求处理装置的结构框图。相对于图4，图5所示装置还包括：传输消息获取单元400。

该传输消息获取单元400用于，在得到所述URL请求对应的响应数据之后，获取与所述响应数据对应的传输消息。

基于上述传输消息获取单元400，上述网络请求处理装置还包括：错误码处理单元和回调单元。

其中，错误码处理单元用于，在所述传输信息中存在错误码时，将所述错误码记入错误日志中，并释放相应的CURL请求句柄。

回调单元用于，在所述传输信息中不存在错误码时，获取并执行相应CURL请求对应的回调方法，并在回调方法执行完成后释放相应的CURL请求句柄。

另外，图5所示装置还包括：处理状态监测单元500。该处理状态监测单元500用于，在获取与所述响应数据对应的传输消息之后，判断是否存在处于活跃状态的CURL请求；如果不存在，则释放所述CURL批处理句柄。

可见，本实施例通过监测CURL请求的活跃状态，来判断批处理的各个CURL请求是否已全部处理完成，可以保证成功获取到所有URL请求的响应数据，避免响应数据获取不完整。

图6为本申请又一实施例提供的网络请求处理装置的结构框图。相对于图5，图6所示装置还包括：监听单元600。

该监听单元600用于，在批处理单元300得到所述URL请求对应的响应数据之后，监听各个CURL请求对应的CURL文件描述符，并在所述CURL文件描述符改变时，触发所述传输消息获取单元400。

本实施例通过监听CURL文件描述符对网络请求处理程序进行加锁，可以避免程序处于忙空转状态，避免IO飙升，进而保证服务的稳定性。

另外，本申请实施例还提供了一种计算机存储介质，例如可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等；该计算机存储介质中存储有程序，当所述存储介质中的程序由服务端的处理器执行时，使得服务端能够执行上述方法实施例中记载的网络请求处理方法的部分或全部步骤。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件的方式来实现，通用硬件包括通用集成电路、通用CPU、通用存储器、通用元器件等，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种网络请求处理方法，其特征在于，所述方法包括：

当确认待处理的网络请求包含无时序关联的至少两个URL请求时，创建CURL批处理句柄；

为所述至少两个URL请求分别创建对应的CURL请求；

通过所述CURL批处理句柄并行处理所述CURL请求，得到所述URL请求对应的响应数据。

2.根据权利要求1所述的方法，其特征在于，还包括：

在得到所述URL请求对应的响应数据之后，获取与所述响应数据对应的传输消息。

3.根据权利要求2所述的方法，其特征在于，还包括：

如果所述传输信息中存在错误码，则将所述错误码记入错误日志中；

如果所述传输信息中不存在错误码，则获取并执行相应CURL请求对应的回调方法。

4.根据权利要求2所述的方法，其特征在于，还包括：

在得到所述URL请求对应的响应数据之后，监听各个CURL请求对应的CURL文件描述符，并在所述CURL文件描述符改变时，执行所述获取与所述响应数据对应的传输消息。

5.根据权利要求2至4所述的方法，其特征在于，还包括：

在获取与所述响应数据对应的传输消息之后，判断是否存在处于活跃状态的CURL请求；如果不存在，则释放所述CURL批处理句柄。

6.一种网络请求处理装置，其特征在于，包括：

批处理句柄创建单元，用于在确认待处理的网络请求包含无时序关联的至少两个URL请求时，创建CURL批处理句柄；

请求转换单元，用于为所述至少两个URL请求分别创建对应的CURL请求；

批处理单元，用于通过所述CURL批处理句柄并行处理所述CURL请求，得到所述URL请求对应的响应数据。

7.根据权利要求6所述的装置，其特征在于，还包括：

传输消息获取单元，用于在得到所述URL请求对应的响应数据之后，获取与所述响应数据对应的传输消息。

8.根据权利要求7所述的装置，其特征在于，还包括：

错误码处理单元，用于在所述传输信息中存在错误码时，将所述错误码记入错误日志中；

回调单元，用于在所述传输信息中不存在错误码时，获取并执行相应CURL请求对应的回调方法。

9.根据权利要求7所述的装置，其特征在于，还包括：

监听单元，用于在得到所述URL请求对应的响应数据之后，监听各个CURL请求对应的CURL文件描述符，并在所述CURL文件描述符改变时，触发所述传输消息获取单元。

10.根据权利要求7至9所述的装置，其特征在于，还包括：

处理状态监测单元，用于在获取与所述响应数据对应的传输消息之后，判断是否存在处于活跃状态的CURL请求；如果不存在，则释放所述CURL批处理句柄。