CN104580495A - 网络请求处理方法和装置 - Google Patents

Abstract

本发明提供一种网络请求处理方法和装置。该方法包括：将至少两条原始网络请求进行合并，产生合并处理请求和合并原始请求并记录对应关系，其中，所述合并原始请求包括所述至少两条原始网络请求；获取基于所述合并处理请求进行资源申请的合并处理结果；根据所述合并处理请求和合并原始请求之间的对应关系，将所述合并处理结果中所分配的资源，按照预设拆分规则分配给所述原始网络请求。本发明能够将合并处理结果精细化的拆分给各个原始网络请求，实现了大量网络请求准实时合并处理并精确拆分处理结果。

Description

网络请求处理方法和装置

技术领域

本发明实施例涉及网络数据处理技术，尤其涉及一种网络请求处理方法和装置。

背景技术

现有网络中，经常出现大量的网络请求，用于请求服务器分配资源。所请求分配的资源可以包括多个种类，例如进行计费时请求分配的资源是从账户中进行余额扣除，在需要传输数据时请求分配的资源是从总流量中进行流量分配，在申请业务服务时请求分配的资源是能够提供业务的服务器能力。

对于各种网络请求，由于请求的数量巨大，或者单次网络请求所申请的资源数过少等原因，服务器中的请求处理模块不便于一一的处理各个单次的网络请求。因此现有技术中采取了对大量网络请求进行合并，统一申请资源的方式来解决此问题。

但是，现有网络请求合并技术，在统一申请资源后，无法直观得到单个网络请求的处理结果，使得基于单个网络请求处理结果的后续工作无法进行，如对单个网络请求处理结果的统计工作无法实施。

发明内容

本发明实施例提供一种网络请求处理方法和装置，以优化大量网络请求的合并处理方式，获取更精细化的网络请求处理结果。

第一方面，本发明实施例提供了一种网络请求处理方法，包括：

将至少两条原始网络请求进行合并，产生合并处理请求和合并原始请求并记录对应关系，其中，所述合并原始请求包括所述至少两条原始网络请求；

获取基于所述合并处理请求进行资源申请的合并处理结果；

根据所述合并处理请求和合并原始请求之间的对应关系，将所述合并处理结果中所分配的资源，按照预设拆分规则分配给所述原始网络请求。。

第二方面，本发明实施例还提供了一种网络请求处理装置，包括：

请求合并模块，用于将至少两条原始网络请求进行合并，产生合并处理请求和合并原始请求并记录对应关系，其中，所述合并原始请求包括所述至少两条原始网络请求；

结果获取模块，用于获取基于所述合并处理请求进行资源申请的合并处理结果；

结果拆分模块，用于根据所述合并处理请求和合并原始请求之间的对应关系，将所述合并处理结果中所分配的资源，按照预设拆分规则分配给所述原始网络请求。

本发明实施例的技术方案，通过记录合并处理请求和合并原始请求的对应关系，保留了单个原始网络请求的细粒度信息，能够将合并处理结果精细化的拆分给各个原始网络请求，使请求发起方能够获取到更详细的结果展示，使得网络请求的合并处理效果对于请求方而言，等价于对大量网络请求的一一处理，实现了大量网络请求准实时合并处理并精确拆分处理结果。

附图说明

图1为本发明实施例一提供的一种网络请求处理方法的流程图；

图2为本发明实施例所适用的系统网络架构示意图；

图3是本发明实施例二提供的一种网络请求处理装置的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种网络请求处理方法的流程图，该方法可由网络请求处理装置来执行，该装置通常配置在用于处理原始网络请求的服务器中。该服务器可以在获取到原始网络请求后进行合并处理，再发送给可分配资源的服务器进行资源申请，而后将处理结果拆分，供各原始网络请求的发起方进行查询。

图2为本发明实施例所适用的系统网络架构示意图，如图2所示，该系统包括两部分，一部分为请求合并部分，至少包括有请求合并模块、结果获取模块和结果拆分模块，用于完成请求的合并、查询和拆分，此过程可以在单机的一个进程中实现，也可以通过单机的多个进程实现，还可基于分布式实时计算平台实现，对单个原始网络请求的处理时延可控制在秒级别；另一部分为请求处理部分，设置在分配资源的服务器侧，可包括用于分配资源的请求处理模块，进一步的可设置数据库(DB)，用于保存处理结果。

下面结合系统架构介绍本实施例所提供的方法，该方法包括：

S110、将至少两条原始网络请求进行合并，产生合并处理请求和合并原始请求并记录对应关系，其中，所述合并原始请求包括所述至少两条原始网络请求；

上述操作可以由请求合并模块来执行。请求合并模块能够接收到大量的原始网络请求，其将原始网络请求按照合并键值(key)来进行分类，以便合并处理。合并键值是能够合并处理的原始网络请求的共有特征信息，例如向同一账户申请余额扣除，则合并键值为此账户名。合并后生成的合并处理请求中至少包括此合并键值以及各原始网络请求申请资源的累加值，以便通过少量的基础信息就可以完成资源的申请，可减少请求合并模块与请求处理模块之间网络交互量。合并原始请求中包括各原始网络请求，并建立了合并原始请求与合并处理请求之间的对应关系，以便进行后续的结果拆分。合并原始请求包含了各原始网络请求的所有信息，但可不经过网络传输。

S120、获取基于所述合并处理请求进行资源申请的合并处理结果；

合并处理请求发送至请求处理模块后，可产生合并处理结果，并存储在数据库中。合并处理结果可实时地、或在查询时反馈给结果获取模块，优选的是，结果获取模块记录合并处理请求和合并原始请求之间的对应关系，在需要查询原始网络请求的处理结果时，结果获取模块通过此对应关系，从请求处理模块中查询获取与合并原始请求对应的合并处理请求的合并处理结果，因此，结果获取模块又可称为结果查询模块。

S130、根据所述合并处理请求和合并原始请求之间的对应关系，将所述合并处理结果中所分配的资源，按照预设拆分规则分配给所述原始网络请求。

由于已经记录了合并处理请求和合并原始请求之间的对应关系，所以可以由结果拆分模块将合并处理结果精细化的拆分给各个原始网络请求，优选如图2所示，结果获取模块将附着有合并处理结果的合并原始请求发送给结果拆分模块，以进行结果拆分操作。

对于合并处理结果的拆分，可以根据所述合并处理请求和合并原始请求之间的对应关系，将接收到的所述合并处理结果中所分配的资源，按照预设拆分规则在线或离线分配给所述原始网络请求。

优选采用实时地在线拆分方式，在线拆分方式能够实时拆分生成各原始网络请求的资源分配结果，查询的时效性强。离线拆分方式可以采用离线hadoop任务的方式来拆分合并处理结果，也能够满足单个网络请求的结果查询需求。

预设拆分规则可以有多种，典型的情况如下：合并处理结果可能包括了三种情况，即申请的资源能够全部满足(YES)、不满足(NO)、以及部分满足(PART)，基于不同的情况，对于结果拆分操作的执行可以优选如下：

如果识别到所述合并处理结果为满足，则根据所述合并处理请求和合并原始请求之间的对应关系，为各所述原始网络请求分配所申请的资源，即每个原始网络请求的处理结果均为满足(YES)；

如果识别到所述合并处理结果为不满足，则根据所述合并处理请求和合并原始请求之间的对应关系，确定为各所述原始网络请求分配资源失败，即每个原始网络请求的处理结果均是申请到的资源为零(NO)；

如果识别到所述合并处理结果为部分满足，则根据所述合并处理请求和合并原始请求之间的对应关系，将所述合并处理结果中所分配的资源按照预设分配规则分配给各原始网络请求。

对于申请到部分资源的情况，即申请到的资源小于资源的累加值时，则需按照预设分配规则将资源分配给部分原始网络请求。预设分配规则可以根据实际的网络请求场景、资源分配情况等因素来确定。优选是预设分配规则为顺序、平均、按比例或按优先级分配等。

以顺序分配为例，具体实现方式为：将各原始网络请求在合并原始请求中顺序存储，例如按照请求的接收顺序；在分配资源时，按照原始网络请求的顺序进行资源分配，在先的请求优先得到满足。此分配规则可适用于多种场景。例如CPM(每千次展示费用，CostPerMileImpressions)广告计费的应用场景，即按千次展示进行收费的广告形式。每条原始网络请求所申请的资源是从账户中扣除的费用数额，当产生多条对同一账户进行计费的网络请求时，则可以将多条原始网络请求进行合并处理，累计扣费值，统一从账户中扣除。对于余额不足的情况，则可能出现合并处理结果为部分满足的情况。则在拆分合并处理结果时，可以按照原始网络请求的顺序，将能够扣除的余额顺序分配给原始网络请求。无法分配资源的原始网络请求的处理结果则呈现无法扣费的请求失败状态。

对于其他分配规则，例如平均分配或按比例分配，可适用于需要满足尽量多的网络请求，且可以给单个请求分配部分资源的场景。按照优先级分配的规则，可以适用于原始网络请求存在优先顺序的场景，例如具有不同优先等级的客户所发送的原始网络请求，即可按照客户等级进行请求的优先级排序，拆分结果时优先满足高优先级的原始网络请求。

上述预设分配规则可以单独采用，也可以结合采用。

本发明实施例的技术方案，通过记录合并处理请求和合并原始请求的对应关系，保留了单个原始网络请求的细粒度信息，能够将合并处理结果精细化的拆分给各个原始网络请求，使请求发起方能够获取到更详细的结果展示，使得网络请求的合并处理效果对于请求方而言，等价于对大量网络请求的一一处理，实现了大量网络请求准实时合并处理并精确拆分处理结果。

上述技术方案对于多种业务场景都提供了有力的支持，例如CPM广告计费场景，合并处理的方式能够适应大量计费请求的快速处理，计费处理结果的精细化拆分，可生成与展现日志一一对应的CPM计费日志，不丢失任何展现信息，便于业务方做细粒度的消费统计，评估业务发展情况；同时业务方可向客户披露准确的消费数据，彻底规避使用原始展现日志统计而导致消费不一致的投诉，进一步促进CPM产品的业务发展。

在本实施例技术方案的基础上，对于网络请求的合并处理操作优选采用如下方式，即，将至少两条原始网络请求进行合并，产生合并处理请求和合并原始请求并记录对应关系的操作具体包括：

将接收到的原始网络请求按照相同的合并键值进行保存，并累加所述原始网络请求申请的资源；为便于监测数量或时间，优选在保存原始网络请求时，更新请求的条数与距上次合并的时间间隔，同时将原始网络请求按先后顺序保存在合并键值对应的列表中；

如果保存的原始网络请求的数量达到预设数量门限值，或者，当前时间距离上次合并处理时间的间隔达到预设时间门限值时，根据所述合并键值和累加的资源产生所述合并处理请求，并根据保存的所述原始网络请求产生合并原始请求；

生成唯一标识，分配给所述合并处理请求和合并原始请求。

上述过程中，可以保证原始网络请求被及时的合并，也即能够及时得到处理，避免延误。为合并处理请求和合并原始请求所分配的唯一标识，能够建立两者的一一对应关系，也是后续拆分合并处理结果的依据。在存储合并处理结果时，可选用此唯一标识为存储键值，合并处理结果作为存储值(value)，对于合并原始请求，可根据唯一标识从数据库中查出对应的合并处理结果。

唯一标识优选可以由机器IP、进程ID、时间戳和/或序列号组合而成，当然也可以为其他标识，只要能够唯一标识此次合并操作即可。机器IP是对请求进行合并的机器的IP地址，进程ID为对请求进行合并的进程的ID，在一台机器中可以由单一进程或多个进程进行请求的合并处理，时间戳为合并时的时间信息，序列号是为该此合并分配的序列编号，能够便于标识此次合并操作。如果采用多线程同时处理请求的一次合并操作，则序列号对各线程同步，以标识该次合并的各原始网络请求。

实施例二

图3为本发明实施例二提供的一种网络请求处理装置的结构示意图，该装置包括：请求合并模块310、结果获取模块320和结果拆分模块330。

其中，请求合并模块310，用于将至少两条原始网络请求进行合并，产生合并处理请求和合并原始请求并记录对应关系，其中，所述合并原始请求包括所述至少两条原始网络请求；结果获取模块320，用于获取基于所述合并处理请求进行资源申请的合并处理结果；结果拆分模块330，用于根据所述合并处理请求和合并原始请求之间的对应关系，将所述合并处理结果中所分配的资源，按照预设拆分规则分配给所述原始网络请求。

本发明实施例的技术方案，通过记录合并处理请求和合并原始请求的对应关系，保留了单个原始网络请求的细粒度信息，能够将合并处理结果精细化的拆分给各个原始网络请求，使请求发起方能够获取到更详细的结果展示，使得网络请求的合并处理效果对于请求方而言，等价于对大量网络请求的一一处理，实现了大量网络请求准实时合并处理并精确拆分处理结果。

在上述方案中，所述结果拆分模块330具体可用于：

如果识别到所述合并处理结果为满足，则根据所述合并处理请求和合并原始请求之间的对应关系，为各所述原始网络请求分配所申请的资源；

如果识别到所述合并处理结果为不满足，则根据所述合并处理请求和合并原始请求之间的对应关系，确定为各所述原始网络请求分配资源失败；

如果识别到所述合并处理结果为部分满足，则根据所述合并处理请求和合并原始请求之间的对应关系，将所述合并处理结果中所分配的资源按照预设分配规则分配给各原始网络请求。

所述预设分配规则优选为顺序、平均、按比例或按优先级分配。

对于所述请求合并模块310，具体可包括：请求保存单元311、请求产生单元312和请求标识单元313。

其中，请求保存单元311，用于将接收到的原始网络请求按照相同的合并键值进行保存，并累加所述原始网络请求申请的资源；请求产生单元312，用于如果保存的原始网络请求的数量达到预设数量门限值，或者，当前时间距离上次合并处理时间的间隔达到预设时间门限值时，根据所述合并键值和累加的资源产生所述合并处理请求，并根据保存的所述原始网络请求产生合并原始请求；请求标识单元313，用于生成唯一标识，分配给所述合并处理请求和合并原始请求。

进一步的可选的，所述结果拆分模块330具体可用于：根据所述合并处理请求和合并原始请求之间的对应关系，将接收到的所述合并处理结果中所分配的资源，按照预设拆分规则在线或离线分配给所述原始网络请求。

上述产品可执行本发明任意实施例所提供的网络请求处理方法，具备执行方法相应的功能模块和有益效果。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种网络请求处理方法，其特征在于，包括：

将至少两条原始网络请求进行合并，产生合并处理请求和合并原始请求并记录对应关系，其中，所述合并原始请求包括所述至少两条原始网络请求；

获取基于所述合并处理请求进行资源申请的合并处理结果；

根据所述合并处理请求和合并原始请求之间的对应关系，将所述合并处理结果中所分配的资源，按照预设拆分规则分配给所述原始网络请求。

2.根据权利要求1所述的方法，其特征在于，根据所述合并处理请求和合并原始请求之间的对应关系，将所述合并处理结果中所分配的资源，按照预设拆分规则分配给所述原始网络请求包括：

如果识别到所述合并处理结果为满足，则根据所述合并处理请求和合并原始请求之间的对应关系，为各所述原始网络请求分配所申请的资源；

如果识别到所述合并处理结果为不满足，则根据所述合并处理请求和合并原始请求之间的对应关系，确定为各所述原始网络请求分配资源失败；

如果识别到所述合并处理结果为部分满足，则根据所述合并处理请求和合并原始请求之间的对应关系，将所述合并处理结果中所分配的资源按照预设分配规则分配给各原始网络请求。

3.根据权利要求2所述的方法，其特征在于：所述预设分配规则为顺序、平均、按比例或按优先级分配。

4.根据权利要求1所述的方法，其特征在于，将至少两条原始网络请求进行合并，产生合并处理请求和合并原始请求并记录对应关系包括：

将接收到的原始网络请求按照相同的合并键值进行保存，并累加所述原始网络请求申请的资源；

如果保存的原始网络请求的数量达到预设数量门限值，或者，当前时间距离上次合并处理时间的间隔达到预设时间门限值时，根据所述合并键值和累加的资源产生所述合并处理请求，并根据保存的所述原始网络请求产生合并原始请求；

生成唯一标识，分配给所述合并处理请求和合并原始请求。

5.根据权利要求1所述的方法，其特征在于，根据所述合并处理请求和合并原始请求之间的对应关系，将所述合并处理结果中所分配的资源，按照预设拆分规则分配给所述原始网络请求包括：

根据所述合并处理请求和合并原始请求之间的对应关系，将接收到的所述合并处理结果中所分配的资源，按照预设拆分规则在线或离线分配给所述原始网络请求。

6.一种网络请求处理装置，其特征在于，包括：

请求合并模块，用于将至少两条原始网络请求进行合并，产生合并处理请求和合并原始请求并记录对应关系，其中，所述合并原始请求包括所述至少两条原始网络请求；

结果获取模块，用于获取基于所述合并处理请求进行资源申请的合并处理结果；

结果拆分模块，用于根据所述合并处理请求和合并原始请求之间的对应关系，将所述合并处理结果中所分配的资源，按照预设拆分规则分配给所述原始网络请求。

7.根据权利要求6所述的装置，其特征在于，所述结果拆分模块具体用于：

如果识别到所述合并处理结果为满足，则根据所述合并处理请求和合并原始请求之间的对应关系，为各所述原始网络请求分配所申请的资源；

如果识别到所述合并处理结果为不满足，则根据所述合并处理请求和合并原始请求之间的对应关系，确定为各所述原始网络请求分配资源失败；

如果识别到所述合并处理结果为部分满足，则根据所述合并处理请求和合并原始请求之间的对应关系，将所述合并处理结果中所分配的资源按照预设分配规则分配给各原始网络请求。

8.根据权利要求7所述的装置，其特征在于：所述预设分配规则为顺序、平均、按比例或按优先级分配。

9.根据权利要求6所述的装置，其特征在于，所述请求合并模块包括：

请求保存单元，用于将接收到的原始网络请求按照相同的合并键值进行保存，并累加所述原始网络请求申请的资源；

请求产生单元，用于如果保存的原始网络请求的数量达到预设数量门限值，或者，当前时间距离上次合并处理时间的间隔达到预设时间门限值时，根据所述合并键值和累加的资源产生所述合并处理请求，并根据保存的所述原始网络请求产生合并原始请求；

请求标识单元，用于生成唯一标识，分配给所述合并处理请求和合并原始请求。

10.根据权利要求6所述的装置，其特征在于，所述结果拆分模块具体用于：

根据所述合并处理请求和合并原始请求之间的对应关系，将接收到的所述合并处理结果中所分配的资源，按照预设拆分规则在线或离线分配给所述原始网络请求。