CN107729139B - 一种并发获取资源的方法和装置 - Google Patents

Abstract

本发明公开了一种并发获取资源的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：接收用户的多个资源获取任务，每个资源获取任务用于获取对应的远程服务器上的一个资源；将所述每个资源获取任务通过与所述对应的远程服务器建立的网络IO通道传送到所述对应的远程服务器，以执行所述每个资源获取任务；监听是否有远程服务器将任务执行结果返回对应的网络IO通道，若有，则从该对应的网络IO通道读取所述任务执行结果以获得相应的资源。该实施方式能够不依赖线程池，可同时满足各业务资源的并发处理，很好地适应业务需求，横向扩展性好，可重复利用资源，减少资源开销，增加开发效率。

Description

一种并发获取资源的方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种并发获取资源的方法和装置。

背景技术

在应用框架中，需要同步并发请求多个业务资源的内容，然后组装并呈现给用户，并发获取各个资源可以减少用户等待时间，提高响应速度并增加服务器服务能力。

现有的并发获取资源的方案将所有需要并发去获取的任务提交到线程池，由线程池维护线程数和任务队列的工作，线程池会根据线程数随着任务的增多而决策是否需要新增线程，线程池中的线程不间断的从任务队列中获取任务并执行各任务，直到没有任务为止，之后，线程池对空闲线程进行回收和资源释放。线程池中的线程提交并发资源获取任务后，主线程等待结果，直到结果都提前返回或任务超时并取消超时的任务为止。

现有方案中对线程池的依赖无法很好地适应业务需求，线程的创建比较耗费内存和CPU资源，因此，若线程池过大则耗费多余的服务资源；而若线程池过小，当流量瞬间暴增，线程池尚来不及新建线程以支撑新业务，而业务也已超时线程数量成倍增加，不够支撑业务能力，此外，业务需求的横向拓展个数，依赖于当前线程池的对已有任务的承载支撑情况，可扩展性差，并且，每获取一个资源需要创建一个任务，使得资源不被重复利用，创建资源带来CPU和内存的消耗，不便于管理，效率低下，最后，线程池的使用因业务不同，导致编码质量不可控，不好统一控制和管理。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

对线程池的依赖无法很好地适应业务需求，可扩展性差，资源不被重复利用而效率低下，编码质量不可控、不好统一控制和管理。

发明内容

有鉴于此，本发明实施例提供一种并发获取资源的方法和装置，能够不依赖线程池，可同时满足各业务资源的并发处理，很好地适应业务需求，横向扩展性好，可重复利用资源，减少资源开销，增加开发效率。

为实现上述目的，根据本发明实施例的一个方面，提供了一种并发获取资源的方法。

一种并发获取资源的方法，包括：接收用户的多个资源获取任务，每个资源获取任务用于获取对应的远程服务器上的一个资源；将所述每个资源获取任务通过与所述对应的远程服务器建立的网络IO通道传送到所述对应的远程服务器，以执行所述每个资源获取任务；监听是否有远程服务器将任务执行结果返回对应的网络IO通道，若有，则从该对应的网络IO通道读取所述任务执行结果以获得相应的资源。

可选地，将所述每个资源获取任务通过与所述对应的远程服务器建立的网络IO通道传送到所述对应的远程服务器的步骤之前，还包括：按照各资源获取任务之间的预设的依赖关系对所述多个资源获取任务分组，以得到多个任务组，并根据所述依赖关系确定每个任务组中各资源获取任务的优先级；将每个任务组中的各资源获取任务按照所述优先级提交到与对应的远程服务器建立的网络IO通道。

可选地，所述每个资源获取任务包括各自的任务参数，按照各资源获取任务之间的预设的依赖关系对所述多个资源获取任务分组的步骤之前，还包括：将所述任务参数的数量超过预设值的资源获取任务拆分为子任务，且所述子任务与其他各资源获取任务之间的依赖关系和被拆分之前的原资源获取任务与所述其他各资源获取任务之间的依赖关系相同；所述从该对应的网络IO通道读取所述任务执行结果的步骤之后，还包括：将所述任务执行结果中由同一资源获取任务拆分得到的子任务的任务执行结果合并。

可选地，所述从该对应的网络IO通道读取所述任务执行结果以获得相应的资源的步骤之后，还包括：记录每个任务执行结果对应的资源获取任务的执行时间，并统计所有任务执行结果对应的资源获取任务的平均执行时间、最大执行时间、最小执行时间。

可选地，接收用户的多个资源获取任务的步骤，包括：接收用户对多个资源的请求；获取预先创建的分别与所述请求的多个资源对应的任务模板；根据所述请求编辑各所述任务模板，得到用户的多个资源获取任务。

可选地，按照各资源获取任务之间的依赖关系对所述每个资源获取任务分组，以得到多个任务组的步骤之后，还包括：为每个任务组定义各自的最大运行时限；所述从该对应的网络IO通道读取所述任务执行结果以获得相应的资源的步骤之前，包括：当达到一资源获取任务所在任务组的最大运行时限之后，仍未监听到所述一资源获取任务对应的远程服务器返回任务执行结果时，取消所述一资源获取任务。

根据本发明实施例的另一方面，提供了一种并发获取资源的装置。

一种并发获取资源的装置，包括：接收模块，用于接收用户的多个资源获取任务，每个资源获取任务用于获取对应的远程服务器上的一个资源；传送模块，用于将所述每个资源获取任务通过与所述对应的远程服务器建立的网络IO通道传送到所述对应的远程服务器，以执行所述每个资源获取任务；监听模块，用于监听是否有远程服务器将任务执行结果返回对应的网络IO通道，若有，则从该对应的网络IO通道读取所述任务执行结果以获得相应的资源。

可选地，还包括：分组模块，用于按照各资源获取任务之间的预设的依赖关系对所述多个资源获取任务分组，以得到多个任务组，并根据所述依赖关系确定每个任务组中各资源获取任务的优先级；将每个任务组中的各资源获取任务按照所述优先级提交到与对应的远程服务器建立的网络IO通道。

可选地，所述每个资源获取任务包括各自的任务参数，所述装置还包括：拆分模块，用于将所述任务参数的数量超过预设值的资源获取任务拆分为子任务，且所述子任务与其他各资源获取任务之间的依赖关系和被拆分之前的原资源获取任务与所述其他各资源获取任务之间的依赖关系相同；所述装置还包括：合并模块，用于将所述任务执行结果中由同一资源获取任务拆分得到的子任务的任务执行结果合并。

可选地，还包括：统计模块，用于记录每个任务执行结果对应的资源获取任务的执行时间，并统计所有任务执行结果对应的资源获取任务的平均执行时间、最大执行时间、最小执行时间。

可选地，所述接收模块还用于：接收用户对多个资源的请求；获取预先创建的分别与所述请求的多个资源对应的任务模板；根据所述请求编辑各所述任务模板，得到用户的多个资源获取任务。

可选地，还包括：时限设置模块，用于为每个任务组定义各自的最大运行时限；所述装置还包括：任务取消模块，用于当达到一资源获取任务所在任务组的最大运行时限之后，仍未监听到所述一资源获取任务对应的远程服务器返回任务执行结果时，取消所述一资源获取任务。

根据本发明实施例的又一方面，提供了一种服务器。

一种服务器，包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现并发获取资源的方法。

根据本发明实施例的又一方面，提供了一种计算机可读介质。

一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现并发获取资源的方法。

上述发明中的一个实施例具有如下优点或有益效果：将每个资源获取任务通过与对应的远程服务器建立的网络IO通道传送到对应的远程服务器，以执行每个资源获取任务，然后监听是否有远程服务器将任务执行结果返回对应的网络IO通道，若有，则从该对应的网络IO通道读取任务执行结果以获得相应的资源。能够不依赖线程池，可同时满足各业务资源的并发处理，很好地适应业务需求；可对业务拓展提供极大的支持而只受服务器CPU、内存及网卡等硬件因素限制，横向扩展性好；无需每请求一个资源都新建一个任务，可重复利用资源，减少资源开销；业务代码开发过程中不用考虑阻塞或并发等复杂逻辑问题，增加了开发效率。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的并发获取资源的方法的主要步骤示意图；

图2是根据本发明实施例的并发获取资源的方法的执行架构示意图；

图3是根据本发明实施例的并发获取资源的装置的主要模块示意图；

图4是本发明实施例可以应用于其中的示例性系统架构图；

图5是适于用来实现本发明实施例的服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本发明实施例的并发获取资源的方法的主要步骤示意图。

如图1所示，本发明实施例的并发获取资源的方法主要包括如下的步骤S101至步骤S103。

步骤S101：接收用户的多个资源获取任务，每个资源获取任务用于获取对应的远程服务器上的一个资源。

其中，一个资源表示一个类别的业务数据的集合，例如用户请求获取商品的数据为一个资源，而用户请求获取商品库存的数据为另一个资源。

接收用户的多个资源获取任务的步骤，具体可以包括：接收用户对多个资源的请求，并获取预先创建的分别与该请求的多个资源对应的任务模板，然后根据该请求编辑各任务模板，得到用户的多个资源获取任务。

根据该请求编辑各任务模板具体可以为利用请求中携带的请求参数信息(如请求的资源具体信息(例如请求商品的资源所请求的具体商品类型，如电视)、请求的指令、用户ID(标识)等)对任务模板进行配置，以得到资源获取任务，资源获取任务包括任务数据，具体可包括任务参数、任务命令、对应各用户请求的用户ID、任务ID等信息，任务参数通常包括多个，以请求商品的资源为例，相应的任务参数可以包括商品的类别、标识或名称等信息，例如洗衣机、电冰箱、电视等。

任务模板是本发明实施例对任务提供的抽象，可以通过Spring(一种容器)框架来创建任务模板，也可以通过Java关键字来创建，创建任务模板的过程通常在初始化阶段完成，一旦任务模板创建之后，接收多个用户对资源的请求可对该任务模板循环使用以得到相应的资源获取任务，当新业务需求接入(即请求新的资源)时按照该抽象实现即可，每次请求一个资源只需要对该抽象(任务模板)进行编辑，得到相应的资源获取任务，而无需每请求一个资源都新建一个任务，实现了可重复利用资源，减少资源开销。当通过Spring框架来创建任务模板时，本发明实施例可以与Spring框架无缝结合，并且任务管理与普通的bean(一个Java对象(也称为实例)，任务本质上也是一种bean)管理无差别，支持包扫描注入或通过XML配置进行setter(注入)或构造注入(包扫描注入、通过XML配置注入、构造注入均为Spring框架的实例注入方式)。

步骤S102：将每个资源获取任务通过与对应的远程服务器建立的网络IO通道传送到对应的远程服务器，以执行每个资源获取任务。

将每个资源获取任务通过与对应的远程服务器建立的网络IO通道传送到对应的远程服务器，具体可以通过网络IO操作，将每个资源获取任务的任务数据(任务参数、任务命令、对应各用户请求的用户ID、任务ID等信息)写入相应网络IO通道(通过发起写网卡数据请求)，当任务执行完成之后，再从该网络IO通道中读取出任务执行结果(通过发起读网卡数据请求)。由于本发明实施例基于网络IO操作传送及执行资源获取任务，相比现有技术利用线程池来提交执行任务，能够不依赖线程池，可同时满足各业务资源的并发处理，很好地适应业务需求；可对业务拓展提供极大的支持而只受服务器CPU、内存及网卡等硬件因素限制，横向扩展性好。

将每个资源获取任务通过与对应的远程服务器建立的网络IO通道传送到对应的远程服务器的步骤之前，还可以按照各资源获取任务之间的预设的依赖关系对多个资源获取任务分组，以得到多个任务组，并根据该依赖关系确定每个任务组中各资源获取任务的优先级，然后，将每个任务组中的各资源获取任务按照优先级提交到与对应的远程服务器建立的网络IO通道。

任务间的依赖关系是在用户发出对多个资源的请求时既定的，即，用户请求的多个资源对应的多个资源获取任务之间存在预设的逻辑关系，例如用户请求商品、商品库存、商品售后三个资源，对应三个资源获取任务如下：任务1表示请求商品的任务、任务2表示请求商品库存的任务、任务3表示请求商品售后的任务，则任务2和任务3需要依赖于任务1的执行(首先获取商品信息，然后根据商品信息确定对应的商品库存、商品售后的信息)，而任务2和任务3之间独立。

每个资源获取任务包括各自的任务参数。

按照各资源获取任务之间的预设的依赖关系对多个资源获取任务分组的步骤之前，还可以将任务参数的数量超过预设值的资源获取任务拆分为子任务，且子任务与其他各资源获取任务之间的依赖关系和被拆分之前的原资源获取任务与其他各资源获取任务之间的依赖关系相同，这样使得原资源获取任务的子任务可以被分到与该原资源获取任务存在依赖关系的各资源获取任务所属的任务组。

预设值可以自定义，例如定义为10个。当任务参数的数量超过10个时，资源获取任务将被拆分为两个或多个子任务，子任务的数量以每个子任务的任务参数数量不超过该预设值为标准，即如果某一个子任务的任务参数数量仍大于预设值，则需继续拆分，直到该任务参数数量小于预设值为止。

按照各资源获取任务之间的依赖关系对每个资源获取任务分组，以得到多个任务组的步骤之后，还可以为每个任务组定义各自的最大运行时限，一个任务组的最大运行时限为该任务组内资源获取任务的超时时间，超过该超时时间则任务超时。

步骤S103：监听是否有远程服务器将任务执行结果返回对应的网络IO通道，若有，则从该对应的网络IO通道读取任务执行结果以获得相应的资源。

从该对应的网络IO通道读取任务执行结果以获得相应的资源之前，当达到一资源获取任务所在任务组的最大运行时限之后，仍未监听到该资源获取任务对应的远程服务器返回任务执行结果时，取消该资源获取任务。

当资源获取任务被取消之后，该资源获取任务的执行结果可以设置为空，并且对于被取消的资源获取任务，对应的远程服务器返回到网络IO通道中的任务执行结果将过期而不被读取。

从该对应的网络IO通道读取任务执行结果的步骤之后，还包括将任务执行结果中由同一资源获取任务拆分得到的子任务的任务执行结果合并。

并且，从该对应的网络IO通道读取任务执行结果以获得相应的资源的步骤之后，还可以记录每个任务执行结果对应的资源获取任务的执行时间，并统计所有任务执行结果对应的资源获取任务的平均执行时间、最大执行时间、最小执行时间。其中，对于被取消的资源获取任务，其执行时间为所在任务组的最大运行时限。

根据上述介绍的本发明实施例的并发获取资源的方法，本发明实施例的并发获取资源的方法通过发起网络IO操作，将各资源获取任务通过网络IO通道传送到对应的远程服务器，以执行各资源获取任务，并且利用操作系统事件响应机制，有事件则响应，无事件时，CPU资源不被争抢。其中，当各资源获取任务的任务数据(包括任务参数、任务命令、对应各用户请求的用户ID、任务ID)被写入网络IO通道时，发生写事件，当有远程服务器将任务执行结果返回网络IO通道时，发生读事件，通过监听是否有远程服务器将任务执行结果返回对应的网络IO通道，即监听是否发生读事件，当有远程服务器将任务执行结果返回对应的网络IO通道，则启用一个线程处理该任务执行结果以得到相应的资源。使用本发明实施例的并发获取资源的方法可以不依赖线程池，并同时满足业务需求，对各业务资源进行异步并发处理，减少资源开销。

下面结合根据本发明实施例的并发获取资源的方法的执行架构详细介绍本发明实施例的并发获取资源的方法的详细执行过程。

图2是根据本发明实施例的并发获取资源的方法的执行架构示意图。

如图2所示，本发明实施例的并发获取资源的方法可以创建一个并发处理器(又称异步并发处理器)，命名为：AsyncWorkExecutor，其主要负责实现对各资源获取任务(以下可简称为任务)的异步并发处理。任务是并发处理器的核心和载体，是应用侧对每个资源来源获取方式的定义，从业务侧角度其代表的是一个资源来源。用户的对不同的资源的请求不能定义在一个任务内，一个任务只包含一个资源目标，即根据用户对多个资源的请求可以通过编辑与各资源对应的任务模板得到多个资源获取任务，但是每个任务只用于请求一个资源，其中，所述的一个资源表示一个类别的业务数据的集合，例如用户请求获取商品的资源为一个资源，而用户请求获取商品库存的资源为另一个资源，与每个资源对应的资源获取任务可以包括多个任务参数，例如请求商品的资源，相应的任务参数可以包括商品的类别、标识或名称等信息，例如洗衣机、电冰箱、电视等。图2所示的执行架构给出里用户请求的多个资源的一个示例(任务A(获取库存)、任务B(获取价格)、任务C(获取门店))。

并发处理器具体包括三个方法，定义如下：

AsyncWorkerExecutor

+newAsyncWorkExecutor()

+newTaskGroup(long timeOut,TimeUnit unit)

+start(long timeOut,TimeUnit unit)

其中，+newAsyncWorkExecutor()方法对应新建并发处理器，+newTaskGroup(longtimeOut,TimeUnit unit)方法对应新建任务组，+start(long timeOut,TimeUnit unit)方法对应发起任务执行指令，执行任务组。

下面逐一介绍该并发处理器各项具体功能。

一、存储当前用户各任务的任务数据和任务执行结果。并发处理器可存储当前用户的各任务的任务数据和任务执行结果，其中，任务数据可以包括任务参数、任务命令、对应用户请求的用户ID。

二、添加任务分组。并发处理器可将资源获取任务按照各资源获取任务之间的预设的依赖关系进行归堆注册从而实现任务的分组，方法如下：

AsyncWorkExecutor asyncWorkExecutor＝

AsyncWorkExecutor.newAsyncWorkExecutor()；

//注册任务

asyncWorkExecutor.newTaskGroup()

.register(cutpriceHandler,new ServiceParam())

.register(cutPrice2Handler,null)；

在执行上，可以将创建一个任务分组器(TaskGroupBuilder)专职实现并发处理器的任务分组工作。

任务分组器(TaskGroupBuilder)具体定义如下：

TaskGroupBuilder

+register(Handler<T>handler,T param)

+registerDependsOn(Handler<T>handler,T param,Handler...dependsHandlers)

其中，若某一任务没有任何前置任务依赖(即不依赖于其他任务)，则直接注册该任务；若某一有依赖的其他任务，则需要查找所依赖的任务所属任务组，然后将该任务挂载到所依赖的任务所属任务组，该任务若依赖多个任务，则执行上述多次挂载即可。例如，任务1，任务2，任务3，任务4，任务5，若任务1没有任何前置任务依赖，则将任务1注册到一个新建任务组A，如果任务2依赖任务1，则将任务2挂载到任务组A，如果任务3不依赖任务1或任务2，则新建任务组B并将该任务3注册到该任务组B，如果任务4既依赖任务1又依赖任务3，则将该任务4分别挂载到任务组A、任务组B。在任务分组的过程中，如果一个任务同时依赖于不同任务组的多个任务，还会进行二次分组，例如上述任务4依赖于任务1，同时还依赖于任务3，且任务1和任务3相互独立，那么在二次分组时，需将任务1和任务3分别所在的任务组A、任务组B聚合成为一个新的任务组，对于上例，可将任务3以及所有依赖于任务3的任务都挂载到任务1所在的任务组A中，使得一个任务同时依赖的多个任务都属于同一任务组中。

并发处理器将任务分组的工作承包给任务分组器(TaskGroupBuilder)完成，并发处理器只需管理每一个任务组即可，例如管理任务的聚合、任务之间的依赖关系等。

本发明实施例按照各资源获取任务之间的预设的依赖关系对多个资源获取任务分组，使得任务之间依赖关系可以定义，从而解决任务先后执行顺序的问题，而现有技术的方案中任务没法定义任务间的依赖关系从而无法解决任务执行顺序这一问题。此外，对任务分组还可避免任务的混合运行，提高任务执行效率。

在任务分组器(TaskGroupBuilder)对任务进行分组之后，还可以为每个任务组定义各自的最大运行时限(即该任务组内所有任务的超时时间)，组内任务必须在该时间内(最大运行时限)运行完毕，否则任务即会被取消。在并发处理器发起执行命令时，并发处理器接收两个参数TimeOut和TimeUnit，其中，TimeOut可以为1至100之间的一个数字，TimeUnit可以为时间单位(例如毫秒，ms)，Timeout和timeunit两个参数可以预定义，也可以由用户提交。

该两个参数的使用语句如下：

Map completedResult＝asyncWorkExecutor.start(100,TimeUnit.MILLISECONDS)

该两个参数用于告知并发处理器当前任务组的最大运行时限，并发处理器在该最大运行时限内返回任务执行结果或超时时取消任务并返回空结果。通过对任务分组并且设置每个任务组的最大运行时限，将任务运行时间的控制分组执行，避免了耗时最长的任务影响所有任务的运行时间。

下面另外介绍任务分组器(TaskGroupBuilder)对本发明实施例的任务拆分和任务合并的具体实现方法。在按照各资源获取任务之间的预设的依赖关系对多个资源获取任务分组之前，可以将任务参数的数量超过预设值的资源获取任务拆分为子任务，并且，从网络IO通道读取任务执行结果之后，还将把任务执行结果中由同一资源获取任务拆分得到的子任务的任务执行结果合并。首先需介绍任务的行为，任务的行为包括发送请求操作、拆分子任务、合并任务结果任务三个行为，具体定义结构如下：

Handler<T extends AsyncParam>

+send(T param)

+fork()

+join()

其中，+send(T param)表示发起写网卡数据请求，用于发送请求操作，即并发处理器通过调用该任务行为发送请求资源的操作以执行任务。+fork()用于当前任务的请求参数过多时，将任务分裂成多个子任务，以一并同时发起请求，+join()针对被拆分的任务，在执行完成后，可以将子任务的执行结果合并到主任务(即拆分之前的原任务)的执行结果，对于被拆分后的子任务，子任务运行完成的结果需要合并成一个统一的结果。任务分组器可以分别调用+fork()、+join()行为将任务拆分成子任务以及将任务的任务执行结果合并。

本发明实施例对资源获取任务根据需要进行任务拆分和任务执行结果的合并，解决了传统任务不能拆分和合并任务结果的问题，当任务耗时过长或请求资源过多，并且任务能被拆分的情况下，将任务拆分成多个子任务并发执行，能够充分考虑远程服务器(即任务提供方)的服务能力，并缩短任务执行的耗时，并且本发明实施例对该任务拆分和任务结果合并的能力进行了封装，使用者只需简单的调用即可完成。

三、任务执行以及处理任务执行结果。当并发处理器接收到执行的指令之后，进行任务包装并发起任务的发送指令，然后在规定时间(即任务的超时时间)内获得任务执行结果或取消任务。其中，任务包装主要是对任务状态做隔离，这样可以简化实现难度，具体地，隔离用户或资源返回数据(任务执行结果数据)对任务的修改，避免了任务被修改的可能性。并发处理器可发起网络IO操作，将每个任务通过与对应的远程服务器建立的网络IO通道传送到对应的远程服务器，以执行每个任务。

可以创建事件响应器与并发处理器协同实现任务的执行以及任务执行结果的处理。事件响应器具体可以为一组预先创建的事件响应任务，每个事件响应任务与其他事件响应任务并没有差别，多个事件响应任务的设计是为了解决高访问流量情况下事件响应处理不及时的问题，且横向扩展参数配置简单。事件响应器不关注具体的业务逻辑，其对事件敏感，只关注事件本身，即有相应事件发生时则进行通过一个线程来处理事件，若无相应事件发生，则阻塞，并且需要处理的事件数量较多时可以启用多个线程，便于扩展。其事件主要分为：

Connect，连接事件，表示需要向指定服务器发起连接请求。

Write，写数据事件，当有准备好的任务数据时，可以写入与远程服务器建立好的目标通道(网络IO通道)，该事件发生在本地服务器向远程服务器发起资源请求时。

Read，读数据事件，表示网卡或操作系统告知有新数据(任务执行结果)可以被读取，该事件用于目标远程服务器返回任务执行结果的场景。

当并发处理器发起网络IO操作，将每个任务通过与对应的远程服务器建立的网络IO通道传送到对应的远程服务器时，事件响应器接受并发处理器的连接指令和写数据指令(发送数据请求，即向网卡写数据)从而触发连接事件和写数据事件发生，事件响应器将各个任务数据(包括任务参数、任务命令、对应各用户请求的用户ID、任务ID)写入与远程服务器建立好的网络IO通道，事件响应器执行完写数据之后，立即返回并继续处理其他的任务请求，而并不等待该远程服务器返回任务执行结果。同时，事件处理器会利用预先创建(注册)的异步回调任务监听是否有远程服务器将任务执行结果返回对应的网络IO通道，若有，则从对应的网络IO通道读取任务执行结果，并记录每个任务执行结果对应的任务的执行时间，并统计所有任务执行结果对应的任务的平均执行时间、最大执行时间、最小执行时间。具体地，异步回调任务可包括结果解析回调任务和监控回调任务，其中，结果解析回调任务用于当事件响应器告知有任务执行结果返回时，对任务执行结果进行解析，并最终形成应用需要的任务执行结果数据关联到对应的任务，该解析具体为在内存中解析任务结果，具体可包括将网络IO通道传输过来流式数据(二进制数据流)解析成面向对象的可识别的格式，或者转换成需要的格式，例如，返回的商品库存结果为有货，可以解析成表示有货的图标等形式。任务执行结果数据可通过任务数据中的任务ID关联到对应的任务。监控回调任务用于对每个用户对资源的请求的响应时间(即任务执行时间)及任务执行结果等数据监控上报，为后续聚合计算提供数据基础。异步回调任务解决了对每个任务的监控问题，可对每个任务的耗时(即执行时间)进行上报，并可对所有任务的平均耗时(即平均执行时间)、最大耗时(即最大执行时间)、最小耗时(即最小执行时间)进行统计，统一由监控平台进行耗时的聚合计算并生成报表。异步回调任务实现的上述功能使得每个任务都有完善的埋点和监控机制，可以从任务维度监视任务平均、最小、最大耗时，以对后续的任务维护提供标准和建议。

本发明实施例的事件处理器在并发处理器发起网络IO操作时，响应写数据事件，将任务数据写入与远程服务器建立好的网络IO通道，事件响应器执行完写数据之后，立即返回并继续处理其他的任务请求，而并不等待该远程服务器返回任务执行结果，同时利用预先创建的异步回调任务，监听是否有远程服务器将任务执行结果返回对应的网络IO通道，在有任务执行结果返回时，响应读数据事件(读数据请求，即网卡数据准备好)，从对应的网络IO通道中读取执行结果，解决现有技术中任务在发起直到结束之前，资源被当前任务占用并阻塞的问题，还解决了因线程资源限制任务不易于扩展的问题，去除了对线程池强依赖，减少服务器资源开销，减少线程池资源管理成本，且高度封装，使得并发处理过程和任务时间的控制封装在处理器内部，简单使用，降低学习成本和避免错误使用。

图3是根据本发明实施例的并发获取资源的装置的主要模块示意图。

如图3所示，本发明实施例的并发获取资源的装置300主要包括：接收模块301、传送模块302、监听模块303。

接收模块301，用于接收用户的多个资源获取任务，每个资源获取任务用于获取对应的远程服务器上的一个资源。

具体地，接收模块可用于：接收用户对多个资源的请求，并获取预先创建的分别与请求的多个资源对应的任务模板，然后根据请求编辑各任务模板，得到用户的多个资源获取任务。

传送模块302，用于将每个资源获取任务通过与对应的远程服务器建立的网络IO通道传送到对应的远程服务器，以执行每个资源获取任务。

监听模块303，用于监听是否有远程服务器将任务执行结果返回对应的网络IO通道，若有，则从该对应的网络IO通道读取任务执行结果以获得相应的资源。

并发获取资源的装置300还可以包括分组模块，用于按照各资源获取任务之间的预设的依赖关系对多个资源获取任务分组，以得到多个任务组，并根据该依赖关系确定每个任务组中各资源获取任务的优先级，然后将每个任务组中的各资源获取任务按照优先级提交到与对应的远程服务器建立的网络IO通道。

每个资源获取任务包括各自的任务参数。

并发获取资源的装置300还可以包括拆分模块，用于将任务参数的数量超过预设值的资源获取任务拆分为子任务，且子任务与其他各资源获取任务之间的依赖关系和被拆分之前的原资源获取任务与其他各资源获取任务之间的依赖关系相同。

并发获取资源的装置300还可以包括合并模块，用于将任务执行结果中由同一资源获取任务拆分得到的子任务的任务执行结果合并。

并发获取资源的装置300还可以包括统计模块，用于记录每个任务执行结果对应的资源获取任务的执行时间，并统计所有任务执行结果对应的资源获取任务的平均执行时间、最大执行时间、最小执行时间。

并发获取资源的装置300还可以包括时限设置模块，用于为每个任务组定义各自的最大运行时限。

并发获取资源的装置300还可以包括任务取消模块，用于当达到一资源获取任务所在任务组的最大运行时限之后，仍未监听到一资源获取任务对应的远程服务器返回任务执行结果时，取消该资源获取任务。

根据本发明的实施例，在网络IO消耗(即从发送请求开始到接受返回结果的时长)比较大的应用框架中，可以实现本地服务器很小的计算量，节约本地资源，因此，本发明实施例尤其适用于网络IO消耗较大的应用场景。

本发明实施例的并发获取资源的装置300的各模块可以基于图2所示的执行架构来实现，例如传送模块302可以通过调用图2所示的执行架构中的并发处理器，发起网络IO操作，将每个资源获取任务通过与对应的远程服务器建立的网络IO通道传送到对应的远程服务器，以执行每个资源获取任务；监听模块303可以通过调用图2所示的执行架构中的事件处理器，利用预先创建的异步回调任务，监听是否有远程服务器将任务执行结果返回对应的网络IO通道，若有，则从该对应的网络IO通道读取任务执行结果以获得相应的资源。上述已经对图2所示的执行架构已经进行了详细的介绍，本发明实施例的并发获取资源的装置300的其他模块基于图2所示的执行架构的具体实现不再赘述。

图4示出了可以应用本发明实施例的并发获取资源的方法或并发获取资源的装置的示例性系统架构400。

如图4所示，系统架构400可以包括终端设备401、402、403，网络404和服务器405。网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备401、402、403通过网络404与服务器405交互，以接收或发送消息等。终端设备401、402、403上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备401、402、403可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等。

服务器405可以是提供各种服务的服务器，例如对用户利用终端设备401、402、403所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如用户请求的产品信息)反馈给终端设备。

需要说明的是，本发明实施例所提供的并发获取资源的方法一般由服务器405执行，相应地，并发获取资源的装置一般设置于服务器405中。

应该理解，图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图5，其示出了适于用来实现本申请实施例的服务器的计算机系统500的结构示意图。图5示出的服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图5所示，计算机系统500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的主要步骤示意图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，主要步骤示意图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或主要步骤示意图中的每个方框、以及框图或主要步骤示意图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括接收模块301、传送模块302、监听模块303。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，接收模块301还可以被描述为“用于接收用户的多个资源获取任务，每个资源获取任务用于获取对应的远程服务器上的一个资源的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：接收用户的多个资源获取任务，每个资源获取任务用于获取对应的远程服务器上的一个资源；将所述每个资源获取任务通过与所述对应的远程服务器建立的网络IO通道传送到所述对应的远程服务器，以执行所述每个资源获取任务；监听是否有远程服务器将任务执行结果返回对应的网络IO通道，若有，则从该对应的网络IO通道读取所述任务执行结果以获得相应的资源。

根据本发明实施例的技术方案，将每个资源获取任务通过与对应的远程服务器建立的网络IO通道传送到对应的远程服务器，以执行每个资源获取任务，然后监听是否有远程服务器将任务执行结果返回对应的网络IO通道，若有，则从该对应的网络IO通道读取任务执行结果以获得相应的资源。能够不依赖线程池，可同时满足各业务资源的并发处理，很好地适应业务需求；可对业务拓展提供极大的支持而只受服务器CPU、内存及网卡等硬件因素限制，横向扩展性好；无需每请求一个资源都新建一个任务，可重复利用资源，减少资源开销；业务代码开发过程中不用考虑阻塞或并发等复杂逻辑问题，增加了开发效率。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (12)

1.一种并发获取资源的方法，其特征在于，包括：

接收用户的多个资源获取任务，将所述资源获取任务注册或挂载到任务组，所述任务组中的资源获取任务存在依赖关系，每个资源获取任务用于获取对应的远程服务器上的一个资源；

通过发起写网卡数据请求，将所述每个资源获取任务通过与所述对应的远程服务器建立的网络IO通道传送到所述对应的远程服务器，以执行所述每个资源获取任务；其中，每个任务组中的资源获取任务按照由所述依赖关系确定的优先级提交到所述网络IO通道；

监听是否有远程服务器将任务执行结果返回对应的网络IO通道，若有，则通过发起读网卡数据请求，从该对应的网络IO通道读取所述任务执行结果以获得相应的资源。

2.根据权利要求1所述的方法，其特征在于，所述每个资源获取任务包括各自的任务参数，

所述将所述资源获取任务注册或挂载到任务组之前，还包括：

将所述任务参数的数量超过预设值的资源获取任务拆分为子任务，且所述子任务与其他各资源获取任务之间的依赖关系和被拆分之前的原资源获取任务与所述其他各资源获取任务之间的依赖关系相同；

所述从该对应的网络IO通道读取所述任务执行结果的步骤之后，还包括：

将所述任务执行结果中由同一资源获取任务拆分得到的子任务的任务执行结果合并。

3.根据权利要求1所述的方法，其特征在于，所述从该对应的网络IO通道读取所述任务执行结果以获得相应的资源的步骤之后，还包括：

记录每个任务执行结果对应的资源获取任务的执行时间，并统计所有任务执行结果对应的资源获取任务的平均执行时间、最大执行时间、最小执行时间。

4.根据权利要求1所述的方法，其特征在于，接收用户的多个资源获取任务的步骤，包括：

接收用户对多个资源的请求；

获取预先创建的分别与所述请求的多个资源对应的任务模板；

根据所述请求编辑各所述任务模板，得到用户的多个资源获取任务。

5.根据权利要求1所述的方法，其特征在于，

每个任务组定义有各自的最大运行时限；

所述从该对应的网络IO通道读取所述任务执行结果以获得相应的资源的步骤之前，包括：

当达到一资源获取任务所在任务组的最大运行时限之后，仍未监听到所述一资源获取任务对应的远程服务器返回任务执行结果时，取消所述一资源获取任务。

6.一种并发获取资源的装置，其特征在于，包括：

接收模块，用于接收用户的多个资源获取任务，每个资源获取任务用于获取对应的远程服务器上的一个资源；

分组模块，用于将所述资源获取任务注册或挂载到任务组，所述任务组中的资源获取任务存在依赖关系；

传送模块，用于通过发起写网卡数据请求，将所述每个资源获取任务通过与所述对应的远程服务器建立的网络IO通道传送到所述对应的远程服务器，以执行所述每个资源获取任务；其中，每个任务组中的资源获取任务按照由所述依赖关系确定的优先级提交到所述网络IO通道；

监听模块，用于监听是否有远程服务器将任务执行结果返回对应的网络IO通道，若有，则通过发起读网卡数据请求，从该对应的网络IO通道读取所述任务执行结果以获得相应的资源。

7.根据权利要求6所述的装置，其特征在于，所述每个资源获取任务包括各自的任务参数，

所述装置还包括：

拆分模块，用于将所述任务参数的数量超过预设值的资源获取任务拆分为子任务，且所述子任务与其他各资源获取任务之间的依赖关系和被拆分之前的原资源获取任务与所述其他各资源获取任务之间的依赖关系相同；

所述装置还包括：

合并模块，用于将所述任务执行结果中由同一资源获取任务拆分得到的子任务的任务执行结果合并。

8.根据权利要求6所述的装置，其特征在于，还包括：

统计模块，用于记录每个任务执行结果对应的资源获取任务的执行时间，并统计所有任务执行结果对应的资源获取任务的平均执行时间、最大执行时间、最小执行时间。

9.根据权利要求6所述的装置，其特征在于，所述接收模块还用于：

接收用户对多个资源的请求；

获取预先创建的分别与所述请求的多个资源对应的任务模板；

根据所述请求编辑各所述任务模板，得到用户的多个资源获取任务。

10.根据权利要求6所述的装置，其特征在于，还包括：

时限设置模块，用于为每个任务组定义各自的最大运行时限；

所述装置还包括：

任务取消模块，用于当达到一资源获取任务所在任务组的最大运行时限之后，仍未监听到所述一资源获取任务对应的远程服务器返回任务执行结果时，取消所述一资源获取任务。

11.一种服务器，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。

12.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。

Images