CN101308467A

CN101308467A - 一种任务处理的方法和装置

Info

Publication number: CN101308467A
Application number: CNA2008101167478A
Authority: CN
Inventors: 朱建
Original assignee: Hangzhou H3C Technologies Co Ltd
Current assignee: Hangzhou H3C Technologies Co Ltd
Priority date: 2008-07-16
Filing date: 2008-07-16
Publication date: 2008-11-19

Abstract

本发明提供了一种任务处理的方法和装置，应用程序框架中的后台包括一个主处理进程和至少一个从处理进程，其中方法包括：前台接收到任务后，将任务信息发送给后台的主处理进程；主处理进程获取自身和各从处理进程的状态信息，并根据获取的状态信息和接收到的任务信息，按照预设的均衡策略将该任务分配给自身或相应的从处理进程进行处理。本发明在短时间内需要处理大量任务时，能够显著提高后台的任务处理性能。

Description

一种任务处理的方法和装置

技术领域

本发明涉及网络通信技术领域，特别涉及一种任务处理的方法和装置。

背景技术

传统的应用程序框架主要包括前台和后台两部分，如图1所示，前台负责与用户进行交互并获取来自用户的任务，并将任务信息以任务处理请求的方式发送给后台，后台的处理进程接收到该任务处理请求后，根据其中的任务信息对该任务进行处理以响应前台的处理请求，例如，对数据库进行相应操作或对网络设备进行管理等。其中，前台和后台之间采用预先定义的私有协议进行通信，例如协调件协议(MDP，Mediation Device Protocol)。

然而，在实际的应用中，常常出现前台在短时间内接收到大量的任务，使得后台需要在短时间内响应大量的任务，由于现有技术中采用的是一个后台处理进程的架构，因此，就会出现任务处理性能不能满足要求的情况，甚至出现后台处理进程不响应的情况。

发明内容

有鉴于此，本发明提供了一种任务处理的方法和装置，以便于提高短时间内需要处理大量任务时后台的任务处理性能。

一种任务处理的方法，应用程序框架中的后台包括一个主处理进程和至少一个从处理进程，该方法包括：

前台接收到任务后，将任务信息发送给后台的主处理进程；

主处理进程获取自身和各从处理进程的状态信息，并根据获取的所述状态信息和接收到的所述任务信息，按照预设的均衡策略将所述任务分配给自身或相应的从处理进程进行处理。

一种任务处理的装置，该装置中包括前台和后台，所述后台包括一个主处理进程和至少一个从处理进程；

所述前台，用于接收到任务后，将任务信息发送给后台的主处理进程；

所述主处理进程，用于接收到所述任务信息后，获取自身和各从处理进程的状态信息，并根据获取的所述状态信息和接收到的所述任务信息，按照预设的均衡策略将所述任务分配给自身或相应的从处理进程；对分配给自身的任务进行处理；

所述从处理进程，用于对分配给自身的任务进行处理。

由以上技术方案可以看出，本发明提供的方法和装置，应用程序框架中的后台包括一个主处理进程和至少一个从处理进程；前台接收到任务后，将任务信息发送给后台的主处理进程；主处理进程获取自身和各从处理进程的状态信息，并根据获取的状态信息和接收到的任务信息，按照预设的均衡策略将该任务分配给自身或相应的从处理进程进行处理。当前台在短时间内接收到大量的任务时，后台的主处理进程可以根据自身和各从处理进程的状态信息对该任务均衡分配给多个处理进程进行处理，而不是仅由单一的处理进程处理所有的任务，因此，本发明在短时间内需要处理大量任务时，能够显著提高后台的任务处理性能。

附图说明

图1为现有技术中的应用程序框架图；

图2为本发明实施例提供的方法流程图；

图3为本发明实施例提供的具体应用程序架构图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

本发明涉及的应用程序框架中的后台包括一个主处理进程和至少一个从处理进程；前台接收到任务后，将任务信息发送给后台的主处理进程；主处理进程获取自身和各从处理进程的状态信息，并根据获取的该状态信息和接收到的任务信息，按照预设的均衡策略将任务发送给自身或相应的从处理进程进行处理。

下面结合具体实施例对上述方法进行详细描述，图2为本发明实施例提供的方法流程图，在该实施例提供的应用程序框架中，至少包括两个处理进程在运行，主处理进程可以采用预先设定的方式，默认其中的一个处理进程为主处理进程，即该应用程序架构中包括一个主处理进程和至少一个从处理进程在运行，其中，主处理进程和从处理进程之间的交互可以采用私有协议，例如MDP。如图2所示，该方法可以包括以下步骤：

步骤201：每一个从处理进程安装运行后，主动向主处理进程申请注册，主处理进程为各从处理进程分配ID号并将各从处理进程的ID号和状态信息存入内存。

本实施例中可以预先根据应用程序所在系统的硬件配置确定可安装的最大进程数，根据该最大进程数确定ID号的分配范围，并预先为主处理进程确定一个固定的ID号。当有一个新的从处理进程安装完毕并运行后，该从处理进程主动向主处理进程申请注册，主处理进程在预先确定的ID号分配范围中选择一个未被占用的ID号给该从处理进程，并将为该从处理进程分配的ID号和状态信息存入内存。

另外，在各从处理进程进行注册时还可以在内存中存储各从处理进程的地址信息、端口信息等。

本步骤中从处理进程的安装可以是用户根据实际的任务处理需求手工进行的安装。

步骤202：主处理进程按照预设的时间间隔向已注册的各从处理进程查询状态信息，并利用查询到的状态信息对内存中各从处理进程的状态信息进行更新；如果超过预设的查询次数，某从处理进程仍处于异常状态，则将该从处理进程从内存中删除。

本步骤中，主处理进程查询从处理进程状态的方式可以为三种：

其一、主处理进程按照预设的时间间隔轮询已注册的各从处理进程，从而获取各从处理进程的状态信息。

其二、主处理进程可以按照预设的时间间隔向已注册的各从处理进程发送查询请求，从处理进程接收到该查询请求后，会向主处理进程返回自身的状态信息。

前两种方式可以较好地保证时钟同步。

其三、已注册的各从处理进程按照预设的时间间隔主动向主处理进程发送自身的状态信息。

需要说明的是，处理进程的状态可以分为三种：运行状态、空闲状态和异常状态，在第二种和第三种方式中，只有处于运行状态或空闲状态的从处理进程才会返回自身的状态信息，处于异常状态的处理进程不能返回自身的状态信息。如果超过预设的查询次数，某从处理进程仍没有返回状态信息，则主处理进程认为该从处理进程异常，则将其ID和状态信息从内存中删除。

由于只有状态正常的从处理进程才能够返回自身状态信息，即处于运行状态或空闲状态的从处理进程才能返回自身状态信息，因此，如果超过预设的查询次数，某个从处理进程仍没有返回自身状态信息，则确定该从处理进程发生异常，主处理进程则将该从处理进程的ID号和状态信息从内存中删除，该ID号被空出可以供新安装的从处理进程使用。

另外，当使用第二种或第三种情况时，可以记录各从处理进程每次返回自身状态的时间，主处理进程可以针对各从处理进程采用如下方法确定是否需要删除该从处理进程：判断T/T1的值是否大于预设的查询次数，其中，T＝当前时间-该从处理进程最近一次注册时间+时钟校正值，T1为查询时使用的上述预设的时间间隔，时钟校正值是为了避免该从处理进程与主处理进程之间的时钟差别、网络等原因引起的延迟而设置的一个时间值；如果是，则将该从处理进程删除。

通常状况下，处理进程发生异常的情况可能是处理进程运行故障，需要重新安装，或者该处理进程已经被卸载。

通过步骤201和步骤202可以实现从处理进程的自动注册和注销，并能够实时获取各从处理进程的状态信息。

步骤203：前台接收到任务后，将任务信息发送给后台的主处理进程。

步骤204：主处理进程从内存中查询各从处理进程的状态信息，根据各从处理进程的状态信息和自身的状态信息，按照预设的均衡策略将任务分配给自身或相应的从处理进程进行处理。

本步骤中仅对主处理进程和内存中存在的从处理进程进行分配，已经注销或者尚未注册的从处理进程不参与任务的均衡分配。

本步骤中，预设的均衡策略可以是多种方式，例如，可以在处于空闲状态的从处理进程中任意选择一个或多个来完成该任务，或者，可以在处于空闲状态的从处理进程和主处理进程中按照ID顺序选择一个或多个来完成该任务，或者，可以在处于空闲状态的从处理进程和主处理进程中按照从处理进程的端口号或地址信息等顺序选择一个或多个来完成该任务；如果当前没有空闲状态的从处理进程和主处理进程，则可以按照ID顺序或端口号顺序或地址顺序等，将该任务放入处于运行状态的从处理进程或主处理进程的任务栈中，等待该从处理进程或主处理进程对该任务进行处理。

另外，对于一个任务通常分配给一个处理进程进行处理，当有多个任务需要处理时，可以同时将该多个任务均衡分配给不同的处理进程进行处理；如果接收到的任务属于多阶段型任务，则主处理进程可以将该任务进行分解，均衡分配给不同的处理进程并行进行处理。

另外，在上述流程中需要说明的是，步骤201和步骤202是在任何时候都可能会执行的操作，其与步骤203和步骤204并没有固定的先后顺序。

以上是对本发明提供的方法的描述，下面对本发明提供的装置进行描述。本发明提供的装置主要包括前台和后台，其中，后台包括一个主处理进程和至少一个从处理进程。

前台，用于接收到任务后，将任务信息发送给后台的主处理进程。

主处理进程，用于接收到任务信息后，获取自身和各从处理进程的状态信息，并根据获取的状态信息和接收到的任务信息，按照预设的均衡策略将该任务分配给自身或相应的从处理进程；对分配给自身的任务进行处理。

从处理进程，用于对分配给自身的任务进行处理。

另外，后台还可以包括：内存；

从处理进程，还可以用于在安装运行后，主动向主处理进程申请注册。

主处理进程，还可以用于为申请注册的从处理进程分配ID号并将各从处理进程的ID号和状态信息存入内存；并从内存中获取自身和各从处理进程的状态信息。

内存，用于存储各从处理进程的ID号和状态信息。

主处理进程，还可以用于按照预设的时间间隔，通过轮询的方式、或者发送查询请求的方式、或者接收从处理进程主动发送的状态信息的方式，向已注册的各从处理进程查询状态信息，利用查询到的状态信息对内存中各从处理进程的状态信息进行更新，并判断各从处理进程被查询到处于异常状态的次数是否超过预设的次数阈值，如果是，则将超过预设的次数阈值的从处理进程的ID号和状态信息从内存中删除。

从处理进程，还可以用于接收到所述查询请求后，如果自身处于运行状态或空闲状态，则向主处理进程返回自身的状态信息；或者，如果处于运行状态或空闲状态，则按照预设的时间间隔主动向主处理进程发送自身的状态信息。

下面举一个具体的例子结合上述装置和方法进行描述，以图3所示的具体装置结构为例，如图3所示，该装置的后台当前存在3个已注册的从处理进程，即从处理进程1、从处理进程2和从处理进程3；主处理进程按照预设的时间间隔周期性地查询这三个从处理进程的状态，实时更新内存中存储的从处理进程的状态信息。用户向前台下发测量100个网络设备的服务质量水平的任务，需要后台的处理进程对100个网络设备进行性能参数的采集；前台将该任务信息下发给后台的主处理进程，主处理进程确定自身处于空闲状态，且从内存中查询到从处理进程1和从处理进程2处于空闲状态，如果一个处理进程能够处理10个网络设备的采集，则主处理进程在当前时钟周期为自身、从处理进程1和从处理进程2分别分配10个网络设备的采集任务；如果在下一个时钟周期获取到从处理进程3也处于空闲状态，则在下一个时钟周期为自身、从处理进程1、从处理进程2和从处理进程3分别分配10个网络设备的采集任务。然后按照该方法依次分配，直至所有任务都分配完毕。该实施例是采用该方法和应用程序架构通过网络设备访问接口实现对网络设备的访问，本发明所提供的方法和应用程序架构也可以利用主处理进程和至少一个从处理进程进行配合，实现短时间内海量任务时通过数据库访问接口对数据库的访问。

由以上描述可以看出，本发明提供的方法和装置，应用程序框架中的后台包括一个主处理进程和至少一个从处理进程；前台接收到任务后，将任务信息发送给后台的主处理进程；主处理进程获取自身和各从处理进程的状态信息，并根据获取的状态信息和接收到的任务信息，按照预设的均衡策略将该任务分配给自身或相应的从处理进程进行处理。当前台在短时间内接收到大量的任务时，后台的主处理进程可以根据自身和各从处理进程的状态信息对该任务均衡分配给多个处理进程进行处理，而不是仅由单一的处理进程处理所有的任务，因此，本发明在短时间内需要处理大量任务时，能够显著提高后台的任务处理性能。

另外，在本发明中新安装运行的从处理进程也能够通过注册的方式随时加入任务的均衡分配，并且，通过实时维护内存中从处理进程状态信息的方式，及时的注销处于异常状态的从处理进程，即能够实现从处理进程的自动注册和注销，使得用户可以根据任务的实际数量，灵活的增加或减少应用程序中的处理进程数量。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims

1、一种任务处理的方法，其特征在于，应用程序框架中的后台包括一个主处理进程和至少一个从处理进程，该方法包括：

前台接收到任务后，将任务信息发送给后台的主处理进程；

2、根据权利要求1所述的方法，其特征在于，每一个从处理进程安装运行后，主动向所述主处理进程申请注册，主处理进程为申请注册的从处理进程分配ID号并将各从处理进程的ID号和状态信息存入内存；

所述主处理进程获取自身和各从处理进程的状态信息为：所述主处理进程获取自身的状态信息，并从所述内存中获取已注册的从处理进程的状态信息。

3、根据权利要求2所述的方法，其特征在于，所述为申请注册的从处理进程分配ID号具体为：从预先设定的ID号分配范围中选择一个尚未被占用的ID号作为所述申请注册的从处理进程的ID号。

4、根据权利要求2所述的方法，其特征在于，该方法还包括：所述主处理进程按照预设的时间间隔向已注册的各从处理进程查询状态信息，利用查询到的状态信息对所述内存中各从处理进程的状态信息进行更新，并判断各从处理进程被查询到处于异常状态的次数是否超过预设的次数阈值，如果是，则将超过预设的次数阈值的从处理进程的ID号和状态信息从所述内存中删除。

5、根据权利要求4所述的方法，其特征在于，所述主处理进程按照预设的时间间隔向已注册的各从处理进程查询状态信息包括：所述主处理进程按照预设的时间间隔轮询已注册的各从处理进程，获取已注册的各从处理进程的状态信息；或者，

所述主处理进程按照预设的时间间隔向已注册的各从处理进程发送查询请求，处于运行状态或者空闲状态的从处理进程接收到所述查询请求后，将自身的状态信息返回给所述主处理进程；或者，

已注册的从处理进程中处于运行状态或空闲状态的各从处理进程按照预设的时间间隔主动发送自身的状态信息至所述主处理进程。

6、根据权利要求2所述的方法，其特征在于，所述按照预设的均衡策略将所述任务分配给自身或相应的从处理进程进行处理包括：根据所述内存中存储的各从处理进程的状态信息，从处于空闲状态的从处理进程和主处理进程中任意选择一个或多个对所述任务进行处理；或者，

根据所述内存中存储的各从处理进程的状态信息，从处于空闲状态的从处理进程和主处理进程中按照ID号顺序选择一个或多个对所述任务进行处理；或者，

如果当前没有空闲状态的从处理进程和主处理进程，则可以按照ID顺序或者任意选择一个或多个处于运行状态的从处理进程或主处理进程，将所述任务放入所述选择的从处理进程或主处理进程的任务栈中。

7、一种任务处理的装置，其特征在于，该装置中包括前台和后台，所述后台包括一个主处理进程和至少一个从处理进程；

所述从处理进程，用于对分配给自身的任务进行处理。

8、根据权利要求7所述的装置，其特征在于，所述后台还包括：内存；

所述从处理进程，还用于在安装运行后，主动向所述主处理进程申请注册；

所述主处理进程，还用于为申请注册的从处理进程分配ID号并将各从处理进程的ID号和状态信息存入内存；并从所述内存中获取所述自身和各从处理进程的状态信息；

所述内存，用于存储所述各从处理进程的ID号和状态信息。

9、根据权利要求8所述的装置，其特征在于，所述主处理进程，还用于按照预设的时间间隔，通过轮询的方式、或者发送查询请求的方式、或者接收从处理进程主动发送的状态信息的方式，向已注册的各从处理进程查询状态信息，利用查询到的状态信息对所述内存中各从处理进程的状态信息进行更新，并判断各从处理进程被查询到处于异常状态的次数是否超过预设的次数阈值，如果是，则将超过预设的次数阈值的从处理进程的ID号和状态信息从所述内存中删除；

所述从处理进程，还用于接收到所述查询请求后，如果自身处于运行状态或空闲状态，则向所述主处理进程返回自身的状态信息；或者，如果处于运行状态或空闲状态，则按照预设的时间间隔主动向所述主处理进程发送自身的状态信息。

10、根据权利要求8所述的装置，其特征在于，所述主处理进程具体按照以下均衡策略将所述任务分配给自身或相应的从处理进程进行处理：根据所述内存中存储的各从处理进程的状态信息，从处于空闲状态的从处理进程和主处理进程中任意选择一个或多个对所述任务进行处理，或者，从处于空闲状态的从处理进程和主处理进程中按照ID号顺序选择一个或多个对所述任务进行处理，或者，如果当前没有空闲状态的从处理进程和主处理进程，则可以按照ID顺序或者任意选择一个或多个处于运行状态的从处理进程或主处理进程，将所述任务放入所述选择的从处理进程或主处理进程的任务栈中。