CN103927225B - 一种多核心架构的互联网信息处理优化方法 - Google Patents

Abstract

本发明提出了一种多核心架构的互联网信息处理优化方法,其主要部分包括面向互联网服务器集群的多核心架构下的信息处理优化模型，所述信息处理优化模型采用两级并行处理机制，即各个服务器节点的并行处理和服务器节点内部的并行信息处理；所述信息处理优化模型主要由WEB服务器集群、负载均衡器、信息处理服务器集群等组成；本发明改进了传统的服务器负载均衡算法，提高面向互联网信息处理服务器的并发访问性能，增加了多核心架构下的服务器并发信息处理能力，缩短用户信息处理请求的平均响应及等待时间，降低服务器系统的功耗与成本，具有广阔的发展前景及极高的技术价值。

Description

一种多核心架构的互联网信息处理优化方法

技术领域

本发明设计一种服务器技术，具体地说是一种多核心架构的互联网信息处理优化方法。

背景技术

随着互联网信息处理的爆炸性增长，网络并发用户量猛增，面向互联网信息处理服务器性能的提升受到了严重的制约。系统响应时间是影响互联网处理性能的重要因素，主要包括以下方面：指令传输时间、任务等待时间、信息加载时间、查询信息时间。要提高面向互联网信息处理系统性能，必须满足既能支持大用户量并发访问，又能同时缩短用户请求的平均响应时间。

现有的系统主要从硬件和软件方面解决性能提升问题。硬件上通过专用的负载均衡器或提高服务器的处理器处理速度、增加内存容量等办法提高系统性能，存在成本较高、可扩展性差的不足。软件主要采用分布式部署、最小代价法、聚类调度法、队列分析法等方法实现了服务器集群的负载均衡，通过服务器集群来提升整个系统的并发处理能力，满足大用户量并发访问的需求。这些负载均衡算法的基本思想都是将大用户量的并发访问请求采用某种策略分配到集群中的各个服务器分别执行，但这些负载均衡方法都只考虑到如何均衡地分配负载到各个服务器，却没有考虑如何提升单个服务器的并发处理能力。并且，传统的多任务线程调度方法任务统一由负载均衡器主动式顺序分发，负载均衡器存在请求转发瓶颈，请求的顺序分发会导致服务器无法立即对请求进行并行处理。另外，对服务器节点负载状态的判断存在延迟问题，如果对服务节点状态监视的时间太短会占用服务节点资源，造成有限的资源浪费，间隔太长又会导致对服务器状态的判断存在延迟，从而导致任务分配的不公平。

随着处理器从单核高频向多核高频的发展，多核计算平台在提高服务器的并发性能、功耗与成本多方面的优势，使多核心架构逐渐占领市场份额。因此，如何既能利用面向互联网服务器多核处理器,优化提高各个服务器节点的并发信息处理能力，又能尽量缩短用户信息处理请求的平均响应时间就成了亟需解决的问题。

发明内容

针对如何提高服务器集群各个服务器节点的并发信息处理能力，缩短用户信息处理请求的平均响应时间和等待时间，本发明提出了一种多核心架构下的互联网信息处理优化方法。

本发明公开了一种多核心架构的互联网信息处理优化方法，其解决所述技术问题采用的技术方案如下：针对当今面向互联网信息处理服务器多核心处理架构，本发明设计了服务器集群中各服务器节点及服务器节点内部两级并行处理机制，并利用信息处理任务响应比模型、任务请求队列缓冲机制、及面向多核心的多线程优化调度方法，以提高系统并发信息处理性能，提高面向互联网信息处理服务器的并发访问性能；该多核心架构下的互联网信息处理优化方法主要部分包括面向互联网服务器集群的多核心架构下的信息处理优化模型；

所述互联网服务器集群有明确的场景面向性和特定性，场景面向性指互联网信息处理，包括图片类、视频类、数据查询类、信息搜索类、交互类及文字聊天类等诸多种类；特定性指各单独服务器节点的处理核心都是基于多核心架构的处理器，可以是基于Intel、AMD、ARM，及MIPS等多种架构类型；

所述信息处理优化模型，主要由WEB服务器集群、负载均衡器、信息处理服务器集群等组成；所述WEB服务器集群由多台WEB服务器组成；所述信息处理的优化模型使用两级并行处理机制，即各个服务器节点的并行处理和服务器节点内部的并行信息处理；

所述负载均衡器，主要由任务请求队列池、请求分类队列、任务响应比计算器、任务优先级调度器及任务请求监听器组成；

所述信息处理服务器集群，由多个面向信息处理的互联网服务器组成，每个服务器节点内部的优化模型单元主要包括：任务进程调度器、线程调度池、线程管理器、处理器内核群等。

进一步，所述任务请求队列池位于负载均衡器中，含有任务请求队列缓冲区，面向多任务并行接入，用于缓存并发用户的互联网信息处理请求，在请求队列池中会对不同类型的请求分开多队列，并结合全局的任务优先级调度器，根据请求的类型具体实际被调度分派的任务请求。

进一步，所述任务响应比计算器，面向缩短用户响应时间是基于使平均响应时间尽可能低，且让大多数并发用户满意的原则，对请求队列池中任务进行响应比计算和动态分配。

进一步，所述任务进程调度器采用多核心多进程调度方法，面向多核心协同工作，其任务调度采用服务器节点主动式获取方式，引入专用队列线程对其进行管理，使服务节点内部线程调度池中的各内核线程可以并发的访问请求队列池。

进一步，所述线程管理器能够进行内核管理进程，面向多核心管理，用于管理内核的工作状态，包括空闲和执行中等，该进程负责调度任务是否可用。

本发明公开的多核心架构的互联网信息处理优化方法的有益效果是：

本发明的多核心架构的互联网信息处理优化方法，能够面向大规模互联网服务器部署场合的信息处理提供优化方案，通过建立基于多核架构的信息处理优化模型，不仅利用集群服务器节点间的并行处理能力，而且充分利用服务器节点内部多核心架构的并行处理能力，大大提高了集群服务器节点的并发信息处理能力，缩短用户信息请求的平均响应及等待时间，降低了服务器系统的功耗与成本。除此之外，本发明也涉及多核心多进程调度的优化方法，通过对调度方法的改进和优化可进一步提高多核心架构下信息处理的准确性。

该多核心架构下的互联网信息处理优化方法适合于所有支持多核心的处理器平台架构，特别适用于面向互联网信息处理的大量用户及数据并发访问的场合，通过优化后的模型能充分利用服务器节点的多核计算优势，更好地达到互联网信息处理的要求，具有广阔的发展前景及极高的技术价值。

附图说明

附图1为本发明实施例的基于多核架构的信息处理优化模型；

附图2为本发明实施例的任务请求队列缓冲区工作流程图；

附图3为本发明实施例的多核心多进程调度方法流程图。

具体实施方式

本发明提出的多核心架构的互联网信息处理优化方法，进行设计时所涉及的内容主要包括：

1）多核心架构下互联网服务器集群的应用场景；

2）多核心架构下的信息处理优化模型；

3）多核心架构下的信息处理关键技术；

下面对上述几个方面分别进行详细说明：

所述1）多核心架构下互联网服务器集群的应用场景是指：主要面向于大量用户并行访问接入的互联网信息处理场合，该场合通常需要将服务器组成集群并引入负载均衡器协调各单独服务器分布式完成任务；

所述服务器组成集群是用于互联网信息处理的服务器集群，服务器集群有明确的场景面向性和特定性，场景面向性指互联网信息处理，包括图片类、视频类、数据查询类、信息搜索类、交互类及文字聊天类等诸多种类；特定性指各单独服务器节点的处理核心都是基于多核心架构的处理器，可以是基于Intel、AMD、ARM，及MIPS等多种架构类型。

所述2）多核心架构下的信息处理优化模型，主要由WEB服务器集群、负载均衡器、信息处理服务器集群等组成；

所述信息处理优化模型使用两级并行处理机制，即各个服务器节点的并行处理和服务器节点内部的并行处理，充分利用多核服务器节点的多核心架构进行并行计算，实现了多核集群中请求的任务调度和负载均衡；

所述负载均衡器，主要由任务请求队列池、请求分类队列、任务响应比计算器、任务优先级调度器及任务请求监听器组成；

所述信息处理服务器集群，由多个信息处理节点服务器组成，每个服务器节点内部的优化模型单元主要包括：任务进程调度器、线程调度池、线程管理器、处理器内核群等。

所述3）多核心架构下的信息处理的关键技术，主要包括：

1）面向多任务并行接入：任务请求队列池；

2）面向缩短用户响应时间：任务响应比计算器；

3）面向多核心协同工作：任务进程调度器；

4）面向多核心管理：线程管理器；

所述任务请求队列池位于负载均衡器中，含有任务请求队列缓冲区，用于缓存并发用户发送的互联网信息处理请求，由于请求有诸如图片类、视频类、数据查询类、信息搜索类、交互类及文字聊天类等很多种类，因此在请求队列池中会开创多个队列分别对应不同类型的请求，并结合全局的优先级调度器，根据请求的类型具体实际被调度分派的任务请求；

所述任务响应比计算器是基于使平均响应时间尽可能低，且让大多数并发用户满意的原则，对请求队列池中任务进行响应比计算和动态分配；

所述任务进程调度器采用多核心多进程调度方法，其任务调度采用服务器节点主动式获取方式，为实现服务节点能并行的获取请求队列池中的各类型请求任务，引入专用队列线程对其进行管理，使服务节点内部线程调度池中的各内核线程可以并发的访问请求队列池；

所述线程管理器能够内核管理进程，用于管理内核的工作状态，包括空闲和执行中等，该进程负责调度任务是否可用。

本发明提出的面向互联网信息处理的任务响应比计算器，与具体的处理架构技术无关，且基于使平均响应时间尽可能低，让大多数并发用户满意的原则，能够对任务请求队列中任务进行响应比计算和动态分配。

本发明还改进了现有的多任务线程调度方法，本发明设计的计算模型任务调度（任务进程调度器）采用服务器节点主动式获取方式，为实现服务器节点能并行的获取请求队列中的任务，每个服务器节点设计了任务请求队列缓冲区，并使用专用线程对其进行管理，这样可以避免直接访问全局请求队列时锁操作引起问题。

本发明的其他特征及优点在随后的实施例中阐述，通过下面的实施例能显而易见、容易地了解该发明所述技术方案。

实施例

下面通过本发明的一个实施例及其附图，对本发明的设计方案进一步详细说明，所描述的实施例仅用于说明和理解本发明，并不构成对本发明的限制。

附图1为本发明实施例的基于多核架构的信息处理优化模型，如图1所示，所述信息处理优化模型由WEB服务器集群、负载均衡器、信息处理服务器集群等组成。WEB服务器集群有多台WEB服务器组成，对具体的WEB服务器类型没有特殊要求；负载均衡器由任务请求队列池、请求分类队列、任务响应比计算器、任务优先级调度器及任务请求监听器等部分组成；信息处理服务器集群由多个面向网信息处理的互联服务器组成，每个服务器节点内部的优化模型单元主要包括：任务进程调度器、线程调度池、线程管理器、处理器内核群等。

附图2为本发明实施例的任务请求队列缓冲区工作流程图，如图2所示，具体过程描述如下：

步骤1：初始化任务请求队列缓冲区；

步骤2：从负载均衡器获取请求处理的任务；

步骤3：调用任务响应计算器进行计算，计算模型如下：

设Ts为任务提交时间、Tb为任务实际开始执行时间、Tc为任务实际执行完成时间、Tp为任务要求的标准执行时间、T为所有并发任务平均周转时间。本例目标是使T最小，即让所有并发用户的平均响应时间最小，使等待时间长、要求执行时间短的任务优先执行，T的计算公式如下所示：其中n为所有并发任务个数

负载均衡器中的任务响应比计算器计算任务等待队列中的各任务的响应优先级，设当前计算时间为Ta，当前计算任务的响应比优先级为R，对任务按响应比优先级进行排序，并将其存储到负载均衡器中的任务优先级队列中，R的计算公式如下：

步骤4：填充任务请求队列缓冲区，并标识用户优先级；

步骤5：将任务发送到任务（请求）队列缓冲区，等待任务被启动执行；

步骤6：线程调度池获取任务；

步骤7：通过线程管理器，通知缓冲区管理线程更新（任务请求队列）缓冲区。

附图3为本发明实施例的多核心多进程调度方法流程图，如图3所示，具体过程描述如下：

步骤1：初始化线程调度池；

步骤2：开启面向多核心的多个并行线程，线程的数量要小于或等于处理器核心的数量；

步骤3：初始化线程管理器；

步骤4：判断（任务请求）队列缓冲区是否为空；

步骤5：如果为空，则返回步骤3，继续等待直到任务请求队列缓冲区不为空；

步骤6：如果不为空，则从任务请求队列缓冲区获得优先级最高的任务；

步骤7：发送更新缓冲区消息；

步骤8：查询线程管理器，选择空闲内核处理优先级最高任务；

步骤9：等待响应结果。

本发明提出的多核心架构的互联网信息处理优化方法，改进了传统的服务器负载均衡算法，增加了多核心架构下的服务器并发信息处理性能，能够提高集群服务器节点的并发信息处理能力，缩短用户信息处理请求的平均响应及等待时间，降低服务器系统的功耗与成本，具有广阔的发展前景及极高的技术价值。

以上所述仅为本发明的实施例而已，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种多核心架构的互联网信息处理优化方法，其特征在于，其主要部分包括面向互联网服务器集群的多核心架构下的信息处理优化模型；所述信息处理优化模型，主要由WEB服务器集群、负载均衡器、信息处理服务器集群组成；所述WEB服务器集群由多台WEB服务器组成；所述信息处理优化模型使用两级并行处理机制，即各个服务器节点的并行处理和服务器节点内部的并行信息处理；

其中，所述负载均衡器，主要由任务请求队列池、请求分类队列、任务响应比计算器、任务优先级调度器及任务请求监听器组成；

所述任务请求队列池含有任务请求队列缓冲区，面向多任务并行接入，用于缓存并发用户的互联网信息处理请求，在请求队列池中会对不同类型的请求分开多队列，并结合全局的任务优先级调度器，根据请求的类型具体实际被调度分派的任务请求；

所述信息处理服务器集群，由多个面向信息处理的互联网服务器组成，每个互联网服务器节点内部的优化模型单元主要包括：任务进程调度器、线程调度池、线程管理器、处理器内核群。

2.根据权利要求1所述的多核心架构的互联网信息处理优化方法，其特征在于，所述任务响应比计算器，面向缩短用户响应时间是基于使平均响应时间尽可能低，且让大多数并发用户满意的原则，对请求队列池中任务进行响应比计算和动态分配。

3.根据权利要求1所述的多核心架构的互联网信息处理优化方法，其特征在于，所述任务进程调度器采用多核心多进程调度方法，面向多核心协同工作，其任务调度采用服务器节点主动式获取方式，引入专用队列线程对其进行管理，使服务器节点内部线程调度池中的各内核线程可以并发的访问请求队列池。

4.根据权利要求1所述的多核心架构的互联网信息处理优化方法，其特征在于，所述线程管理器，面向多核心管理，用于管理内核的工作状态，包括空闲和执行中等，该进程负责调度任务是否可用。

5.根据权利要求1所述的多核心架构的互联网信息处理优化方法,其特征在于，所述任务请求队列缓冲区的工作流程为：

步骤1：初始化任务请求队列缓冲区；

步骤2：从负载均衡器获取请求处理的任务；

步骤3：调用任务响应计算器进行计算；

步骤4：填充任务请求队列缓冲区，并标识用户优先级；

步骤5：将任务发送到任务请求队列缓冲区，等待任务被启动执行；

步骤6：线程调度池获取任务；

步骤7：通知任务请求队列缓冲区管理线程，更新任务请求队列缓冲区。

6.根据权利要求3所述的多核心架构的互联网信息处理优化方法,其特征在于，所述多核心多进程调度方法流程为：

步骤1：初始化线程调度池；

步骤2：开启面向多核心的多个并行线程；

步骤3：初始化线程管理器；

步骤4：判断任务请求队列缓冲区是否为空；

步骤5：若为空，则返回步骤3，继续等待直到任务请求队列缓冲区不为空；

步骤6：若不为空，则从任务请求队列缓冲区获得优先级最高的任务；

步骤7：发送更新缓冲区消息；

步骤8：查询线程管理器，选择空闲内核处理优先级最高任务；

步骤9：等待响应结果。