CN108243200A - 一种用于确定流处理请求等级的服务器 - Google Patents

Abstract

本发明涉及一种用于确定流处理请求等级的服务器，包括接收端口，分析装置和分配端口。本发明通过分析流处理执行单元的工作动态评估流处理请求的处理等级，以用于解决如何确定执行所述流处理请求任务的流处理执行单元的技术问题。

Description

一种用于确定流处理请求等级的服务器

【技术领域】

本发明属于计算机数据处理领域，尤其涉及一种用于确定流处理请求等级的服务器。

【背景技术】

现在，计算机数据处理技术已经在各个领域都得到了深入应用，根据数据处理的特点分为实时处理和流式处理，其中，实时处理对数据处理的时间有严格的要求，需要在极短的时间内完成处理，其处理的数据量通常较小，与实时处理相对应，为流式处理(流处理)，其特点是对处理时间没有严格的要求，其处理的数据量通常非常大，但数据的处理需要相应的处理时间，因此，当接收的数据流速率比处理的数据流速率高时，则会出现，待处理的数据越积越多，会引起数据阻塞。特别是随着互联网的飞速发展，基于网络的音视频传输流量也越来越大，网络音、视频流已深入到了人们的日常生活，例如：音、视频流的编解码服务、格式转化服务等等，这对流处理请求服务能够得到及时响应提出了新的要求。一种常用的避免流处理请求服务阻塞的做法是提高数据流的处理速度，如采用计算性能更好的数据处理单元，因而对硬件的成本要求更高。因此，通常采用另外一种做法，即通过调度的方式将不同的流处理请求分配给多个不同的数据处理单元，从而降低流处理请求服务的延迟。常用的随机调度手段虽然简单，但由于不考虑数据处理单元的运行情况，在实践中，常常会出现系统资源浪费的情况，从而导致整体运行效率降低。所以，如何将流处理请求高效的分配给流数据处理单元是流处理技术中关键技术之一。

【发明内容】

为了解决现有技术中的上述问题，本发明提出了一种服务器，其用于确定流处理请求等级。

本发明采用的技术方案如下，包括：

接收端口，与网络侧连接，接收来自网络侧网络上的请求方的流处理请求；

分析装置，对所述接收的流处理请求按照预先设定的规则进行分析，确定所述流处理请求的处理等级，

分配端口，与流处理侧连接，按照所述的处理等级将所述流处理请求发送给位于流处理侧指定的执行服务器，

优选的，所述执行服务器至少包括二台独立的流处理执行单元,每个执行单元定期将其工作状态发送给所述分析装置；

所述分析装置还包括一数据库，用于保存接收到的各执行单元最新的工作状态。

优选的，所述工作状态包括执行单元的运行负载率和存储器的使用率，所述流处理执行单元的工作状态的信息值按照如下步骤确定：

1)获取执行单元的运行负载率Pcpu,所述运行负载率为执行单元的处理器的使用率；

2)获取执行单元的存储器的使用率Pmem，所述使用率为存储器被使用的空间占总空间的比例；

3)计算执行单元工作状态的信息值：

S_i＝α×(1-Pcpu)+β×(1-Pmem)，其中S_i为工作状态的信息值，其中下标i为执行单元的编号，α和β为加权系数，满足α+β≤1。

优选的，所述接收端口接收到流处理请求时，根据请求的参数确定所述流处理请求的处理等级，其中，所述请求的参数包括数据流的类型和长度，包括如下步骤：

(1)计算执行服务器的空置率Pt，其中，M为执行服务器所包括的执行单元的总数，S_i为接收到的执行服务器中的编号为i的执行单元的工作状态的信息值；

(2)计算L＝Round(A×Pt+B)，其中，Round为按照四舍五入的方式取整的函数，其中L为所述流处理请求的处理等级,A为与所述数据流的类型相关的类型调整系数，当类型为视频类型时，A＝1,当类型为音频类型时，A＝2，当类型为其他类型是，A＝3；B为与所述数据流的长度相关的长度调整系数，且B＝L/1000,其中，L的单位为兆字节(MB)。

优选的，所述α和β为0.6和0.4。

优选的，按照所述的处理等级将所述流处理请求发送给位于流处理侧指定的执行服务器包括如下步骤：

1)计算所述处理等级与所述执行服务器中的各执行单元处理能力等级的差值的绝对值；

2)发送所述流处理请求到所述执行服务器的指定执行单元，所述指定的执行单元的编号为从上述绝对值中的最小值对应的执行单元的编号。

本发明的有益效果至少包括：基于流处理服务器的负荷情况，动态调整流处理服务器的处理能力等级，避免流处理服务器出现数据处理不及时所引起的数据阻塞现象，且极大提高了流处理服务器群的执行效率。

【附图说明】

此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：

图1是本发明系统所应用的系统结构图。

【具体实施方式】

下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。

参见附图1，其示出了本发明所述的用于确定流处理请求等级的服务器的结构图。流处理任务分配服务器包括接口端口、分析装置及其数据库和分配端口，接口端口通过通信链路连接到互联网，以接收来自于网络的流处理请求，接收到流处理请求后，将流处理请求的相关参数提交给分析装置，所述参数包括流处理请求的数据类型和长度，分析装置从其连接的数据库中提取执行服务器定期发送并保存在数据库中的各执行单元的最新的工作状态。当分配端口将流处理请求转发给执行服务器中的指定执行单元后，执行单元与发出流处理请求的请求方通过网络建立数据通信，流处理请求方持续地将待处理的数据流发送给所述执行单元，所述执行单元执行流处理任务，将处理完成的数据返回给流处理请求方。为了提高执行单元的使用率，执行单元通常执行多个不同的流处理任务。可见，如果流处理请求被持续分配给一个执行单元，所述执行单元的工作负载将越来越大，最终会出现处理能力不足导致不能正常处理所接收的待处理数据，而引起数据阻塞的情形，因此需要将流处理请求分配给匹配的执行单元。

在本实施例中，分析装置利用上述最新的工作状态信息值计算各个执行单元的运行负载率Pcpu和存储器的使用率Pmem，它们分别为各所述执行单元的处理器的使用率和各个所述存储器中被使用的空间占总空间的比例。

为了便于理解，本实施例采用了具有4个执行单元的执行服务器，当前的工作状态信息如下表第1-3列所示(为了节省篇幅，表格中直接列出了(1-Pcpu)和(1-Pmem)的计算值)，针对本实施例的视频解压缩处理的应用场景，处理器的处理能力需求高于存储器的容量需求，可设置加权系数α和β分别为0.6和0.4。为了使得执行单元的处理能力保持一定的余量，可设置能力调整系数k为0.8。由这些信息，可计算出各个执行单元的工作状态信息值，如下表第4列所示。

执行单元编号	1-Pcpu	1-Pmem	S	PE
					0	0.5	1	0.7	0.56
1	0.3	0.9	0.54	0.43
					2	0.2	0.3	0.24	0.19
3	0.8	0.5	0.68	0.54

由上述计算得到各个执行单元的工作状态信息值S，进一步得到所述包含4个执行单元的执行服务器的空置率

当此时接收端口接收到一流处理器请求，其参数中的要求处理的数据类型为视频数据，长度为2014兆字节(MB)，为单位,则可确定该流处理请求的处理等级L:

L＝Round(A×Pt+B)＝Round(1×0.54+2014/1000)＝3

计算流处理请求的处理等级与各执行单元的处理能力等级的差值的绝对值，如下表所示。

执行单元编号	PE	ABS(PE-L)
			0	0.56	2.44
1	0.43	2.57
			2	0.19	2.81
3	0.54	2.46

其中编号为0的执行单元的处理能力等级与流处理请求的处理等级的差值绝对值最小，因此，分析装置通过分配端口将所述流处理器请求发送给执行服务器中编号为0的执行单元执行流处理操作。

从上述实施例可以看出，本发明不同于传统的优先将待处理的服务请求发送给运行负载(Pcpu)或者存储器使用率(Pmem)最低的执行单元，而是综合考虑两者，通过设置加权系统来设置具体应用环境中处理器(cpu)和存储器(memory)的影响，对于本实施例，由于用于视频解压缩处理，对处理器处理资源的要求略高于存储器的要求，因此，在设置加权系数时，可强化处理器的运行能力，，如本实施例的α要大于β。另外，本实施例还考虑了需要进行流处理的数据的长度，并作为影响处理等级的一个考察参数，使得数据长度值越大的请求，相对处理等级越低。通过上述技术手段。本实施例改变了优先选择处理能力最富足的处理服务器的传统方式，而是综合评价后，选择匹配程度最高的处理服务器，实践表明，选择匹配程度最适当的处理单元能够有效避免了流处理服务器中出现可用处理资源“小碎片”的情形(即流处理服务器中的多个执行单元都存在较小的可用处理能力，但都不能够满足一个基本任务的要求)。而本发明由于采取将流处理请求动态匹配适当的流处理服务器中的执行单元，使得流处理服务器的工作执行效率和利用率都得到较大的提高。

以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。

Claims (6)

1.一种用于确定流处理请求等级的服务器，其特征在于：

接收端口，与网络侧连接，接收来自网络侧网络上的请求方的流处理请求；

分析装置，对所述接收的流处理请求按照预先设定的规则进行分析，确定所述流处理请求的处理等级，

分配端口，与流处理侧连接，按照所述的处理等级将所述流处理请求发送给位于流处理侧指定的执行服务器。

2.如权利要求1所述的用于确定流处理请求等级的服务器，其特征在于：

所述执行服务器包括至少二台独立的流处理执行单元,每个执行单元定期将其工作状态发送给所述分析装置；

所述分析装置还包括一数据库，用于接收和保存各执行单元最新的工作状态。

3.如权利要求2所述的用于确定流处理请求等级的服务器，其特征在于：所述工作状态包括执行单元的运行负载率和存储器的使用率，所述流处理执行单元的工作状态的信息值按照如下步骤确定：

1)获取执行单元的运行负载率Pcpu,所述运行负载率为执行单元的处理器的使用率；

2)获取执行单元的存储器的使用率Pmem，所述使用率为存储器被使用的空间占总空间的比例；

3)计算执行单元工作状态的信息值和执行单元的处理能力等级：

S＝α×(1-Pcpu)+β×(1-Pmem)，

PE＝k×S，

其中S为工作状态的信息值，α和β为加权系数，且满足α+β≤1，PE为执行单元的处理能力等级，k为能力调整系数，且k小于等于1。

4.如权利要求3所述的用于确定流处理请求等级的服务器，其特征在于：所述接收端口接收到流处理请求时，根据请求的参数确定所述流处理请求的处理等级，其中，所述请求的参数包括数据流的类型和长度，包括如下步骤：

(1)计算执行服务器的空置率Pt，其中，M为执行服务器所包括的执行单元的总数，S_i为接收到的执行服务器中的编号为i的执行单元的工作状态的信息值；

(2)计算L＝Round(A×Pt+B)，其中，Round为按照四舍五入的方式取整的函数，其中L为所述流处理请求的处理等级,A为与所述数据流的类型相关的类型调整系数，当类型为视频类型时，A＝1,当类型为音频类型时，A＝2，当类型为其他类型是，A＝3；B为与所述数据流的长度相关的长度调整系数，且B＝L/1000,其中，L的单位为兆字节(MB)。

5.根据权利要求4所述的用于确定流处理请求等级的服务器，其特征在于：所述α和β为0.6和0.4，所述k为0.8。

6.根据权利要求5所述的用于确定流处理请求等级的服务器，其特征在于：按照所述的处理等级将所述流处理请求发送给位于流处理侧指定的执行服务器包括：

1)计算所述处理等级与所述执行服务器中的各执行单元处理能力等级的差值的绝对值；

2)发送所述流处理请求到所述执行服务器的指定执行单元，所述指定的执行单元的编号为从上述绝对值中的最小值对应的执行单元的编号。