CN112799811A - 一种边缘网关的高并发线程池任务调度方法 - Google Patents

Abstract

本发明涉及边缘网关服务器中线程池任务调度，具体涉及一种边缘网关的高并发线程池任务调度方法，所述方法包括边缘网关分配器接收来自不同客户端或者边缘设备节点的请求任务；为请求任务设定出过期时间，并获取请求任务中的请求数据大小的哈希值；封装成请求对象；根据每个线程的任务队列中的任务总权重最小值选择出线程，并使用边缘网关分配器为任务总权重最小值的线程分配请求任务；主线程将请求对象分配到选择出的不同线程的任务队列中；根据请求对象中的过期时间进行优先级排序；判断线程处理器核是否空闲，若空闲，则直接按照优先级队列处理请求任务；本发明能够实现高并发线程池中任务的调度，达到线程池中各个线程的负载均衡。

Description

一种边缘网关的高并发线程池任务调度方法

技术领域

本发明涉及边缘网关服务器中线程池任务调度，具体涉及一种基于实时线程池任务权重的方法来实现高并发线程池中任务的调度，达到线程池中各个线程的负载均衡。

背景技术

随着半导体工艺技术的快速发展,集成电路的规模越来越大,传统的单核系统设计不再满足设计要求,多核技术成为当今处理器发展的主要方向。多核系统拥有众多的计算核心,通过将计算任务分配给不同的处理核心可以大幅提高计算性能。

目前，在万物互联的大环境下，边缘计算作为一种处理核心可以有效处理计算任务，边缘计算在靠近数据源的地方就近处理数据，这种方式无需将所有的数据都传到云端去，省去了数据在网络上来回传输时间，从而节省了带宽降低了网络传输的压力；并且数据传输到公网去处理，从而降低了数据被泄漏的风险，更好地保护了用户数据的隐私。

如何合理高效在边缘计算中进行任务调度,确保全部处理核心处于有效工作状态是当今多核系统研究的一个重要方向。多核任务调度的关键难点在于发掘任务并行性,超标量技术和多线程技术是当今高性能处理器开发指令并行性的主流技术，目前方式中一般采用轮询调度算法进行任务池调度，但是在边缘网关服务器运行过程中随着连接请求的增加，以及请求事件不断向边缘网关分配器堆积将给线程池中的某些事件循环线程造成巨大的压力；如果没有采取合理的请求事件的分配策略将会导致线程池中某些线程十分忙碌，某些线程十分空闲进而使得边缘网关服务器的实际性能和理想性能之间产生较大差异。

发明内容

基于现有技术存在的问题，为了使得事件循环线程池中的事件处理线程能够达到负载均衡，本发明提出一种自适应的线程池任务调度方法。

本发明提供如下技术方案解决上述问题：

一种边缘网关的高并发线程池任务调度方法，包括以下步骤：

边缘网关分配器接收来自不同客户端或者边缘设备节点的请求任务；

所述边缘网关分配器为所述请求任务设定出过期时间，并获取所述请求任务中的请求数据大小的哈希值；

所述边缘网关分配器将请求任务、过期时间和哈希值信息封装成请求对象；

根据每个线程的任务队列中的任务总权重最小值选择出线程，并使用边缘网关分配器为任务总权重最小值的线程分配请求任务；

主线程将所述请求对象分配到选择出的不同线程的任务队列中；

根据所述请求对象中的过期时间进行优先级排序，并对所述任务队列形成优先级队列；

判断线程处理器核是否空闲，若空闲，则直接按照优先级队列处理请求任务，否则，先放入线程的任务队列中，再按照优先级队列处理请求任务。

本发明的有益效果：

本发明在边缘网关中采用了多线程的调度方式，对于从客户端接收到的任务请求，本发明首先判断其来源途径，一种是来自于新的连接请求对象，另外一种是来自于原来的连接请求中的任务更新；对于前者采用主线程处理的方式来分发连接对象，对于后者只需要更新请求事件即可；对于主线程处理方式，对每个请求对象绑定过期时间，使得在过期时间内对事件进行处理，超出过期时间及时清除连接对象，腾出连接资源，节约线程的占用内容，提高线程执行效率；由于不同的数据大小对于任务执行的时间也会有一定的影响；因此本发明使用哈希表存储的方式仅仅只需存储每个边缘设备ID对应的数据，而不需要对设备数据进行长时间的存储，在边缘网关运行过程中会伴随着对设备数据的快速请求和更新，本发明使用哈希表的方式能够提高查找和修改数据的效率；避免采集数据在缓冲区内存中堆积影响线程执行效率。

附图说明

图1是本发明的一种边缘网关中的任务调度框架图；

图2是本发明实施例中的一种边缘网关的高并发线程池任务调度方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在一个实施例中，本发明涉及的实施环境包括：计算机设备和装设在计算机设备上的任务处理模组。其中，计算机设备具有独立操作系统，独立运行空间，可以安装软件以及第三方服务商提供的软件，例如，计算机设备可以是各种智能系统处理设备等。任务处理模组是能够基于线程池对任务进行处理的硬件模块。

图1是本发明实施例中边缘网关中的任务调度框架图；如图1所示，任务调度框架主要包括客户端、边缘网关分配器、事件循环线程、设备数据。其中，客户端包括多个独立或者并行的客户端，即图中示出的客户端1、客户端2、客户端3、……等；所述客户端是边缘计算中的客户端，包括但不限于手机客户端、电脑客户端、PAD客户端以及PDA客户端等；所述边缘网关分配器用于实现边缘任务的分配，让边缘任务不重复、不遗漏的被快速处理；线程池中有多个事件循环线程，线程池是一种多线程处理形式，处理过程中将任务添加到任务缓存队列，然后在创建线程后自动执行这些任务。任务执行完毕后，将自动对该线程进行回收。线程也被称为轻量级进程(LightWeight Process，LWP)，是程序执行流的最小单元。其中图中示出的事件循环线程1、事件循环线程2、……、事件循环线程n。同样的，所述设备数据是有设备端所采集的数据，每个设备数据可以对应一个设备在某一时刻所采集到的数据，也可以对应不同设备在不同时刻采集到的数据；即图中示出的设备数据1、设备数据2、设备数据3、……等；所述设备可以是安装在边缘网络上的交换机、路由器、IAD以及各种MAN/WAN设备，也可以是各类传感器，包括温度传感器、湿度传感器、红外传感器以及定位装置等；在本发明中，边缘网关分配器接收到来自不同客户端或者其他边缘设备节点的请求任务，基于该请求任务执行事件循环线程，从边缘设备节点中获取对应的设备数据，设备将返回相应的设备数据，完成任务执行。

可以理解的是，本发明提供的任务调度框架系统可供外部应用系统使用。

图2是本发明实施例中的一种边缘网关的高并发线程池任务调度方法流程图，如图2所示，该任务调度过程方法可以包括以下步骤：

101、边缘网关分配器接收来自不同客户端的请求，并获取相应边缘设备节点的请求任务；

在工业设备的长期运行中，随着大量的边缘设备和终端的接入，导致边缘以及终端设备对边缘网关数据获取变得频繁，对边缘网关的计算资源需求也在剧增，对本就资源受限的边缘网关来说无疑是雪上加霜，因此在边缘计算中，为了充分利用边缘网关的计算资源，需要对边缘计算任务进行合理的任务调度；整个线程池任务调度的实现是在边缘网关中进行实现的，也就是可以理解为本发明实施例中的应用场景是在资源受限的边缘网关中。

在本发明实施例中，所述边缘网关分配器是先接收客户端或者其他边缘设备端的请求然后再进行分配，接收或获取客户端或者其他边缘的请求任务指的是先接受客户端或者其他边缘的请求，然后再获取客户端或者其他边缘的请求任务。

具体的，首先边缘网关设备接受来自客户端的请求任务，这些客户端包括应用系统、浏览器、APP和其他边缘设备；当客户端向边缘网关发起连接请求时，边缘网关分配器将来自客户端的请求任务、以及设定的过期时间和哈希值信息封装成请求对象；然后边缘网关分配器根据各个任务线程中的总权重选择出最小权重对应的任务线程，最后将这些建立好的请求对象分发到边缘网关线程池中的任务线程中等待任务线程进行处理即可。

102、所述边缘网关分配器为所述请求任务设定出过期时间，并获取所述请求任务中的请求数据大小的哈希值；

边缘网关分配器对不同客户端的请求任务进行过期时间设定，为每个请求任务设定过期时间T，T为当前时间T_N与固定有效时长T_F之和，每个任务的过期时间将会伴随在整个任务执行过程中，计算方法如下所示：

T＝T_N+T_F

本发明在边缘网关服务器处设计了存储数据大小的哈希表，在系统开启时对数据进行检查注入；使用哈希表进行数据大小存储方便了在进行任务分配时进行总权重计算，数据存储方式如下所示：

Hash[Data_name]＝Data_size

103、所述边缘网关分配器将请求任务、过期时间和哈希值信息封装成请求对象；

本实施例中，对请求对象的封装主要是将过期时间和请求事件进行封装，使得请求事件和过期时间的生命周期与请求对象的生命周期相同；具体的，边缘网关分配器为不同的任务设定请求数据大小；当分配器在接受到任务后根据请求数据在哈希表查找到数据大小，将此参数放入请求任务对象中，这个哈希值参数将伴随整个请求任务对象的生命周期。

104、根据每个线程的任务队列中的任务总权重最小值选择出线程，并使用边缘网关分配器为任务总权重最小值的线程分配请求任务；

本发明实施例中，主要从两个角度来考虑任务权重，一方面是设定过期时间，另一方面就是利用哈希表代替原来的存储方式，假设线程的总权重表示为W，其中M1、M2…Mn表示当前线程队列中的任务总数，n表示线程总数，W₁、W₂、W₃…W_n表示n个线程分别的总权重数，线程的总权重的计算方式如下所示：

W₁＝T₁₁·S₁₁+T₁₂·S₁₂+T₁₃·S₁₃...T_1M1·S_1M1

W₂＝T₂₁·S₂₁+T₂₂·S₂₂+T₂₃·S₂₃...T_2M2·S_2M2

W₃＝T₃₁·S₃₁+T₃₂·S₃₂+T₃₃·S₃₃...T_3M3·S_3M3

W_n＝T_n1·S_n1+T_n2·S_n2+T_n3·S_n3...T_nMn·S_nMn

其中，T_km表示第k个线程的任务队列中第m个请求任务的过期时间，S_km表示第k个线程的任务队列中第m个请求的数据大小；根据W₁、W₂、W₃…W_n的大小，获取其中的最小值所对应的线程：

Min(W₁,W₂,W₃...W_n)

综合考虑过期时间和数据大小，假设W_k是权重总权重的最小值，那么边缘网关分配器对第k个线程分配请求任务。

这里选择出总权重最小的任务线程，将请求对象分配到该线程的任务队列中等待任务线程进行执行；总权重的计算来源于任务队列中的各个请求任务的过期时间和请求数据大小的总和，总权重的大小就决定了当前任务线程的繁忙程度；为了使得线程池中各个任务线程达到负载均衡因此使用该方法来找到当前任务线程中最空闲的任务线程为其分配任务；通过这种方式能够极大的利用边缘网关的计算资源，提高边缘网关整体的任务处理能力。

105、主线程将所述请求对象分配到选择出的不同线程即总权重最小值对应的任务的任务队列中；

根据线程池中任务线程的总权重选择出总权重值最小的任务线程可以避免随机分配的请求任务导致线程池中某些任务过于繁忙，某些任务过于空闲；分配的过程是将来自客户端的任务请求和设定的过期时间以及请求数据大小绑定成请求对象，放入找到的最空闲的任务线程的任务队列中去等待线程去执行即可，任务线程执行请求对象的任务方式是直接调用请求对象中绑定的回调函数即可。

106、根据所述请求对象中的过期时间进行优先级排序，并对所述任务队列形成优先级队列；

为每个线程池中的事件循环线程设计根据过期时间排序的优先级队列；队列中的头部始终为所有任务中过期时间最早的任务，当头部任务完成之后会对队头元素进行弹出操作，当有新的任务到来时会重新进行入队操作。

107、判断线程处理器核是否空闲，若空闲，则直接按照优先级队列处理请求任务，否则，先将所述请求对象放入线程的任务队列中，再按照优先级队列处理请求任务。

在上述过程中，已经形成了优先级队列，这里放入任务队列的就是本发明中将请求任务和过期时间和哈希值信息封装后的请求对象；每个任务线程都会建立一个优先级队列，优先级队列中存放的都是请求任务对象，这些请求任务对象都绑定了过期时间，因此这些请求任务对象在优先级队列中的排列结果就是按照过期时间来进行排列的，保证了处理请求任务的处理顺序是按照请求任务的发起顺序。

在一些实施例中，所述边缘网关分配器接收到请求任务之后还包括对所述请求任务进行判断，若所述请求任务来自于新的连接对象，则继续根据所述边缘网关分配器为所述请求任务设定出过期时间，否则更新请求事件后结束。

具体的，第一种来自新的连接请求对象和本发明的任务调度流程一样，需要将新的请求任务分配到不同的线程池任务队列中；

第二种是来自于原来的连接请求的任务更新；这种情况的判断是不会经过边缘网关分配器进行分配的，因为已经建立连接就直接去修改请求任务，同时修改过期时间。

在一些实施例中，本发明中可以不需要对于新的任务来自于第一种情况还是第二种情况进行判断，由于第一种情况和第二种情况所采用的途径是不相同的，其中第一种情况的前提是必须要建立连接，可以理解为先建立通道；第二种情况的出现是不需要提前建立连接的，因此，本发明可以直接对第一种情况的请求任务进行相应的调度处理。

在一些实施例中，对于已经设置了过期时间的请求任务主线程会在某一段时间对过期事件进行剔除，对请求对象进行析构，如果同一个请求连接有新的任务到来，将会更新过期时间和请求任务数据大小。

本发明所提出的这种边缘网关的高并发线程池任务调度方法能够避免线程频繁创建销毁的开销充分利用多核CPU，并且实现任务的高并发处理，提高边缘网关服务器的吞吐能力，实现边缘网关对边缘设备的实时数据监控。

在本发明的描述中，需要理解的是，术语“同轴”、“底部”、“一端”、“顶部”、“中部”、“另一端”、“上”、“一侧”、“顶部”、“内”、“外”、“前部”、“中央”、“两端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明中，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”、“固定”、“旋转”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.一种边缘网关的高并发线程池任务调度方法，其特征在于，所述方法包括以下步骤：

边缘网关分配器接收来自不同客户端或者边缘设备节点的请求任务；

所述边缘网关分配器为所述请求任务设定出过期时间，并获取所述请求任务中的请求数据大小的哈希值；

所述边缘网关分配器将请求任务、过期时间和哈希值信息封装成请求对象；

根据每个线程的任务队列中的任务总权重最小值选择出线程，并使用边缘网关分配器为任务总权重最小值的线程分配请求任务；

主线程将所述请求对象分配到选择出的不同线程的任务队列中；

根据所述请求对象中的过期时间进行优先级排序，并对所述任务队列形成优先级队列；

判断线程处理器核是否空闲，若空闲，则直接按照优先级队列处理请求任务，否则，先将所述请求对象放入线程的任务队列中，再按照优先级队列处理请求任务。

2.根据权利要求1所述的一种边缘网关的高并发线程池任务调度方法，其特征在于，所述边缘网关分配器接收到请求任务之后还包括对所述请求任务进行判断，若所述请求任务来自于新的连接对象，则继续根据所述边缘网关分配器为所述请求任务设定出过期时间，否则更新请求事件后结束。

3.根据权利要求1所述的一种边缘网关的高并发线程池任务调度方法，其特征在于，所述边缘网关分配器为所述请求任务设定出过期时间包括边缘网关分配器对来自不同客户端的请求任务分别设定出过期时间T，所述过期时间T为当前时间T_N与固定有效时长T_F之和。

4.根据权利要求1所述的一种边缘网关的高并发线程池任务调度方法，其特征在于，在所述过期时间内对当前请求事件进行处理，将超出其过期时间的请求对象清除连接。

5.根据权利要求1所述的一种边缘网关的高并发线程池任务调度方法，其特征在于，所述请求任务中的请求数据大小的哈希值的获取方式包括边缘网关对不同数据的大小的请求任务设计出对应的哈希表，其中哈希表中的键对应请求数据名称，哈希值表示请求数据大小。

6.根据权利要求1所述的一种边缘网关的高并发线程池任务调度方法，其特征在于，所述根据每个线程的任务队列中的任务总权重最小值选择出线程包括采用Min(W₁,W₂,W₃...W_n)计算出任务总权重最小值，其中W_k表示第k个线程的任务总权重，k∈{1,2,...,n}；n表示线程总数；

T_km表示第k个线程的任务队列中第m个请求任务的过期时间；S_km表示表示第k个线程的任务队列中第m个请求的数据大小；M_k表示第k个线程的任务队列中的任务总数。

7.根据权利要求1所述的一种边缘网关的高并发线程池任务调度方法，其特征在于，所述按照优先级队列处理请求任务包括在所述优先级队列中头部始终为所有任务中过期时间最早的任务，当头部任务完成之后会对队头元素进行弹出操作，当有新的任务到来时重新进行入队操作。

Images