CN112954006A - 支持Web高并发访问的工业互联网边缘网关设计方法 - Google Patents

Abstract

本发明涉及基于IPv6领域，具体涉及一种支持Web高并发访问的工业互联网边缘网关设计方法，包括边缘计算节点在IPv6环境下对边缘设备数据进行实时采集；边缘计算节点在IPv6环境下通过交换机将采集的数据上传到网关Sqlite数据库；根据当前密集计算所占时间比重设置线程池的大小，令线程池中每一个线程为一个事件循环，即一个线程为线程和事件绑定的事件循环，一个事件为一个任务请求；采用Reactor反应模型对客户端的连接请求进行处理并使用主线程将其分发给子线程；使用Round Robin控制线程池中线程的负载，使其达到均衡状态；利用基于边沿触发模型的epoll IO多路复用机制对事件进行监听；本发明即使在资源受限的边缘网关也能支持客户端高并发访问，方便了用户对边缘设备进行实时管理。

Description

支持Web高并发访问的工业互联网边缘网关设计方法

技术领域

本发明涉及基于IPv6领域，具体涉及一种支持Web高并发访问的工业互联网边缘网关设计方法。

背景技术

随着万物互联概念的发展，工业互联网将渗透到工业现场的各个角落、连接所有终端和设备，实现网络中每个设备(终端、节点)均可寻址、可通信、可控制，而IPv4已经远远不能满足工业互联网发展的需求。为使得这些终端和设备能够连入网络，必须加快推进工业互联网IPv6的应用部署，以满足工业互联网对海量地址空间的需求。而IPv6工业互联网在智能化生产、网络化协同、个性化定制和预测性维护同等创新应用上面临大量工业设备的接入和管理问题，而传统集中管控或云计算模式缺乏实时、全局协同能力，无法适应IPv6工业互联网背景下工业设备接入管理的低开销、实时性等需求。

Web服务器能够提供管理和调节应用程序的管理网络状态和平衡负载,可以连接多个数据库,可以集成来源不同的数据从而作出不同的处理,这是Web应用服务器的强大优势。从Web应用服务器应用的现状来看,它已经成为了人们关注的重点,在网络软件平台中占据了重要地位,被广泛应用于电子商务、电子政务、企业信息化等领域。现如今出现了许许多多的Web服务器，但它们普遍存在延迟高、易宕机、少的连接数等问题，因此设计一个能够支持高并发访问并结合IPv6网络使用的Web高性能服务器迫在眉睫。

物联网边缘网关是近年来物联网兴起后产生的新型网络设备。不同于互联网时代的路由器网关，除了联通互联网络外，还需要兼容各种物联网协议智能，组建一个设备互联的网络。但是有别于传统路由器类网关，它还面临更多协议的转化，并且不能完全依赖于互联网(云端)去实现各种场景功能，因为物联网是需要驱动更多本地设备，对网络的延迟比TCP/IP时代要求更加严格，所以需要很多本地计算能力，在企业级环境中更是如此，一个基于边缘计算的企业级物联网网关设计显得尤为重要。

发明内容

为了解决工业设备数据无法进行统一管理以及对资源受限网关无法实现并发访问等问题，本发明提出一种支持Web高并发访问的工业互联网边缘网关设计方法，该方法具体包括以下步骤：

边缘计算节点在IPv6环境下对边缘设备数据进行实时采集；

边缘计算节点在IPv6环境下通过交换机将采集的数据上传到网关Sqlite数据库；

设置线程池的大小，令线程池中每一个线程为一个事件循环，即一个线程为线程和事件绑定的事件循环，一个事件为一个任务请求；

采用Reactor反应模型对客户端的连接请求进行处理并使用主线程将其分发给子线程；

使用Round Robin控制线程池中线程的负载，使其达到均衡状态；

利用基于边沿触发模型的epoll IO多路复用机制对事件进行监听。

进一步的，网关Sqlite数据库与Web服务器之间设置有Redis缓存数据库，将常用数据存放于Redis缓存数据库中，当请求到来时，先从Redis缓存数据库中读取，如果能够直接在Redis缓存数据库中获取需要的信息，则不对网关Sqlite数据库进行读取操作。

进一步的，Reactor反应模型包括一个主反应器、一个接收器以及一个或多个子反应器，主反应器接收任务请求，并将其转发给接收器，接收器与任务请求建立连接，每个新的请求连接会伴随请求事件，将请求事件和连接请求进行绑定后放在子反应器中执行，每个子反应器在一个独立线程中运行并维护一个独立的NIO选择器。

进一步的，Reactor反应模型在分发任务请求的过程包括：

主反应器接受到来自客户端的请求得到网络连接套接字，网络连接套接字和请求连接一一对应，将连接请求套接字和对应的当前循环进行绑定作为请求对象；

将请求事件和请求对象相互绑定成事件循环体，当同一连接的请求事件发生变化时需要重新注册新事件；

将事件循环体放入线程池中的一个工作线程中，交给工作线程完成事件处理，Reactor反应模型主要完成接受新的连接请求，并将连接请求进行上述处理后进行分发给线程池中的工作线程。

进一步的，线程池中包括多个IO线程，主线程接受客户端连接，并将客户端的请求进行分发，一个请求发送到一个IO线程；一个IO线程为一个事件循环，主线程将新的请求对象和事件经过绑定分发到线程池中的IO线程中，IO线程通过依次调用已经注册的事件回调函数处理任务请求，并返回请求数据，每个线程在开启时就会一直等待处理新的请求事件到来，将就绪事件添加到就绪链表中依次进行处理，每次IO线程的处理过程即为事件处理循环过程。

进一步的，线程池的大小根据操作系统的任务类型进行设置，表示为：

其中，C为CPU核心数；w_t为平均每个线程的等待时间；tc_t为平均每个线程的CPU运行时间。

进一步的，使用Round Robin控制线程池中线程的负载，即每一次把来自用户的请求轮流分配给线程池中的工作线程，从第一个工作线程开始，直到第N个工作线程，具体包括以下步骤：

确定处理线程总数，将请求任务按照时间进行排序分发；

轮询处理器核是否空闲，若空闲则直接处理请求任务，否则等待直到存在空闲的核再处理请求任务；

判断轮询器是否关闭，若关闭则结束流程；否则继续返回轮询处理器核是否空闲。

本发明网关通过epoll多路IO复用能够使得网络连接套接字不被限制，同时使用多线程中的线程池方式将cpu进行充分利用，在对线程池进行任务调度过程中使用轮询的方式实现多线程的负载均衡，通过上述设计方法使用即使在资源受限的边缘网关也能支持客户端高并发访问，方便了用户对边缘设备进行实时管理。

附图说明

图1为本发明中不同线程池数量对服务器吞吐量的影响示意图；

图2为本发明一种支持Web高并发访问的工业互联网边缘网关示意图；

图3为本发明Reactor反应模型在分发任务请求的过程示意图；

图4为本发明使用Round Robin的负载均衡轮询调度算法进行分发任务示意图；

图5为本发明使用Round Robin的负载均衡轮询调度算法进行分发任务流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提出一种支持Web高并发访问的工业互联网边缘网关设计方法，具体包括以下步骤：

边缘计算节点在IPv6环境下对边缘设备数据进行实时采集；

边缘计算节点在IPv6环境下通过交换机将数据上传到Sqlite数据库；

根据当前密集计算所占时间比重设置线程池的大小，令线程池中每一个线程为一个事件循环，即一个线程为线程和事件绑定的事件循环；

采用Reactor反应模型对客户端的连接请求进行处理并使用主线程将其分发给子线程；

使用Round Robin控制线程池中线程的负载，使其达到均衡状态；

利用基于边沿触发模型的epoll IO多路复用机制对事件进行监听。

在本实施例从以下9个方面对本发明的网关设计进行说明，即：

1)通过边缘计算节点在IPv6环境下对边缘设备数据进行实时采集。

位于边缘侧的温度传感器、湿度传感器、烟雾传感器、光照传感器等工业设备通过串口通信与边缘节点进行通信，通过具有不用协议转换类型的边缘节点将工业互联网中的IP和非IP转换成IPv6网络，通过边缘节点对各个设备进行IPv6地址分配，边缘网关通过IPv6地址对边缘设备进行寻址访问，对工业设备进行实时监测，在边缘网关服务器运行过程中会对边缘设备进行实时的数据采集，这些数据都会通过IPv6以数据包的形式进行传输，在边缘网关中对各个不同的数据包进行拆分获取数据，将数据以静态资源的方式放入服务器缓冲区，同时将数据持久化存储于边缘网关数据库中便于进行数据分析，缓冲区的数据便于客户端的获取。

2)采用Mysql数据库对设备数据进行持久化存储。

对于边缘网关数据库的设计包括两种对两种数据库的设计，一种是关系型数据库，基与Mysql体积小，开源，跨平台等诸多优点，因此这里选择采用Mysql数据库进行持久化存储数据；另外一种数据库为Redis缓存数据库，Redis是一种key-value数据库，非常符合工业设备的数据类型，通过在服务器和Mysql关系型数据库之间建立Redis数据库，可以避免每次都要去Mysql数据库中查询数据，服务器可以直接从缓存中获取数据；同时也可以设置Redis数据库数据持久化的周期，将数据持久化地存储于关系型数据库中；使用Redis相关技术极大地提高了网关服务器所提供的数据服务效率。

3)采用线程池避免线程的频繁创建和销毁。

对边缘网关中的高性能Web服务器是整个边缘网关设计的核心部分，通过采用线程池技术，运用网络编程中的epoll IO多路复用网络模型，使用Reactor+Noblocking+One_loop_per_thread+epoll ET的服务器访问高并发设计模式对高性能Web服务器设计，线程池的大小根绝不同服务器CPU的核心数据进行选择。

4)采用epoll IO多路复用机制完成事件的监听。

在IO多路复用技术中存在select、poll、epoll等模型，由于select适用于windows系统并且对网络套接字的查找方式是轮询方式查找，且一般情况下只支持1024个套接字通信；poll虽然可以支持更多的套接字通信，但其查找的套接字的方式依然是轮询方法，对于效率提升也不是很大；而epoll多路IO复用底层采用红黑树的数据结构事件的监听和事件的处理，因此对网络通信套接字的数量的限制仅仅来自于操作系统本身的区别，在进行套接字查找过程中无需使用O(n)的轮询检查时间复杂度，O(logN)的查询复杂度极大的提高了网络编程效率；非常适用于高性能Web服务器的设计。

5)采用Reactor反应模型对连接请求进行处理并使用主线程将其分发给子线。

Reactor模型称为反应模型，MainReactor只有一个，负责响应客户端的连接请求，并建立连接，它使用一个NIO Selector(NIO选择器检查某个事件可读还是可写),使用Selector的好处在于使用更少的线程即可处理大量的请求任务，相比使用多个线程，避免了线程上下文切换带来的开销。在与Acceptor主线程建立连接后用Round Robin(负载均衡轮询调度算法)的方式分配给某个SubReactor(子反应器)，SubReactor可以有一个或者多个取决于线程池的大小，每个subReactor都会在一个独立线程中运行，并且维护一个独立的NIO Selector。

6)对每个网络连接套接字设置非阻塞模式提高并发效率。

IO非阻塞Noblocking指的是在网络通信的过程中使用非阻塞模式进行数据的获取，由于阻塞模式下进行接收数据时，服务端需要等待服务端接受到数据才能使得线程继续往下执行，否则线程将会阻塞到接受数据处，这种模式大大降低了网络通信的效率，非阻塞模式采用缓冲区来存放数据，当数据量到达一定量时会将数据进行处理返回，随之清空缓冲区；同时在每次调用接收数据函数recv()时不管是否接收到数据都会返回，在没有对数据进行处理时，可以处理其他事物，这种方式大大提高了并发效率。

7)每个线程即为一个事件循环，线程不再仅仅是单一线程而是线程和事件绑定的事件循环。

One_loop_per_thread一个线程只处理一个事件循环，步骤5)中已经简单对Reactor模型进行了简单的介绍，而One loop per thread正是这种模型的内部实现机制，这种模式的好处在于线程数目固定，可以在程序启动的时候设置，不会频繁创建与销毁，其次可以很方便地在线程间调配负载，同时IO事件发生的线程是固定的，同一个TCP连接不必考虑事件并发，整个处理过程中一个事件循环只使用一个线程来处理，不仅保证了数据的安全，也避免了在进程上下文之间来回切换；使用主线程来接受客户端连接，将请求进行分发到不同的IO线程实现负载均衡各个任务相互独立。

在本实施例中，作为一种可选的实时方案，根据当前密集计算所占时间比重设置线程池的大小，即：

当密集计算的时间比重小于0.2时或者大于0.5时，设置线程池大小为cpu核心数；

否则通过当密集计算时间所占比重P与当前cpu数量C的关系设置线程池大小，即：

其中，C是边缘网关中cup数量，T是线程池的大小，P指的是密集计算所占时间比重。

作为另外一种可选的实施方案，本实施例线程池的大小根据操作系统的任务类型进行设置，表示为：

其中，C为CPU核心数；w_t为平均每个线程的等待时间；tc_t为平均每个线程的CPU运行时间。

8)对epoll采用边沿触发模型提高并发效率。

epoll ET模式即为边缘触发模式，和它相对比的是LT模式；ET模式是在步骤4)IO多路复用技术中的epoll IO多路复用中设置的，作为更加高效的IO多路复用技术中包含了两种触发模式一种是边缘触发模式，是指每当状态变化时发生一个IO事件，另外一种是水平触发模式也叫条件触发模式，是指只要满足条件就发生一个IO事件；设置ET模式时，当事件到来可读可写状态变化，内核只会提示一次，直到下次再有数据之前都不会提示，无论套接字中是否还有数据可读；因此在ET模式下read一个套接字的时候一定要把它的缓存区读光为止，即读到调用read函数返回EAGIN为止；设置ET模式能够加提高服务器的并发效率，减少线程在用户态和内核态之间的切换次数。

9)使用Round Robin实现线程池中线程的负载均衡。

为实现线程池中不同线程的负载均衡这里使用Round Robin负载均衡算法来实现；轮询调度算法的原理是每一次把来自用户的请求轮流分配给内部中的服务器，从1开始，直到N(内部服务器个数)，然后重新开始循环。算法的优点是其简洁性，它无需记录当前所有连接的状态，所以它是一种无状态调度。

假设有一组服务器N台，S＝{S1,S2,…,Sn}，一个指示变量i表示上一次选择的服务器ID。变量i被初始化为N-1。轮询调度算法假设所有服务器的处理性能都相同，不关心每台服务器的当前连接数和响应速度。当请求服务间隔时间变化比较大时，轮询调度算法容易导致服务器间的负载不平衡，这种负载均衡算法适合于服务器组中的所有服务器都有相同的软硬件配置并且平均服务请求相对均衡的情况。

图1以及表1显示了不同线程池数量对服务器吞吐量的影响。测试环境为ubuntu14.04虚拟机，Intel(R)Core(TM)i5-8500 CPU@3.00GHz处理器，处理器为4核4线程，运行内存为8G，分别在设置线程池大小为1，2，3，4，8的条件下进行测试；从结果可以看出，从线程池的大小选择可以反映出，当线程池的大小选择为处理器核心总数时反映出来的边缘网关服务器具有更高的处理能力；当我们选择线程数8时所反映出来的处理能力和线程数4所反映出的处理能力几乎重合；实验结果表明，我们所提出的网关服务器设计方法中对线程池大小的设计中，1个线程的处理效率最低，线程池大小为2时的处理效率提升了接近2倍，线程池大小为3时的处理效率更加的接近正常水平，线程池大小为4时为整个网关服务器处理效率的瓶颈，线程池大小为8时所反映出的处理效率和线程池大小为4时相同，这是由于本发明的测试服务器中核心数为4。

表1服务器采用不同线程池数量的QPS

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.支持Web高并发访问的工业互联网边缘网关设计方法，其特征在于，具体包括以下步骤：

边缘计算节点在IPv6环境下对边缘设备数据进行实时采集；

边缘计算节点在IPv6环境下通过交换机将采集的数据上传到网关Sqlite数据库；

设置线程池的大小，令线程池中每一个线程为一个事件循环，即一个线程为线程和事件绑定的事件循环，一个事件为一个任务请求；

采用Reactor反应模型对客户端的连接请求进行处理并使用主线程将其分发给子线程；

使用Round Robin控制线程池中线程的负载，使其达到均衡状态；

利用基于边沿触发模型的epoll IO多路复用机制对事件进行监听。

2.根据权利要求1所述的支持Web高并发访问的工业互联网边缘网关设计方法，其特征在于，网关Sqlite数据库与Web服务器之间设置有Redis缓存数据库，将常用数据存放于Redis缓存数据库中，当请求到来时，先从Redis缓存数据库中读取，如果能够直接在Redis缓存数据库中获取需要的信息，则不对网关Sqlite数据库进行读取操作。

3.根据权利要求1所述的支持Web高并发访问的工业互联网边缘网关设计方法，其特征在于，Reactor反应模型包括一个主反应器、一个接收器以及一个或多个子反应器，主反应器接收任务请求，并将其转发给接收器，接收器与任务请求建立连接，每个新的请求连接会伴随请求事件，将请求事件和连接请求进行绑定后放在子反应器中执行，每个子反应器在一个独立线程中运行并维护一个独立的NIO选择器。

4.根据权利要求3所述的支持Web高并发访问的工业互联网边缘网关设计方法，Reactor反应模型在分发任务请求的过程包括：

主反应器接受到来自客户端的请求得到网络连接套接字，网络连接套接字和请求连接一一对应，将连接请求套接字和对应的当前循环进行绑定作为请求对象；

将请求事件和请求对象相互绑定成事件循环体，当同一连接的请求事件发生变化时需要重新注册新事件；

将事件循环体放入线程池中的一个工作线程中，交给工作线程完成事件处理，Reactor反应模型主要完成接受新的连接请求，并将连接请求进行上述处理后进行分发给线程池中的工作线程。

5.根据权利要求1所述的支持Web高并发访问的工业互联网边缘网关设计方法，线程池中包括多个IO线程，主线程接受客户端连接，并将客户端的请求进行分发，一个请求发送到一个IO线程；一个IO线程为一个事件循环，主线程将新的请求对象和事件经过绑定分发到线程池中的IO线程中，IO线程通过依次调用已经注册的事件回调函数处理任务请求，并返回请求数据，每个线程在开启时就会一直等待处理新的请求事件到来，将就绪事件添加到就绪链表中依次进行处理，每次IO线程的处理过程即为事件处理循环过程。

6.根据权利要求1所述的支持Web高并发访问的工业互联网边缘网关设计方法，线程池的大小根据操作系统的任务类型进行设置，表示为：

其中，C为CPU核心数；w_t为平均每个线程的等待时间；tc_t为平均每个线程的CPU运行时间。

7.根据权利要求1所述的支持Web高并发访问的工业互联网边缘网关设计方法，使用Round Robin控制线程池中线程的负载，即每一次把来自用户的请求轮流分配给线程池中的工作线程，从第一个工作线程开始，直到第N个工作线程，具体包括以下步骤：

确定处理线程总数，将请求任务按照时间进行排序分发；

轮询处理器核是否空闲，若空闲则直接处理请求任务，否则等待直到存在空闲的核再处理请求任务；

判断轮询器是否关闭，若关闭则结束流程；否则继续返回轮询处理器核是否空闲。

Images