CN111752486B - 基于io调度策略降低无盘工作站回写数据读延迟的方法 - Google Patents

Abstract

本发明公开了一种基于IO调度策略降低无盘工作站回写数据读延迟的方法，包括：缓存回写策略、读写分离、读优先、多读一写、负载均衡策略，每个策略相辅相成形成整体方案，该方案能够防止个别客户机大量请求同时到达，以致其他客户机的请求长时间不能被处理的现象。相比传统经验化的人造数据，本发明采用直接对生产环境进行数据采集，不仅保障了数据的真实性，而且丰富了数据的时序、多样化等特征；本发明通过模拟回放，实现复杂生产环境的具象化，达到还原出网民真实行为的效果。

Description

基于IO调度策略降低无盘工作站回写数据读延迟的方法

技术领域

本发明属于无盘计算机技术领域，具体涉及一种基于IO调度策略降低无盘工作站回写数据读延迟的方法。

背景技术

无盘工作站的原理就是在网内有一个系统服务器，这台系统服务器上除了有它本身运行所需的操作系统外还需要有一个工作站运行所需的操作系统，无盘工作站的机箱中没有硬盘，其它硬件都有(如主板、内存等)，而且无盘工作站的网卡必须带有可引导芯片。在无盘工作站启动时网卡上的可引导芯片从系统服务器中取回所需数据供用户使用，简单点一句话就是，无盘工作站其实就是把硬盘和主机分离，无盘工作站只执行操作不执行存储，故不会改变文件。

在顺网雲中，客户端需访问服务器获得各种资源，包括系统镜像、游戏资源；当客户端访问服务器资源时，系统会在客户端生成虚拟的C盘(系统/镜像盘)和Z盘(游戏盘)，让用户感知和使用本地磁盘一样，可以随时访问其中所有资源，以及修改、添加、删除客户机显示的可用资源内容。服务端的C盘和Z盘的资源很庞大，不能真正的下载到客户机本地，在起初只生成目录，在用户访问一个目录里的内容时才会从服务端读取相关内容；服务端的C盘与Z盘资源提供给所有客户端使用，不由用户的操作而修改，于是用户操作的同时生成相应回写文件；在用户对虚拟C盘和Z盘操作修改时，修改的内容写入回写文件，回写文件只记录与原始数据的差异，回写文件与服务器原C盘/Z盘叠加就能记录该用户对数据的修改(增删改)。

为使用户对资源的操作生效，无明显延迟感知，需要及时回写修改和从服务端读取所需资源。其中采用读写分离，读优先，多读一写，用户的读写操作会向服务器发送多个读请求和写请求，普通情况下读请求和写请求按时间先后顺序处于同一队列中等待服务器读写。在队列中，往往会出现多个连续的读请求或者多个连续的写请求，当写请求先到达，排在读请求前，服务器会按顺序处理完一批写请求再处理读请求。如图2所示，数字表示读写请求，1～5表示写请求，1'～5'表示读请求，如原本处理完这批读请求所需时间是时间t，处理完这批写请求需要时间s；在这种情况下，用户操作后发出的读请求需要t+s的服务器处理时间，感知上可能有明显卡顿。

当读请求不及时返回，客户机的应用程序比如游戏等会卡住，但写请求不及时返回，客户机的应用程序不会卡住，因为客户机操作系统已将写请求保存到客户机的系统缓存中，并告知应用程序写请求已经完成。因此，无盘服务端对读请求的响应速度至关重要。

另外，对于无盘服务端，基于硬盘的特性，写请求的处理时间也比读请求慢，因此优先处理读请求，也可以通过“短作业优先”的优势，来大大提升整体的请求响应速度。

发明内容

鉴于上述，本发明提出了一种基于IO调度策略降低无盘工作站回写数据读延迟的方法，能够防止个别客户机大量请求同时到达，以致其他客户机的请求长时间不能被处理的现象。

一种基于IO调度策略降低无盘工作站回写数据读延迟的方法，包括：

读写分离，即将客户端整个任务队列分成读请求队列和写请求队列，两个队列分别存放读请求和写请求；

多读一写，从读请求队列中提取并执行多个读请求后，再从写请求队列中提取并执行1个写请求；

制定面向客户机、面向请求、面向综合情境的三种负载均衡策略，并根据实际情况选择并实施相应的负载均衡策略；

最后通过模拟回放测试对云无盘系统的性能进行验证分析。

进一步地，所述读写分离以及多读一写策略的具体实现方式如下：

(1)创建一个读请求队列、一个写请求队列和一个线程池，将任务队列中的所有读请求按序放入读请求队列，所有写请求按序放入写请求队列；

(2)配置一次任务处理的读写请求比＝k:1，k为大于1的自然数；

(3)利用线程池中的线程共享读请求队列和写请求队列，并获取任务包含k个读请求和1个写请求；

(4)执行任务时强调读优先，先执行完k个读请求，再执行1个写请求；

(5)回到步骤(3)反复执行。

进一步地，面向客户机的负载均衡策略，具体实现方式如下：

首先，创建多个读写任务池，每个读写任务池包括一个读请求队列、一个写请求队列和一个线程池；

然后，为每个客户机分配固定的读写任务池，并均匀分配读写任务池，使得每个读写任务池对应负责同样数量的客户机；具体地，则通过哈希算法A将客户机的读写请求投入客户机对应的读写任务池中，使得多个读写任务池能够同时处理相应客户机的读写请求；

最后，利用线程池中的线程从读请求队列和写请求队列中获取并执行任务，且遵从多读一写、读优先的策略。

进一步地，面向请求的负载均衡策略，具体实现方式如下：

首先，创建多个读写任务池，每个读写任务池包括一个读请求队列、一个写请求队列和一个线程池；

然后，将同一时段内来自客户机的所有读写请求平均分配给各个读写任务池，使得每个读写任务池中待处理的请求数量一样多；具体地，则通过哈希算法B将所有读写请求投入对应的读写任务池中，使得各读写任务池相对均匀地同时处理读写请求；

最后，利用线程池中的线程从读请求队列和写请求队列中获取并执行任务，且遵从多读一写、读优先的策略。

进一步地，面向综合情境的负载均衡策略，具体实现方式如下：

首先，创建多个读写任务池，每个读写任务池包括一个读请求队列、一个写请求队列和一个线程池；

然后，通过哈希算法A将客户机的读写请求投入客户机对应的读写任务池中，使得多个读写任务池能够同时处理相应客户机的读写请求；

当检测到某一读写任务池待处理的请求负荷超出设定的阈值，则通过哈希算法B将该读写任务池中的部分读写请求转移投入其他读写任务池中，使得各读写任务池相对均匀地同时处理读写请求；

最后，利用线程池中的线程从读请求队列和写请求队列中获取并执行任务，且遵从多读一写、读优先的策略。

进一步地，所述哈希算法A即通过对客户机地址计算哈希值，令该哈希值作为对应读写任务池的编号，进而根据该哈希值将客户机的读写请求投入到客户机对应的读写任务池中。

进一步地，所述哈希算法B即通过对请求ID计算哈希值，令该哈希值作为读写任务池的编号，进而根据该哈希值将读写请求投入到对应的读写任务池中。

进一步地，对云无盘系统的性能进行验证分析即采用旁路机制采集线上客户机的请求数据作为样本在测试环境下进行模拟回放测试，能较为真实地模拟线上客户机的行为(批量开机、上网高峰等)，可灵活模拟测试场景(比如读服、写服可以单独模拟测试)，其中引入请求响应时间指标作为性能测试通过条件，保证性能质量，最终测试出线上能够达到的最大待机数，进而将该模拟线上的最大待机数与理论推导的最大待机数进行比较分析。

进一步地，所述模拟回放测试的具体实施过程为：对于不同并发数的测试用例，在客户机使用脚本批量启动指定个数的dsplayer进行回放，每次测试用例持续回放1～2个小时，观察和记录各项性能数据。

进一步地，所述dsplayer为客户机请求包回放工具，用于从抓包文件中读取请求包，与基础服务建立连接，发送请求包到指定服务，达到模拟1台真实客户机的目的；dsplayer会记录每个IO的响应时间，用来做性能分析。

相比传统经验化的人造数据，本发明采用直接对生产环境进行数据采集，不仅保障了数据的真实性，而且丰富了数据的时序、多样化等特征；本发明通过模拟回放，实现复杂生产环境的具象化，达到还原出网民真实行为的效果。

附图说明

图1为本发明无盘工作站IO调度策略系统示意图。

图2为读写请求任务队列示意图。

图3为读写分离后的读池和写池队列示意图。

图4为回写样本数据-IOPS的变化示意图。

图5为回放测试程序架构图。

图6为回放程序测试环境拓扑结构图。

图7为测试结果-读写压测请求达标率的变化示意图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

本发明无盘工作站系统如图1所示，其应用了一系列读写策略，包括：缓存回写策略、读写分离、读优先、多读一写、负载均衡策略，每个策略相辅相成形成整体方案。

(1)读写分离、多读一写。

首先分类读写请求，将请求队列分为“读池”和“写池”，如图3所示，读写分离后，按照示意图，服务器处理请求的顺序为1'12'23'34'45'5……。按照这个策略，服务器可以更及时的处理读请求，同时用户在读数据时不易出现长时间延迟。然后进一步优化读写分离策略，强调读优先，使用了“多读一写”的策略，即k个读请求与一个写请求的次序穿插处理。

本实例中读写分离、多读一写的具体实施步骤如下：

1.1创建一个读请求任务队列、一个写请求任务队列和一个线程池；

1.2配置一次任务处理的读请求数:写请求数＝k:1；

1.3线程池中的线程共享读、写请求任务队列，获取任务(任务中包含k个读请求和1个写请求)；

1.4执行任务，先执行完k个读请求，再执行1个写请求；

1.5回到步骤1.3。

按照图3示意，当设k为2个读请求，服务器处理请求的顺序为1'2'13'4'25'6'3；同理，当设k为3个读请求，服务器处理请求的顺序为1'2'3'14'5'6'27'8'9'3；以此类推，可以通过调整读请求个数k来调整读请求的优先级。

(2)三种负载均衡策略。

无盘服务器需要给大量客户机提供读写请求服务，因此无盘服务器成为客户机竞争的有限资源。为了给客户机公平合理分配无盘服务器资源，避免少部分客户机抢光无盘服务器资源，因此本发明实现了面向客户机、面向请求以及面向综合情境的三种负载均衡策略。

2.1面向客户机

由于队列中可能连续集中来自个别客户机的大量请求，这些请求会先被处理，其他客户机的请求会等待更长的时间才能被处理，这样会出现客户机的读写时而很快，时而卡顿的情况。为了均衡公平的处理各个客户机的请求，有了第一种负载均衡策略，具体实施步骤如下：

①创建n个读写任务池，每个读写任务池包含一个读请求任务队列、一个写请求任务队列和一个线程池；

②为所有客户机分配固定的读池和写池，并均匀分配读写池，使每个读池和写池对应同样数量的客户机；通过哈希算法(对客户机地址计算哈希值，即读写任务池的编号)，将接收的客户机读或写请求投入对应的读写任务池中；

③多个读写池同时处理相应若干客户机的读写请求，依然应用读优先和多读一写的策略。

这样的整体方案可以使服务端公平的处理客户机请求，降低等待延迟，利用缓存加速读数据。

2.2面向请求

以上策略可能出现的情况：同一时间内，会存在各客户机读写请求量参差不齐的情况：部分客户机发送大量读写请求，而其他客户机发送少量读写请求。请求量大的客户机相对应的读写池忙碌，而请求量小的客户机对应的读写池可能空闲，这导致部分服务器处理大量请求，请求排队，同时部分服务器空闲，服务器池的总处理能力不能完全利用。因此，本发明设计了第二种负载均衡策略，即提供多个读写池，将所有到达的读写请求平均地分配给各个读写池，使每个读写池待处理的请求一样多，其具体实施步骤如下：

①创建k个读写任务池，每个读写任务池包含一个读请求任务队列、一个写请求任务队列和一个线程池；

②通过哈希算法(对读或写请求ID计算哈希值，即读写任务池的编号)，将接收的客户机读或写请求投入对应的读写任务池中；

③多个读写池相对均匀地同时处理读写请求，依然应用读优先和多读一写的策略。

该方案可以最大限度的利用服务器资源池的处理能力，但是与面向客户机负载均衡相比，可能带来的不足是：由于同时间段各个客户机请求量不同，个别客户机请求量大时，大部分服务器同时处理同一客户机的请求；在该客户机所有请求结束之前，其他客户机没有被处理，这导致服务端对多客户机的不公平处理。

2.3面向综合情境

以上两种策略各有利弊，基于以上两种策略，本发明提出第三种负载均衡策略，即增加多个读写池，为所有客户机分配固定的读池和写池，并均匀分配读写池，使每个读池和写池对应同样数量的客户机，进而检测读写池中请求队列长度，如果个别读写池队列过长，将一部分请求转移到其他相对空闲的读写池，其具体实施步骤如下：

①创建k个读写任务池，每个读写任务池包含一个读请求任务队列、一个写请求任务队列和一个线程池；

②通过哈希算法(对客户机地址计算哈希值，即读写任务池的编号)，若计算得出的任务池负载达到阈值，则通过哈希算法(对读或写请求ID计算哈希值，即读写任务池的编号)，将接收的客户机读或写请求投入对应的读写任务池中；

③各读写池相对均匀地同时处理读写请求，依然应用读优先和多读一写的策略。

本策略整合以上两种策略的优点，服务端能公平的处理客户机，同时尽量发挥最大处理能力。

(3)模拟回放测试验证云无盘系统性能。

云无盘系统对服务端程序的稳定性和性能要求非常高，性能方面既要能高并发、高吞吐率，又要非常低的请求延迟；一个服务端程序的性能由多方面因素决定，从程序到系统内核，最终到硬件、网络，每个层面都可能存在性能瓶颈点，测试分析和调优无穷尽，因此性能测试分析无疑是一项有难度和充满挑战性的工作。

本发明通过旁路机制采集生产线上的客户机请求数据，作为样本在测试环境进行模拟回放测试，能比较真实的模拟线上客户机的行为(批量开机、上网高峰等)。可灵活模拟测试场景，比如读服、写服可以单独模拟测试，其中引入请求响应时间指标作为性能测试通过条件，保证性能质量。本实例模拟回放测试采集到2家网吧高峰时间段真实生产数据作为样本，如图4所示。

最终系统性能测试通过线上请求模拟回放测试，测试出最大带机数，作为生产线上能够达到的最大带机数的参考，最后将理论推导带机数和模拟线上带机数进行比较分析。

测试程序架构如图5所示，其包括：

dscopy(copy模块)：基于应用层的客户机请求包复制模块，集成到各基础服务(diskservice/dataservice/writeback)中，当基础服务收到客户机请求时，将请求包复制转发给dscapture程序；io请求只转发请求的位置和大小信息，对于写请求，转发时忽略写数据内容，减少转发数据流量以减少系统开销，在回放时随机构造写数据内容(在回放测试时数据内容没有实际意义)。

dscapture(抓包程序)：客户机请求包抓取工具，将dscopy转发来的包进行过滤，按格式保存到指定抓包文件中，保存时会记录每个包的来源、时间戳等；过滤功能支持按客户机IP、客户机网段过滤，这样在云机房环境可以使用网段过滤抓取某家网吧的客户机请求包。

dsplayer(回放程序)：客户机请求包回放工具，从抓包文件中读取请求包，与基础服务建立连接，发送请求包到指定服务，达到模拟1台真实客户机的目的；回放程序会记录每个io的响应时间，用来做性能分析。

其他辅助程序包括：

dsperf_collector(无盘性能采集程序)：主要用来统一收集dsplayer统计的io响应时间，便于做统计分析。

capturefile_mod(抓包文件修改工具)：主要用来将一个抓包文件按客户机IP提取保存到单个文件，便于dsplayer进行回放。

本实施方式根据图6搭建回放程序测试环境拓扑后，具体实施步骤如下：

(1)按不同并发数的测试用例，在客户机使用脚本批量启动指定个数dsplayer进行回放；

(2)每次测试用例持续回放1～2个小时；

(3)观察和记录各项性能数据。

由图7的测试结果分析可以看到，读服务3000在线客户机下请求达标率(延迟≤10ms)维持在100％，写服务2000在线客户机的请求达标率维持在98％。

测试结论：40G网络测试下，读服务3000在线客户机和写服务2000在线客户机的请求达标率基本稳定。

因此通过回放模拟测试验证了本发明基于读写分离、读优先、多读一写的IO调度策略降低无盘工作站回写数据读延迟方法的稳定性。

上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (2)

1.一种基于IO调度策略降低无盘工作站回写数据读延迟的方法，其特征在于，包括：

读写分离，即将客户端整个任务队列分成读请求队列和写请求队列，两个队列分别存放读请求和写请求；

多读一写，从读请求队列中提取并执行多个读请求后，再从写请求队列中提取并执行1个写请求；

制定面向客户机、面向请求、面向综合情境的三种负载均衡策略，并根据实际情况选择并实施相应的负载均衡策略；

最后通过模拟回放测试对云无盘系统的性能进行验证分析；

其中读写分离以及多读一写策略的具体实现方式如下：

(1)创建一个读请求队列、一个写请求队列和一个线程池，将任务队列中的所有读请求按序放入读请求队列，所有写请求按序放入写请求队列；

(2)配置一次任务处理的读写请求比＝k:1，k为大于1的自然数；

(3)利用线程池中的线程共享读请求队列和写请求队列，并获取任务包含k个读请求和1个写请求；

(4)执行任务时强调读优先，先执行完k个读请求，再执行1个写请求；

(5)回到步骤(3)反复执行；

面向客户机的负载均衡策略，具体实现方式如下：

首先，创建多个读写任务池，每个读写任务池包括一个读请求队列、一个写请求队列和一个线程池；

然后，为每个客户机分配固定的读写任务池，并均匀分配读写任务池，使得每个读写任务池对应负责同样数量的客户机；具体地，则通过哈希算法A将客户机的读写请求投入客户机对应的读写任务池中，使得多个读写任务池能够同时处理相应客户机的读写请求；

最后，利用线程池中的线程从读请求队列和写请求队列中获取并执行任务，且遵从多读一写、读优先的策略；

面向请求的负载均衡策略，具体实现方式如下：

首先，创建多个读写任务池，每个读写任务池包括一个读请求队列、一个写请求队列和一个线程池；

然后，将同一时段内来自客户机的所有读写请求平均分配给各个读写任务池，使得每个读写任务池中待处理的请求数量一样多；具体地，则通过哈希算法B将所有读写请求投入对应的读写任务池中，使得各读写任务池相对均匀地同时处理读写请求；

最后，利用线程池中的线程从读请求队列和写请求队列中获取并执行任务，且遵从多读一写、读优先的策略；

面向综合情境的负载均衡策略，具体实现方式如下：

首先，创建多个读写任务池，每个读写任务池包括一个读请求队列、一个写请求队列和一个线程池；

然后，通过哈希算法A将客户机的读写请求投入客户机对应的读写任务池中，使得多个读写任务池能够同时处理相应客户机的读写请求；

当检测到某一读写任务池待处理的请求负荷超出设定的阈值，则通过哈希算法B将该读写任务池中的部分读写请求转移投入其他读写任务池中，使得各读写任务池相对均匀地同时处理读写请求；

最后，利用线程池中的线程从读请求队列和写请求队列中获取并执行任务，且遵从多读一写、读优先的策略；

所述哈希算法A即通过对客户机地址计算哈希值，令该哈希值作为对应读写任务池的编号，进而根据该哈希值将客户机的读写请求投入到客户机对应的读写任务池中；所述哈希算法B即通过对请求ID计算哈希值，令该哈希值作为读写任务池的编号，进而根据该哈希值将读写请求投入到对应的读写任务池中；

对云无盘系统的性能进行验证分析即采用旁路机制采集线上客户机的请求数据作为样本在测试环境下进行模拟回放测试，能较为真实地模拟线上客户机的行为，可灵活模拟测试场景，其中引入请求响应时间指标作为性能测试通过条件，保证性能质量，最终测试出线上能够达到的最大待机数，进而将该模拟线上的最大待机数与理论推导的最大待机数进行比较分析；

所述模拟回放测试的具体实施过程为：对于不同并发数的测试用例，在客户机使用脚本批量启动指定个数的dsplayer进行回放，每次测试用例持续回放1～2个小时，观察和记录各项性能数据。

2.根据权利要求1所述基于IO调度策略降低无盘工作站回写数据读延迟的方法，其特征在于：所述dsplayer为客户机请求包回放工具，用于从抓包文件中读取请求包，与基础服务建立连接，发送请求包到指定服务，达到模拟1台真实客户机的目的；dsplayer会记录每个IO的响应时间，用来做性能分析。

Images