CN102929613A - 操作系统的调优装置和方法 - Google Patents

操作系统的调优装置和方法 Download PDF

Info

Publication number
CN102929613A
CN102929613A CN2012103914903A CN201210391490A CN102929613A CN 102929613 A CN102929613 A CN 102929613A CN 2012103914903 A CN2012103914903 A CN 2012103914903A CN 201210391490 A CN201210391490 A CN 201210391490A CN 102929613 A CN102929613 A CN 102929613A
Authority
CN
China
Prior art keywords
characteristic
operating system
tuning
application
application characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012103914903A
Other languages
English (en)
Other versions
CN102929613B (zh
Inventor
王星焱
张鲁飞
何升
汤慧明
殷红武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Jiangnan Computing Technology Institute
Original Assignee
Wuxi Jiangnan Computing Technology Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Jiangnan Computing Technology Institute filed Critical Wuxi Jiangnan Computing Technology Institute
Priority to CN201210391490.3A priority Critical patent/CN102929613B/zh
Publication of CN102929613A publication Critical patent/CN102929613A/zh
Application granted granted Critical
Publication of CN102929613B publication Critical patent/CN102929613B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

一种操作系统的调优装置和方法,所述调优装置包括:监控单元,适于获取特征数据,所述特征数据反映操作系统和应用对系统资源的使用情况,所述特征数据包括在探测点检测到的数据,所述探测点设置于操作系统内核中;分析单元,适于分析所述监控单元所获取的特征数据,以提取应用特征,所述应用特征定性地描述了应用对系统资源使用的特征;调优单元,适于配置对应于所述分析单元所提取的应用特征的内核参数。本技术方案自动感知应用特征,并根据感知的应用特征自适应地调整内核参数,实现了对操作系统及时、准确和高效的性能优化。

Description

操作系统的调优装置和方法
技术领域
本发明涉及计算机技术领域,特别涉及一种操作系统的调优装置和方法。
背景技术
网络计算不仅包含传统的网络通信、提供网络服务,而且代表着一种基于互联网的新型计算方式。基础操作系统,即构建网络计算环境的计算实体上所运行的操作系统,负责管理本地计算实体上的各类资源,与其它计算实体进行通信,实现网络计算环境的协同管理,提供用户所需的服务。网络计算系统的服务质量与基础操作系统的性能密切相关。
现有技术有采用人工调优的方式对操作系统的性能进行优化,由于在网络计算中,变化的工作负载、不可靠的资源会使系统产生波动,为此系统管理员需要耗费大量的时间和精力来跟踪系统状态,并根据经验或既定的规则调整系统设置。这种人工调优的方式大大加重了系统管理员的负担,而且往往不够及时,准确性也有待提高。
现有技术还有采用调优工具对操作系统的性能进行优化,例如Powertweek-Linux使用/proc文件系统和hdparm命令对内核参数进行调整,根据已知的调优规则执行优化操作,由于网络计算环境中应用行为和资源状态变化较大,这种工具缺少应用感知的能力。又例如SarCheck在后台收集系统信息,通过图形和列表的方式生成优化建议与说明,指导系统管理员执行调优操作,这种工具智能化不高,效率也有待提高。
因此,如何在网络环境下及时、准确和高效地对操作系统进行调优成为亟待解决的问题。
发明内容
本发明技术方案要解决的技术问题是现有的对操作系统进行调优的方式智能化不高,不够及时,而且准确性和调优效率也不高。
为解决上述技术问题,本发明技术方案提供一种操作系统的调优装置,包括:监控单元,适于获取特征数据,所述特征数据反映操作系统和应用对系统资源的使用情况,所述特征数据包括在探测点检测到的数据,所述探测点设置于操作系统内核中;分析单元,适于分析所述监控单元所获取的特征数据,以提取应用特征,所述应用特征定性地描述了应用对系统资源使用的特征;调优单元,适于配置对应于所述分析单元所提取的应用特征的内核参数。
可选的,所述系统资源包括:磁盘、内存、处理器和网络。
可选的,所述特征数据包括网络IO速率、TCP发包率、内存使用率、CPU利用率、长连接数、短连接数、收包数、发包数、通信密集度、随机读次数和顺序读次数中的至少一种。
可选的,所述在探测点检测到的数据包括长连接数、短连接数、通信密集度、随机读次数和顺序读次数中的至少一种。
可选的,所述探测点检测到的数据反馈至/proc文件系统,所述监控单元适于访问/proc文件系统获取所述特征数据。
可选的,所述监控单元适于周期性地获取特征数据。
可选的,所述分析单元包括:分类器和预定义特征集合,所述分类器采用LibSVM作为核心引擎,适于以所述预定义特征集合作为训练样本,从所述特征数据中提取应用特征。
可选的,所述预定义特征集合的格式为:特征类别、CPU利用率、内存使用率、短连接数、长连接数、收包数、发包数、通信密集度、随机读次数和顺序读次数。
可选的,所述应用特征的格式为:特征类别、连接类型、访问模式和访问类型。
可选的,所述调优单元包括:调优器和规则库,所述调优器适于在规则库中查找对应于所述应用特征的调优规则,依据所述调优规则调整内核参数,所述调优规则包括要调用的系统命令以及要修改的内核参数及其参考值。
对应地,本发明技术方案还提供一种操作系统的调优方法,包括:获取特征数据,所述特征数据反映操作系统和应用对系统资源的使用情况,所述特征数据包括在探测点检测到的数据,所述探测点设置于操作系统内核中;分析所获取的特征数据,以提取应用特征,所述应用特征定性地描述了应用对系统资源使用的特征;配置对应于所提取的应用特征的内核参数。
可选的,所述获取特征数据包括:周期性地获取特征数据。
可选的,所述分析所获取的特征数据,以提取应用特征包括:采用LibSVM以预定义特征集合作为训练样本,从所述特征数据中提取应用特征。
可选的,所述配置对应于所提取的应用特征的内核参数包括:在规则库中查找对应于所述应用特征的调优规则,依据所述调优规则调整内核参数;所述调优规则包括要调用的系统命令以及要修改的内核参数及其参考值。
与现有技术相比,本技术方案对特征数据进行分析以确定应用特征,再依据应用特征配置相应的内核参数。由此实现了自动感知应用特征,并根据感知的应用特征自适应地调整内核参数,达到对操作系统及时、准确和高效的性能优化的目的。
进一步,与Powertweek-Linux调优工具相比,相似的是,本技术方案使用/proc文件系统和系统命令对内核参数进行调整,根据已知的调优规则执行优化操作;不同的是,本技术方案使用应用感知、统计学习、参数驱动的方法来改善系统性能,因而准确性更高,调优效果更好。
与SarCheck调优工具在后台收集系统信息,通过图形和列表的方式生成优化建议与说明,指导系统管理员执行调优操作相比,本技术方案不提供调优建议,无需用户干预即可完成感知与调优,因而更智能化。
附图说明
图1是本发明技术方案的操作系统的调优装置的结构示意图;
图2是本发明实施例的操作系统的调优装置的结构示意图;
图3是本发明实施例的监控单元的工作流程示意图;
图4是本发明实施例的分析单元的工作流程示意图;
图5是图4所示的分类器的工作流程示意图;
图6是本发明实施例的调优单元的工作流程示意图;
图7是本发明技术方案的操作系统的调优方法的流程示意图。
具体实施方式
发明人经过研究发现,现有的调优方式大多缺乏应用感知的能力,无法根据网络计算环境中应用行为和资源状态的变化自适应地对操作系统(OS,Operation System)进行性能优化。
因此,发明人提出了基于感知应用特征的操作系统的调优方案,如图1所示,本发明技术方案的操作系统的调优装置包括:监控单元1、分析单元2和调优单元3。
监控单元1,适于获取特征数据,所述特征数据反映操作系统和应用对系统资源的使用情况,所述特征数据包括在探测点检测到的数据,所述探测点设置于操作系统内核中。这里所说的应用为在操作系统运行的应用程序和/或服务。
分析单元2,适于分析所述监控单元1所获取的特征数据,以提取应用特征,所述应用特征定性地描述了应用对系统资源使用的特征。
调优单元3,适于配置对应于所述分析单元2所提取的应用特征的内核参数。针对每一种应用特征,可以调整内核参数来实现优化系统性能的目的。
以下以操作系统为Linux系统为例,结合附图和实施例对本发明技术方案的操作系统的调优装置进行说明。
如图2所示,Linux内核包括多个操作子系统10,每个操作子系统10分别对应于计算机的各个系统资源,如磁盘、内存、处理器和网络等。在每个操作子系统10中设置有至少一个探测点10a,这里所说的设置探测点是指在特定位置加入用于获取特征数据的探测点(后面还将对探测点的实现方式进行详细说明)。
请结合参考图1和图2所示,本实施例的监控单元1包括多个传感器11,例如磁盘传感器、内存传感器、处理器传感器和网络传感器等,各个传感器11用于采集特征数据,具体地,传感器11通过检测内核中的探测点来收集系统资源的使用情况,此外,传感器11还采集系统中运行的应用或服务的信息,如应用名称、服务名称和所用端口等。
监控单元1获取的特征数据可以包括网络IO速率、传输控制协议(TCP,Transmission Control Protocol)发包率、内存使用率、CPU利用率、长连接数、短连接数、收包数、发包数、通信密集度、随机读次数和顺序读次数中的至少一种。本领域技术人员应当可以理解,特征数据并不限于上述列举,其可以根据实际应用环境而有不同变换,只要能够反映操作系统和应用(或服务)对系统资源的使用情况的数据。
一些特征数据,例如网络IO速率、TCP发包率、内存使用率、CPU利用率由Linux内核反馈至/proc文件系统,因此可以通过访问/proc文件系统获得;而还有一些特征数据,例如长连接数、短连接数、通信密集度、随机读次数、顺序读次数等信息还无法直接从现有的/proc文件系统读取,因此需要在Linux内核的特定位置加入探测点,用于检测这些特征数据,反馈给监控单元1。所述特定位置与特征数据相关,具体地,特定位置存在于操作系统执行与特征数据对应的操作时必然执行的路径上,举例来说,以网络长/短连接为例,对于每个TCP连接,特定位置就是建立连接和断开连接;以文件访问为例,特定位置就是read/write系统调用。
本实施例所述的加入探测点是指在加入统计特征数据的代码,下面列举几个在探测点检测数据的实现方式。
统计TCP连接中长连接数和短连接数:网络连接分为长连接和短连接。所谓长连接是指在一个连接上可以连续发送多个数据包,然后断开连接,在连接保持期间,如果没有数据包发送,需要双方发送链路检测包,连接保持时间通常很长,消息推送系统和安全外壳(SSH,Secure Shell)服务都是典型的长连接应用。短连接是指通信双方有数据交互时即建立一个连接,传输数据的时间很短,并且传输完成后即断开连接,多数Web服务以短连接为主。为了计算连接时长,在inet connection sock结构中增加start和end两个域,分别记录建立和断开连接的时间戳。定义了3个全局计数器,如connected_cnt记录当前处于连接状态的套接字(socket)个数,long_cnt记录已断开的长连接个数,short_cnt记录已断开的短连接个数。计数器初始化为零。根据T为连接时长的阈值(该阈值为经验值,其设定与实际应用环境相关),超过该阈值均可视为长连接,否则为短连接。并且,在内核中注册新的参数net.ipv4.connection_cnt,其中按顺序写入上述3个计数器的值,访问/proc/net/connection_cnt文件就可以统计参数net.ipv4.connection_cnt中3个计数器的值。
统计通信密集度:对于通信密集的进程,绑定其硬中断和软中断的CPU亲缘性(affinity)有助于改善性能,所以有必要监测网络进程的通信密集度(参考Hye-Churn Jang,Hyun-Wook Jin.MiAMI:Multi-Core Aware ProcessorAffinity for TCP/IP over Multiple Network Interface[C].In Proc.IEEESymposium on High Performance Interconnects,pp.73-82,2009.)。本实施例使用公式(1)来估计进程的通信密集度Intensiveness:
Intensiveness=106/Average,1≤Average≤106            (1)
其中,Average是最近平均的通信间隔,取值为整数,单位是微秒。基于这一公式,Intensiveness的取值也在1和106之间,其值越大表明进程的通信密集度越高。为了计算Average,在内核中增加comm_node数据结构,用于记录每个TCP连接最近的通信模式。该结构保存了上次通信发生的时间、最近通信间隔的历史、估算的通信密集度,以及指向对应进程的进程控制块(PCB)的指针。在Linux中,PCB由task_struct数据结构实现,而TCB(TCP/IP控制块)由sock数据结构实现。每次调用send、receive等系统调用通过TCP连接通信时,内核都会记录当前时间戳,由此可知通信间隔的历史,进而计算该连接的平均通信间隔和通信密集度。一个进程可能同时保持多个TCP连接,不同连接的通信密集度也不同,选择其中的最大值作为该进程的通信密集度。最后,在/proc文件系统进程号(pid)对应的目录下注册名为comm_intnsvns的文件,其中写入进程的通信密集度。
统计随机读次数和顺序读次数:读文件分为随机读和顺序读,参考Linux文件预读算法(Fengguang Wu,Hongsheng Xi,and Chenfeng Xu.On the designof a new Linux readahead framework[C].ACM SIGOPS Operating SystemsReview,42(5):75–84,2008.),可以验证以下两个条件来判定一个读操作是否为顺序读:(1)这是文件被打开后的第一次读,并且读的是文件首部;(2)当前的读请求与前一次(记录的)读请求在文件内的位置是连续的。如果不满足上述顺序性条件,就判定为随机读。任何一个随机读都将终止当前的顺序序列,从而终止预读行为。注意这里的空间顺序性说的是文件内的偏移量,而不是指物理磁盘扇区的连续性。在这里作了一种简化,假设文件在磁盘上是基本连续存储的,没有严重的碎片化。在task_struct中增加read_info结构,其中设置seq_cnt和random_cnt两个计数器,分别记录顺序读和随机读的次数。然后在/proc文件系统进程号对应的目录下注册名为read_cnt的文件,其中依次写入上述两个计数器的值。
由于上述探测点统计的特征数据均反馈至/proc文件系统中,这样传感器11采集特征数据的操作可以统一成对/proc文件系统的访问,即传感器11从/proc文件系统中读取特征数据,由此简化了传感器的设计实现,而且proc是内存中的虚拟文件系统,访问速度也较快。需要说明的是,在其他实施例中,操作系统内核也可以直接将特征数据反馈给传感器,而不是通过/proc文件系统,相对地,这种方式会增加传感器的实现复杂度。
进一步,传感器11可以周期性地采集特征数据,采集周期的设定应当综合考虑所采集的数据的准确性和应用感知所带来的额外开销,这是因为采集周期过长可能降低数据的精确度、可靠性和有效性,影响调优效果,而采集周期过短则会引入较大的额外开销,造成系统性能下降,因此,采集周期的设定应当在保证数据准确性的前提下尽可能地降低系统开销。不同的传感器11的采集周期也可以不同,由于应用特征包含网络、磁盘、内存、处理器等多个资源,需要从不同的探测点通过不同的方式采集特征数据,例如文件传输协议(FTP,File Transfer Protocol)服务的性能主要受限于网络数据传输的速率,而处理器速度和数量对性能的影响很小,故应该适当缩短网络特征的采集周期,同时延长处理器特征的采集周期。
图3为本实施例的监控单元的工作流程示意图,监控单元(包括多个传感器)从/proc文件系统读取特征数据,例如,从/proc/net/tcp读取TCP发包速率,从/proc/meminfo读取内存使用率,从/proc/loadavg读取CPU利用率,从/proc/net/connection_cnt读取长/短连接数,从/proc/pid/comm_intnsvns读取通信密集度等,然后将读取到的特征数据提供给分析单元2。
请继续结合参考图1和图2,本实施例的监控单元1将采集到的特征数据存储在数据库20中,分析单元2从所述数据库20读取特征数据,对所述特征数据进行分析,确定应用特征。
自动感知需要对应用特征进行分类,特征数据往往十分复杂,所以需要高级的数学模型和分类工具。支持向量机(SVM,Support Vector Machine)是统计学习理论的一种实现方法,通过寻找不同类别之间的支持向量,以较少的样本数据获得较好的分类能力,在解决小样本、非线性及高维模式识别中表现出许多特有的优势。本实施例的应用特征分类方法采用了LibSVM(Library for SVM)作为核心引擎,类似地,还可以使用启发式算法、遗传算法、机器学习、人工神经网络等实现分析单元。
如图2所示,分析单元2包括分类器21和预定义特征集合(PCS,PredefinedCharacteristics Set)22,分类器采用LibSVM作为核心引擎。结合参考图4所示的分析单元2的工作流程示意图,监控单元提供的特征数据经格式转换后输入LibSVM,LibSVM以预定义特征集合作为训练样本(training sample)集,运用统计学习方法,从测试数据(testing data,本实施例中为特征数据)中提取应用特征,输出分类结果。
LibSVM是一个开源SVM库,提供Python、Matlab、Perl、Ruby等语言的接口,用户可以在程序中直接调用这些接口,其设计目的是帮助用户方便地使用SVM分类。如图5所示,使用LibSVM处理数据包括以下步骤:
转换格式:LibSVM要求训练集和测试集中的每个数据都是实数,因此首先要将非数值数据转换成数值格式,例如使用进程名中所有字符的ASCII码总和来表示该进程。
缩放数据:应用LibSVM之前应该对数据进行缩放,这样做有三个好处,第一,将所有数值缩放到较小范围(通常是[0,+1]或[-1,+1])可以避免出现过大的数值;第二,可以避免大规模的数值计算,加快LibSVM的处理速度;第三,防止在使用线性核函数与多项式核函数时出现数值问题。测试数据与训练数据必须以相同的方式进行缩放,假设将训练集的第一个属性值从[-10,+10]缩放到[-1,+1],如果测试数据的第一个属性值落在[-11,+8]区间,那么它应该被缩放到[-1.1,+0.8]区间。
选择核函数:LibSVM能够处理四种常见的核函数,即线性核函数、多项式核函数、高斯径向核函数(简称RBF核函数)、Sigmoid型核函数。因为SVM的性能与核函数密切相关,所以必须选择适当的核函数。多数情况下都是使用试探法,目前没有通用的选择标准,LibSVM默认使用RBF核函数。
设置参数:四种核函数都有各自相关的参数,SVM的准确性很大程度上依赖于参数的选取。每个参数都有许多可能的取值,因此确定核函数之后,一般通过交叉验证来为该函数设定最优的参数取值。
训练与预测:LibSVM中有三个重要的可执行文件:svmtrain、svmscale和svmpredict,分别用于训练、缩放和预测。分类器使用svmscale缩放PCS与测试数据,然后调用svmtrain在PCS上进行训练,最后调用svm_predict接口预测测试数据所属的类别。分类器输出的结果文件包含已识别出的应用特征。一组测试数据提供的信息通常不足以精确分类,因此需要处理多组测试数据,以出现频率最高的特征类别作为最终输出。
表1所示为预定义特征集合的一种格式,其中每行代表一种特征类别,各列数据分别表示:特征类别ID、CPU利用率、内存使用率、短连接数、长连接数、收包数、发包数、通信密集度、随机读次数和顺序读次数,其中有一些特征是修改后的操作系统才能指示的。预定义特征集合结合实际应用环境和大量的实验数据预先定义,本领域技术人员应当可以理解,预定义特征集合并不限于表1所列举,其可以根据实际应用环境而有不同变换。
表1
Figure BDA00002259844300101
Figure BDA00002259844300111
特征数据与PCS相比缺少类别属性,LibSVM通过学习PCS,可以根据特征数据的属性预测其所属类别,本实施例以表1的PCS分析特征数据,得到对应的应用特征的格式如表2所示,应用特征的格式包括特征类别、连接类型、访问模式和访问类型(读/写为主)。
表2
Figure BDA00002259844300112
需要说明的是,所述应用特征定性地描述了应用对系统资源使用的特征,因此并不限于上述举例,本领域技术人员可以根据实际应用环境定义不同的应用特征。
请继续结合图1和图2,调优单元3配置对应于所述分析单元2所提取的应用特征的内核参数,以优化所述操作系统的性能。本实施例中,调优单元3包括调优器31和规则库(图未示),结合参考图6所示的调优单元的工作流程示意图,调优器根据分类器返回的应用特征,在规则库中查找对应于应用特征的调优规则,然后依据调优规则调整内核参数。
需要说明的是,为简化调优器的实现,本实施例的Linux内核为优化的内核(PK,Patched Kernel),其可以提供统一的调优接口,所有调优操作均可通过修改内核参数来完成,这样简化了调优器的实现。所述优化的内核是针对典型网络应用,在Linux 2.6.38内核的基础上进行了三处改进:(1)使用分布式引用计数优化关键内核对象的管理;(2)通过软中断分布与per-core阻塞队列提升网络短连接的并行处理速度;(3)利用核间中断避免数据发送方的Cache抖动。
调优规则为每一类别的应用特征定义了一组调优操作,包括要修改的内核参数及其参考值、要调用的系统命令等。由于应用特征复杂多变,调优规则可以通过大量实验来测试不同的参数、系统命令对性能的影响,结合实际应用环境选择最佳的组合方案。具体来说,首先,需要研究各类应用受到哪些参数的影响,这些参数分别取什么值才能使整体性能最优。其次,应用特征表现为多种方面,不同参数对性能的影响可能发生冲突,考虑到系统开销和复杂度,调优只调整对性能影响比较明显的参数,关于内核参数及取值的意义可参考文献(Sandra K.Johnson,Gerrit Huizenga,et al,Performance Tuningfor
Figure BDA00002259844300121
Servers[M].IBM Press,2005.)。
以FTP服务为例,其属于表2中的类别3,因此针对FTP服务的内核参数配置可以如表3所示。
表3
Figure BDA00002259844300122
具体实施时,可调优的内核参数存在两种主要接口:命令行工具和/proc文件系统。例如,修改tcp_syncookies,有两种不同的途径:使用echo命令或者使用sysctl命令。
使用echo命令:
$cat/proc/sys/net/ipv4/tcp_syncookies
1
#echo 0>/proc/sys/net/ipv4/tcp_syncookies
$cat/proc/sys/net/ipv4/tcp_syncookies
0
使用sysctl命令:
$sysctl net.ipv4.tcp_syncookies
net.ipv4.tcp_syncookies  =1
#sysctl  -w net.ipv4.tcp_syncookies  =0
net.ipv4.tcp_syncookies  =0
$sysctl net.ipv4.tcp_syncookies
net.ipv4.tcp_syncookies  =0
systcl命令在修改之前会检查参数的一致性,所以本实施例采用systcl命令修改内核参数。如果要在C程序中修改内核参数,除了read/write系统调用,还可以使用sysctl系统调用,sysctl系统调用不会派生子进程,也不会查找目录,因此速度很快。
此外,当负载繁重的时候,动态调整内核参数可能导致系统颠簸。为避免这种情况,还可以在调整参数之前执行负载检测,只有在低负载的时候才可以实施调优。
基于上述调优装置,本发明技术方案还提供一种操作系统的调优方法,如图7所示,包括下述步骤:步骤S1,获取特征数据,所述特征数据反映操作系统和应用对系统资源的使用情况,所述特征数据包括在探测点检测到的数据,所述探测点设置于操作系统内核中;步骤S2,分析所获取的特征数据,以提取应用特征,所述应用特征定性地描述了应用对系统资源使用的特征;步骤S3,配置对应于所提取的应用特征的内核参数。其中各步骤的具体实施可以结合参考上述对调优装置的说明,在此不再赘述。
综上所述,本发明技术方案自动感知应用特征,并根据感知的应用特征自适应地调整内核参数,其至少具有以下优点:
不需要用户了解或参与调优过程,因此实现了调优的透明性。
在实际网络计算环境中,应用行为和资源状态经常发生改变,本技术方案能够在应用特征发生变化后自动做出优化决策,因此实现了调优的智能化。
在设计各种功能单元时尽可能地减少自身的运行开销,提升了系统的性能,因此实现了调优的高效性。
基于网络计算环境下的应用特征具有多样性和时空特性,借助复杂数学工具来准确区分应用特征,进而准确地实施调优操作,因此提高了调优的准确性。
可以选择不同的机制实现某一单元的功能,例如可以采用LibSVM、启发式算法、遗传算法、机器学习、人工神经网络等方法的任何一种来实现分析单元,因此实现了设计的灵活性。
本发明虽然已以较佳实施例公开如上,但其并不是用来限定本发明,任何本领域技术人员在不脱离本发明的精神和范围内,都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改,因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰,均属于本发明技术方案的保护范围。

Claims (20)

1.一种操作系统的调优装置,其特征在于,包括:
监控单元,适于获取特征数据,所述特征数据反映操作系统和应用对系统资源的使用情况,所述特征数据包括在探测点检测到的数据,所述探测点设置于操作系统内核中;
分析单元,适于分析所述监控单元所获取的特征数据,以提取应用特征,所述应用特征定性地描述了应用对系统资源使用的特征;
调优单元,适于配置对应于所述分析单元所提取的应用特征的内核参数。
2.如权利要求1所述的操作系统的调优装置,其特征在于,所述系统资源包括:磁盘、内存、处理器和网络。
3.如权利要求1所述的操作系统的调优装置,其特征在于,所述特征数据包括网络IO速率、TCP发包率、内存使用率、CPU利用率、长连接数、短连接数、收包数、发包数、通信密集度、随机读次数和顺序读次数中的至少一种。
4.如权利要求3所述的操作系统的调优装置,其特征在于,所述在探测点检测到的数据包括长连接数、短连接数、通信密集度、随机读次数和顺序读次数中的至少一种。
5.如权利要求1所述的操作系统的调优装置,其特征在于,所述探测点检测到的数据反馈至/proc文件系统,所述监控单元适于访问/proc文件系统获取所述特征数据。
6.如权利要求1所述的操作系统的调优装置,其特征在于,所述监控单元适于周期性地获取特征数据。
7.如权利要求1所述的操作系统的调优装置,其特征在于,所述分析单元包括:分类器和预定义特征集合,所述分类器采用LibSVM作为核心引擎,适于以所述预定义特征集合作为训练样本,从所述特征数据中提取应用特征。
8.如权利要求7所述的操作系统的调优装置,其特征在于,所述预定义特征集合的格式为:特征类别、CPU利用率、内存使用率、短连接数、长连接数、收包数、发包数、通信密集度、随机读次数和顺序读次数。
9.如权利要求8所述的操作系统的调优装置,其特征在于,所述应用特征的格式为:特征类别、连接类型、访问模式和访问类型。
10.如权利要求1所述的操作系统的调优装置,其特征在于,所述调优单元包括:调优器和规则库,所述调优器适于在规则库中查找对应于所述应用特征的调优规则,依据所述调优规则调整内核参数,所述调优规则包括要调用的系统命令以及要修改的内核参数及其参考值。
11.一种操作系统的调优方法,其特征在于,包括:
获取特征数据,所述特征数据反映操作系统和应用对系统资源的使用情况,所述特征数据包括在探测点检测到的数据,所述探测点设置于操作系统内核中;
分析所获取的特征数据,以提取应用特征,所述应用特征定性地描述了应用对系统资源使用的特征;
配置对应于所提取的应用特征的内核参数。
12.如权利要求11所述的操作系统的调优方法,其特征在于,所述系统资源包括:磁盘、内存、处理器和网络。
13.如权利要求11所述的操作系统的调优方法,其特征在于,所述特征数据包括网络IO速率、TCP发包率、内存使用率、CPU利用率、长连接数、短连接数、收包数、发包数、通信密集度、随机读次数和顺序读次数中的至少一种。
14.如权利要求13所述的操作系统的调优方法,其特征在于,所述在探测点检测到的数据包括长连接数、短连接数、通信密集度、随机读次数和顺序读次数中的至少一种。
15.如权利要求11所述的操作系统的调优方法,其特征在于,所述探测点检测到的数据反馈至/proc文件系统,所述获取特征数据包括:访问/proc文件系统获取特征数据。
16.如权利要求11所述的操作系统的调优方法,其特征在于,所述获取特征数据包括:周期性地获取特征数据。
17.如权利要求11所述的操作系统的调优方法,其特征在于,所述分析所获取的特征数据,以提取应用特征包括:采用LibSVM以预定义特征集合作为训练样本,从所述特征数据中提取应用特征。
18.如权利要求17所述的操作系统的调优方法,其特征在于,所述预定义特征集合的格式为:特征类别、CPU利用率、内存使用率、短连接数、长连接数、收包数、发包数、通信密集度、随机读次数和顺序读次数。
19.如权利要求18所述的操作系统的调优方法,其特征在于,所述应用特征的格式包括特征类别、连接类型、访问模式和访问类型。
20.如权利要求11所述的操作系统的调优方法,其特征在于,所述配置对应于所提取的应用特征的内核参数包括:在规则库中查找对应于所述应用特征的调优规则,依据所述调优规则调整内核参数;所述调优规则包括要调用的系统命令以及要修改的内核参数及其参考值。
CN201210391490.3A 2012-10-16 2012-10-16 操作系统的调优装置和方法 Active CN102929613B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210391490.3A CN102929613B (zh) 2012-10-16 2012-10-16 操作系统的调优装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210391490.3A CN102929613B (zh) 2012-10-16 2012-10-16 操作系统的调优装置和方法

Publications (2)

Publication Number Publication Date
CN102929613A true CN102929613A (zh) 2013-02-13
CN102929613B CN102929613B (zh) 2016-08-10

Family

ID=47644426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210391490.3A Active CN102929613B (zh) 2012-10-16 2012-10-16 操作系统的调优装置和方法

Country Status (1)

Country Link
CN (1) CN102929613B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104092691A (zh) * 2014-07-15 2014-10-08 北京奇虎科技有限公司 免root权限的联网防火墙的实现方法及客户端
CN105378699A (zh) * 2013-11-27 2016-03-02 Ntt都科摩公司 基于机器学习的自动任务分类
CN106155653A (zh) * 2015-04-03 2016-11-23 深圳光启智能光子技术有限公司 操作系统中控制硬件设备的方法和模块
CN107590027A (zh) * 2017-09-11 2018-01-16 郑州云海信息技术有限公司 备份、还原操作系统参数的方法及工具
CN107623698A (zh) * 2017-10-20 2018-01-23 深圳市共进电子股份有限公司 远程调试网络设备方法和装置
CN108052425A (zh) * 2017-12-07 2018-05-18 郑州云海信息技术有限公司 一种基于内核调优的提升系统性能的方法及装置
CN109565515A (zh) * 2016-04-29 2019-04-02 华为技术有限公司 分布式资源管理系统中的动态租户结构调整的系统、设备和过程
CN112000550A (zh) * 2020-08-24 2020-11-27 浪潮云信息技术股份公司 操作系统参数调优方法、系统、设备及计算机可读介质
CN112612692A (zh) * 2020-12-07 2021-04-06 中标软件有限公司 一种linux系统性能调优的方法
CN112751851A (zh) * 2020-12-29 2021-05-04 成都科来网络技术有限公司 一种ssh登录成功行为判断方法、装置及存储介质
CN113127215A (zh) * 2019-12-30 2021-07-16 成都鼎桥通信技术有限公司 一种双操作系统智能终端中管理传感器的方法和设备
CN117033317A (zh) * 2023-09-28 2023-11-10 苏州元脑智能科技有限公司 列举信息获取方法、系统、装置、通信设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1605217A (zh) * 2001-10-12 2005-04-06 麦提林克斯公司 全系统优化集成模型
CN1862496A (zh) * 2006-02-08 2006-11-15 珠海金山软件股份有限公司 一种节能并能优化系统资源的装置和方法
CN101697198A (zh) * 2009-10-28 2010-04-21 浪潮电子信息产业股份有限公司 一种动态调整单一计算机系统内活动处理器数量的方法
CN101986624A (zh) * 2010-11-17 2011-03-16 云南云电同方科技有限公司 一种核心处理基于服务流机制的服务架构集成系统
CN102253900A (zh) * 2011-06-13 2011-11-23 华中师范大学 一种Windows CE操作系统下的内存优化方法
CN102546624A (zh) * 2011-12-26 2012-07-04 西北工业大学 一种网络多路入侵检测防御方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1605217A (zh) * 2001-10-12 2005-04-06 麦提林克斯公司 全系统优化集成模型
CN1862496A (zh) * 2006-02-08 2006-11-15 珠海金山软件股份有限公司 一种节能并能优化系统资源的装置和方法
CN101697198A (zh) * 2009-10-28 2010-04-21 浪潮电子信息产业股份有限公司 一种动态调整单一计算机系统内活动处理器数量的方法
CN101986624A (zh) * 2010-11-17 2011-03-16 云南云电同方科技有限公司 一种核心处理基于服务流机制的服务架构集成系统
CN102253900A (zh) * 2011-06-13 2011-11-23 华中师范大学 一种Windows CE操作系统下的内存优化方法
CN102546624A (zh) * 2011-12-26 2012-07-04 西北工业大学 一种网络多路入侵检测防御方法及系统

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105378699A (zh) * 2013-11-27 2016-03-02 Ntt都科摩公司 基于机器学习的自动任务分类
CN105378699B (zh) * 2013-11-27 2018-12-18 Ntt都科摩公司 基于机器学习的自动任务分类
CN104092691A (zh) * 2014-07-15 2014-10-08 北京奇虎科技有限公司 免root权限的联网防火墙的实现方法及客户端
CN106155653A (zh) * 2015-04-03 2016-11-23 深圳光启智能光子技术有限公司 操作系统中控制硬件设备的方法和模块
CN109565515A (zh) * 2016-04-29 2019-04-02 华为技术有限公司 分布式资源管理系统中的动态租户结构调整的系统、设备和过程
CN107590027A (zh) * 2017-09-11 2018-01-16 郑州云海信息技术有限公司 备份、还原操作系统参数的方法及工具
CN107623698B (zh) * 2017-10-20 2021-01-22 深圳市共进电子股份有限公司 远程调试网络设备方法和装置
CN107623698A (zh) * 2017-10-20 2018-01-23 深圳市共进电子股份有限公司 远程调试网络设备方法和装置
CN108052425A (zh) * 2017-12-07 2018-05-18 郑州云海信息技术有限公司 一种基于内核调优的提升系统性能的方法及装置
CN113127215A (zh) * 2019-12-30 2021-07-16 成都鼎桥通信技术有限公司 一种双操作系统智能终端中管理传感器的方法和设备
CN113127215B (zh) * 2019-12-30 2024-01-26 成都鼎桥通信技术有限公司 一种双操作系统智能终端中管理传感器的方法和设备
CN112000550A (zh) * 2020-08-24 2020-11-27 浪潮云信息技术股份公司 操作系统参数调优方法、系统、设备及计算机可读介质
CN112612692A (zh) * 2020-12-07 2021-04-06 中标软件有限公司 一种linux系统性能调优的方法
CN112612692B (zh) * 2020-12-07 2024-01-26 中标软件有限公司 一种linux系统性能调优的方法
CN112751851A (zh) * 2020-12-29 2021-05-04 成都科来网络技术有限公司 一种ssh登录成功行为判断方法、装置及存储介质
CN117033317A (zh) * 2023-09-28 2023-11-10 苏州元脑智能科技有限公司 列举信息获取方法、系统、装置、通信设备及存储介质
CN117033317B (zh) * 2023-09-28 2024-02-02 苏州元脑智能科技有限公司 列举信息获取方法、系统、装置、通信设备及存储介质

Also Published As

Publication number Publication date
CN102929613B (zh) 2016-08-10

Similar Documents

Publication Publication Date Title
CN102929613A (zh) 操作系统的调优装置和方法
CN111092852B (zh) 基于大数据的网络安全监控方法、装置、设备及存储介质
CN101667034A (zh) 一种易扩展的、支持异构集群的监控系统
CN109144813B (zh) 一种云计算系统服务器节点故障监控系统及方法
CN106027328A (zh) 一种基于应用容器部署的集群监控的方法及系统
Alsbouí et al. An overview and classification of approaches to information extraction in wireless sensor networks
CN103729446A (zh) 一种用户操作数据的处理方法、处理装置及服务器
CN109104438A (zh) 一种窄带物联网中的僵尸网络预警方法及装置
CN110381151A (zh) 一种异常设备检测方法及装置
CN103067297A (zh) 一种基于资源消耗预测的动态负载均衡方法及装置
CN103023693A (zh) 一种行为日志数据管理系统及方法
CN110995652B (zh) 一种基于深度迁移学习的大数据平台未知威胁检测方法
CN108574627B (zh) 一种sdn网络多控制域协同管理方法和系统
CN102043863A (zh) 一种Web服务聚类的方法
CN117873690B (zh) 运算器芯片功耗管理方法、计算子系统以及智能计算平台
CN117130768A (zh) 一种调频关系表的生成方法及电子设备
WO2023030227A1 (zh) 一种数据处理方法、装置及系统
CN114374595B (zh) 事件节点归因分析方法、装置、电子设备及存储介质
CN109144830A (zh) 一种数据采集漏报监管及快速切换网络环境的方法与系统
CN108156054A (zh) 云桌面性能的测试方法及装置
CN114036179A (zh) 慢查询操作的处理方法及装置
JP2023537119A (ja) ネットワークデータ分析方法、ネットワークデータ分析機能ネットワーク要素、通信システム、非一時的コンピュータ可読記憶媒体およびコンピュータプログラム
CN101136808A (zh) 分析网络业务量的方法和装置
CN113810475A (zh) 一种基于大数据架构的Wifi探针设备管控系统
CN105897503A (zh) 基于资源信息增益的Hadoop集群瓶颈检测算法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant