CN107450854A - 一种期望速率下最大线程数的确定方法及系统 - Google Patents
一种期望速率下最大线程数的确定方法及系统 Download PDFInfo
- Publication number
- CN107450854A CN107450854A CN201710666737.0A CN201710666737A CN107450854A CN 107450854 A CN107450854 A CN 107450854A CN 201710666737 A CN201710666737 A CN 201710666737A CN 107450854 A CN107450854 A CN 107450854A
- Authority
- CN
- China
- Prior art keywords
- rate
- thread
- actual speed
- expected rate
- expected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012545 processing Methods 0.000 claims description 11
- 108010001267 Protein Subunits Proteins 0.000 claims description 9
- 230000008054 signal transmission Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000012360 testing method Methods 0.000 description 20
- 238000013461 design Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
- G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
- G06F3/0611—Improving I/O performance in relation to response time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
- Monitoring And Testing Of Exchanges (AREA)
Abstract
本申请公开了一种期望速率下最大线程数的确定方法,包括:根据基础速率计算得到期望速率;以初始线程同时执行各线程对应的数据文件写入操作,得到实际速率;判断实际速率是否大于期望速率,若是,则增加初始线程直至实际速率等于期望速率;若否,则减少初始线程直至实际速率等于期望速率;获取当实际速率等于期望速率时对应的最终线程。该确定方法其能够方便、快捷以及准确的确定ceph集群中在以恒定的期望速率进行数据读写的最大线程数,有利于管理人员有效的掌握该集群的实际性能。本申请还同时公开了一种期望速率下最大线程数的确定系统,具有上述有益效果。
Description
技术领域
本申请涉及多线程写入技术领域,特别涉及一种期望速率下最大线程数的确定方法及系统。
背景技术
在当今大数据的环境下,分布式存储系统得到了广泛应用,作为分布式存储系统的佼佼者ceph更是得到了使用者的喜爱。在使用者应用ceph的过程中需要对ceph集群的读写性能有明确的认识,尤其是在视频广电这种读写速率要求比较恒定的场景,就需要对ceph集群在恒定的期望速率下的读写性能进行有效的掌控。
在现有技术中,很少能够对应用ceph的集群进行恒定速率读写性能的测试,进而确定在恒定的期望速率下的最大读写性能,也就无法很好的掌握集群的实际情况。因此测试出恒定的期望速率情况下ceph集群的性能参数很有必要。该性能参数即为在恒定速率进行读写操作时,ceph集群能支持的最大文件最大写入线程数。
所以,如何提供一种能够方便、快捷、准确的ceph集群在期望速率下最大线程数的确定机制是本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种期望速率下最大线程数的确定方法及系统,其能够方便、快捷以及准确的确定ceph集群中在以恒定的期望速率进行数据读写的最大线程数,有利于管理人员有效的掌握该集群的实际性能。
为解决上述技术问题,本申请提供一种期望速率下最大线程数的确定方法,该确定管理方法包括:
根据基础速率计算得到期望速率;
以初始线程同时执行各线程对应的数据文件写入操作,得到实际速率;
判断所述实际速率是否大于所述期望速率,若是,则增加所述初始线程直至所述实际速率等于所述期望速率;若否,则减少所述初始线程直至所述实际速率等于所述期望速率;
获取当所述实际速率等于所述期望速率时对应的最终线程。
可选的,根据基础速率计算得到期望速率,包括:
将所述基础速率和预设系数的乘积作为所述期望速率;其中,所述预设系数大于1。
可选的,该确定方法还包括:
当所述实际速率大于所述期望速率时,通过第一预设路径发送通过信号;
当所述实际速率小于所述期望速率时,通过第二预设路径发送报警信号;
当所述实际速率等于所述期望速率时,将获取到的所述最终线程通过第三预设路径发送给测试人员。
可选的,增加所述初始线程直至所述实际速率等于所述期望速率,包括:
在所述初始线程的基础上每次增加一个线程,直至所述实际速率等于所述期望速率。
本申请还提供了一种期望速率下最大线程数的确定系统,该确定系统包括:
期望速率获得单元,用于根据基础速率计算得到期望速率;
实际速率获得单元,用于以初始线程同时执行各线程对应的数据文件写入操作,得到实际速率;
判断处理单元,用于判断所述实际速率是否大于所述期望速率,若是,则增加所述初始线程直至所述实际速率等于所述期望速率;若否,则减少所述初始线程直至所述实际速率等于所述期望速率;
最终线程获取单元,用于获取当所述实际速率等于所述期望速率时对应的最终线程。
可选的,所述期望速率获得单元包括:
乘法计算子单元,用于将所述基础速率和预设系数的乘积作为所述期望速率;其中,所述预设系数大于1。
可选的,所述判断处理单元,还包括:
通过信号发送子单元,用于当所述实际速率大于所述期望速率时,通过第一预设路径发送通过信号;
报警信号发送子单元,用于当所述实际速率小于所述期望速率时,通过第二预设路径发送报警信号。
可选的,所述最终线程获取单元,还包括:
最终信息发送子单元,用于当所述实际速率等于所述期望速率时,将获取到的所述最终线程通过第三预设路径发送给测试人员。
可选的,所述判断处理单元包括:
单线程增加子单元,用于在所述初始线程的基础上每次增加一个线程,直至所述实际速率等于所述期望速率。
本申请所提供的一种期望速率下最大线程数的确定方法,通过根据基础速率计算得到期望速率;以初始线程同时执行各线程对应的数据文件写入操作,得到实际速率;判断所述实际速率是否大于所述期望速率,若是,则增加所述初始线程直至所述实际速率等于所述期望速率;若否,则减少所述初始线程直至所述实际速率等于所述期望速率;获取当所述实际速率等于所述期望速率时对应的最终线程。
显然,本申请所提供的技术方案,通过对具体需求的基础速率进行计算得到期望速率,并在初始线程下执行文件写入操作得到实际速率,并根据该实际速率与该期望速率的大小关系,进行调整初始线程以使该实际速率等于该期望速率,最终得到此时的最终线程数。该确定方法能够方便、快捷以及准确的确定ceph集群中在以恒定的期望速率进行数据读写的最大线程数,有利于管理人员有效的掌握该集群的实际性能。本申请同时还提供了一种期望速率下最大线程数的确定系统,具有上述有益效果,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种期望速率下最大线程数的确定方法的流程图;
图2为本申请实施例所提供的另一种期望速率下最大线程数的确定方法的流程图;
图3为本申请实施例所提供的一种期望速率下最大线程数的确定系统的结构框图。
具体实施方式
本申请的核心是提供一种期望速率下最大线程数的确定方法及系统,能够方便、快捷以及准确的确定ceph集群中在以恒定的期望速率进行数据读写的最大线程数,有利于管理人员有效的掌握该集群的实际性能。
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
以下结合图1,图1为本申请实施例所提供的一种期望速率下最大线程数的确定方法的流程图。
其具体包括以下步骤:
S101:根据基础速率计算得到期望速率;
本步骤旨在根据基础速率计算得到期望速度。其中,基础速率通常是指设计时的要满足客户要求的最低速度,换句话说,假设某客户要求该存储系统的写入速率要不低于15Mb/S,则该存储系统在设计过程的基础速率即为15Mb/S,而为不使该存储系统一直处于满负载运行,都要具有一定的冗余能力,因为如果刚好满足客户的需求而没有更大性能的潜力,在实际使用的过程中,是无法保障该存储系统长期处于良好、高效的运行状态。
所以,一般是基于该基础速率设计一定的冗余能力得到最大性能的期望速率,并以该期望速率来作为设计厂商在测试的衡量标准,如果在该期望速率下都能完美的实现客户的需求,自然在比该期望速率更低的基础速率上也就不成问题。
通常情况下,期望速率与基础速率密切相关,且期望速率是以基础速率为基础,并结合设定的冗余能力而计算得到的,通常情况该冗余能力的计算是根据实际设备的性能潜力,在基础速率上增幅一定百分比,从而得到该期望速率,当然,也存在一些其它型号的设备,可以通过添加某些额外的硬件或者生成存储部分,来达到更高的性能,即可能采用在基础速率上增加一个固定系数来得到期望速率等等,此处并不做具体限定,应视具体的设备型号、使用环境等多种影响因素来考虑和选择。
S102:以初始线程同时执行各线程对应的数据文件写入操作,得到实际速率;
在S101已经得到期望速率的情况下,本步骤旨在以一个存储系统预设的初始线程同时执行各线程对应的数据文件写入操作,得到在该预设线程下的实际速率。话句话说,因为现今的存储系统都是多线程设计,即可以同时并行的执行写入操作,几线程就可以同时执行几个写入操作,为保证测试过程的一致性,通常为各线程选择文件大小相同的数据包,并同时开始各线程各自的写入操作,以此来大体保证能够同时执行完毕写入操作。
此处,我们可以假设在一个应用较多的ceph存储系统中,基础速率为10Mb/S,期望速率为15Mb/S,预设的初始线程为10。
S103:判断实际速率是否大于期望速率;
在S102的基础上,本步骤旨在利用计算出的期望速率与测试出的实际速率进行比较。
S104:增加初始线程直至实际速率等于期望速率;
本步骤建立在S103的判断结果为测试出的实际速率大于该期望速率,即在预设的初试线程为10的情况下,得到了实际速率大于期望速率的结果,也就是说该存储系统在此种情况下,性能足够,即满足了要求,此处我们可以利用在S102处的假设例子,并再次假设此时的实际速率为20Mb/S。
在此种情况下,为在固定期望速率不变的情况下,测试出在该期望速率下的最大线程,则需要增加该初始线程,并进一步测试新的实际速率直至使得实际速率大体等同于期望速率。
当然,如何增加初始线程的方式有很多,但需要考虑到线程的最小单位是1,即增加的最小单位是1,可以出于谨慎的原则,每次以最小单位增加在初始线程上,再一步步进行测试得到11线程时的实际速率,若11线程时的实际速率依然大于期望速率,则再次增加至12线程,并再次测试进行对比,直至实际速率大体等同于期望速率;也可以考虑到在10线程时实际速率与期望速率的差距大小,来决定是否每次都以最小增加单位进行增加,此处并不做具体限定,应视实际情况下的具体测试结果的调试习惯来综合选择。
S105:减少初始线程直至实际速率等于期望速率;
本步骤建立在S103的判断结果为在初始线程下测试得到实际速率小于期望速率的情况下,即在10线程下的实际速率小于期望速率,相对于S104来说,在此种情况下,10线程对于该存储系统的负载略高,导致无法达到期望速率,故需要通过减少线程数来释放部分负载进而增加其它线程的实际速率。此处我们可以假设实际速率为8Mb/S。
减少的方法大体等同于增加的方法,可以参见S104的相关内容,在此不再赘述。
S106:获取当实际速率等于期望速率时对应的最终线程。
本步骤旨在获取到经过S103的判断以及在S103判断后在S104或S105的增加或减少后,使得最终的实际速率大体等同于该期望速率时的最终线程。
即获得到该存储系统在预设的期望速率下的最大写入线程数,在S104的情况下,我们可以假设在增加初始线程到13时,13线程时的实际速率大体等同于期望速率,则本步骤从S104中获取到的最终线程为13;在S105的情况下,可以进一步假设在减少初始线程数到7时,即7线程时的实际速率大体等同于期望速率,则本步骤从S105中获取到的最终线程为7。
基于上述技术方案,本申请实施例提供的一种期望速率下最大线程数的确定方法,通过对具体需求的基础速率进行计算得到期望速率,并在初始线程下执行文件写入操作得到实际速率,并根据该实际速率与该期望速率的大小关系,进行调整初始线程以使该实际速率等于该期望速率,最终得到此时的最终线程数。该确定方法能够方便、快捷以及准确的确定ceph集群中在以恒定的期望速率进行数据读写的最大线程数,有利于管理人员有效的掌握该集群的实际性能。
以下结合图2,图2为本申请实施例所提供的另一种期望速率下最大线程数的确定方法的流程图。
其具体包括以下步骤:
S201:将基础速率和预设系数的乘积作为期望速率;
本实施例采用该存储系统设计成百分比的冗余性能存在与硬件设备中,故本步骤旨在通过将基础速率和预设系数的乘积作为该期望速率。其中,既然是冗余设计的性能,则该预设系数一定会大于1,至于该预设系数具体为多少,就要看在该存储系统在设计之初预留了多大的硬件潜力,在相同的制造条件和设备使用型号下,该预设系数通常会在一个范围内,可以是经过严格计算得到的,也可以是测试人员经过长期对该存储系统经过极限测试得到的,此处并不做具体限定。
当然,在S101中也提到了其它期望速率的计算方法,应视实际情况下具体的使用环境来在做出相应的选择。
S202:以初始线程同时执行各线程对应的数据文件写入操作,得到实际速率;
S203:判断实际速率是否大于期望速率;
S204:通过第一预设路径发送通过信号;
本步骤建立在S203的判断的结果为在初始线程下测试得到的实际速率大于该期望速率的基础上,旨在将在初始线程下测试通过或性能存在冗余的信息通过第一预设路径发送出去。具体的,可以在某台具体的测试设备上,设置一个LED灯,在成功接收到该信号后,控制该LED灯显示为绿色,表示通过的意思;也可以通过在测试界面中以信息弹窗的方式显示出来,或者通过其它的方式显示出来,只需要能够将该通过信号成功传递出去,进而能够让测试人员或者控制器能够根据该信息作出进一步的处理操作即可,此处并不作具体限定。
S205:在初始线程的基础上每次增加一个线程,直至实际速率等于期望速率;
在S204的基础上,本步骤旨在利用线程的最小改变单位来做增加处理,直至实际速率等于该期望速率。
S206:通过第二预设路径发送报警信号;
S207:在初始线程的基础上每次减少一个线程,直至实际速率等于期望速率;
S206和S207的方式大体等同于S204和S205,其中,该第一预设路径与该第二预设路径可以相同也可以不同,就拿LED灯的方式来说,可以是各有一个LED灯,即通过不同的路径下发至不同的LED灯,使其各自负责显示各自的状态,也可以在同一各LED灯上进行显示,因为毕竟无法同时出现通过和报警信号。其它部分可以参见S204和S205中的相关描述,在此不再赘述。
S208:获取当实际速率等于期望速率时对应的最终线程;
S209:将获取到的最终线程通过第三预设路径发送给测试人员。
在S208的基础上,本步骤旨在将获取到的最终线程通过第三预设路径发送给测试人员,以使该测试人员成功获得测试结果,并以此最终线程为依据来进行后续的设置,使得该存储系统能够工作在一个高效的状态下,既保证了写入速率也使线程保持在最佳的状态,有助于提升存储系统的工作效率。
当然,该第三预设路径与第一、第二预设路径之间是否存在联系,应视实际情况中作何要求,在不同的测试要求和测试过程中可以相同也可以不同,此处并不做具体限定。
基于上述技术方案,本申请实施例提供的一种期望速率下最大线程数的确定方法,通过对具体需求的基础速率结合预设系数进行乘积计算得到期望速率,并在初始线程下执行文件写入操作得到实际速率,并根据该实际速率与该期望速率的大小关系,每次以最小调整单位进行调整初始线程以使该实际速率等于该期望速率,最终得到此时的最终线程数,并在该过程中实时发送状态信号。该确定方法能够方便、快捷以及准确的确定ceph集群中在以恒定的期望速率进行数据读写的最大线程数,有利于管理人员有效的掌握该集群的实际性能。
因为情况复杂,无法一一列举进行阐述,本领域技术人员应能意识到更具本申请提供的基本方法原理结合实际情况可以存在很多的例子,在不付出足够的创造性劳动下,应均在本申请的保护范围内。
下面请参见图,图3为本申请实施例所提供的一种期望速率下最大线程数的确定系统的结构框图。
该确定系统可以包括:
期望速率获得单元100,用于根据基础速率计算得到期望速率;
实际速率获得单元200,用于以初始线程同时执行各线程对应的数据文件写入操作,得到实际速率;
判断处理单元300,用于判断实际速率是否大于期望速率,若是,则增加初始线程直至实际速率等于期望速率;若否,则减少初始线程直至实际速率等于期望速率;
最终线程获取单元400,用于获取当实际速率等于期望速率时对应的最终线程。
其中,期望速率获得单元100包括:
乘法计算子单元,用于将基础速率和预设系数的乘积作为期望速率;其中,预设系数大于1。
进一步的,判断处理单元300,还可以包括:
通过信号发送子单元,用于当实际速率大于期望速率时,通过第一预设路径发送通过信号;
报警信号发送子单元,用于当实际速率小于期望速率时,通过第二预设路径发送报警信号。
进一步的,最终线程获取单元400,还可以包括:
最终信息发送子单元,用于当实际速率等于期望速率时,将获取到的最终线程通过第三预设路径发送给测试人员。
其中,判断处理单元300包括:
单线程增加子单元,用于在初始线程的基础上每次增加一个线程,直至实际速率等于期望速率。
以上各单元可以应用于以下的一个具体的实际例子中:
本例子为分布式存储系统ceph提出了一种在期望速率下读写性能的测试方法,分布式存储系统ceph通过libcephfs.so的动态库向用户提供了很多外部接口,如ceph_write,ceph_read等,因此在使用ceph时可以编写测试工具时可以直接调用这些外部接口向集群中进行IO操作。同时在编写测试工具时用户可以设定单路文件(单个读写线程)的读写速率,同时用户可以指定一次IO操作的数据块块大小,通过判断每一次IO的速率,如果小于设定的恒定速率则打印告警,告警出现的次数越多说明性能越差。判定恒定速率下系统的性能指标就是在没有告警的情况下,系统所支持的最大文件路数,文件路数越多则性能越好。因此不断的加大文件路数(即线程数),最终可以测出一个在恒定速率下系统所支持的一个最大值。
如果期望速率大于实际速率则本次IO需要延时等待(期望速率-实际速率)来保证速率的恒定,如果期望速率大于实际速率则说明本次IO性能较低,可以通过减少文件路数来调整。
首先用户可以通过-v参数设定恒定的读写速率V和通过-bs参数设定单次IO操作的数据大小BS,通过-p参数来设定线程数P。
因此调用libcephfs.so中的ceph_write或者ceph_read来完成单次的IO操作,根据以上用户的设定值,单次IO的读写的数据块大小为BS,期望的时间为t1=BS/V,计算并记录下实际使用时间t2.实际读写速率v2=BS/t2.
如果v2大于等于V,即实际写入速率要大于等于设定的速率V,则表示在P路文件同时IO时,本次IO的性能达标。此外为了保证集群是以恒定速率V读写,因此需要进行△t=t1–t2的延时后再进行下一次IO操作。
如果v2小于V,即实际的写入速率要小于设定的速率V,则表示在P路文件同时IO时,本次的IO的性能不达标,因此此时需要打印一次告警warning。
一直持续到P路文件都已完成所有的IO操作,然后统计出所有的warning和P的值。如果warning为0,则该ceph集群能够支持P路文件以恒定速率V进行IO操作。
不断的加大P的值,最终找一个在以恒定速率V的进行读写时,warning为0的最大P值,则P就是代表该ceph集群的在以恒定速率读写时的最大性能是支持P路文件进行同时IO。
可以参考下述实际步骤:
(1)用户输入恒定速率V,单次IO的块大小BS,文件路数P,要写入的文件大小F;
(2)根据文件路数创建P个线程,分别开始读写大小为F的文件;
(3)调用分布式存储系统ceph的libcephfs.so动态库中的外部接口ceph_write或ceph_read来进行一次IO操作,写入数据块大小为BS;
(4)记录一次IO的时间t,则本次写入的实际速率v=BS/t,△t=T–t;
(5)判断实际速率v是否小于设定的恒定速率V;
(6)如果是,即实际时间t要大于期望时间T,也就说明了本次IO的性能较差,此时可以打印告警;如果否,即实际时间t小于期望的时间T,也就说明本次IO性能较高,为了保证数据的恒定速率V读写,需要进行延时△t的时间;
(7)判断该线程是否已经完成了整个文件的IO操作;
(8)如果是,则结束;如果否则跳转到第4步继续进行。
本实施例提出了一种测试分布式存储系统ceph恒定速率读写性能的方法,通过用户指定读写速率V,测试恒定速率V下,ceph集群能支撑的最大文件路数。可以模拟一些恒定速率读写的的应用场景下,ceph的集群性能。为产品在恒定速率读写的场景实施前提供有效的实验数据支持。同时,可以通过该测试方式和工具可以有效模拟客户现场的情况,对于问题的复现和定位非常有帮助。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其它要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (9)
1.一种期望速率下最大线程数的确定方法,其特征在于,包括:
根据基础速率计算得到期望速率;
以初始线程同时执行各线程对应的数据文件写入操作,得到实际速率;
判断所述实际速率是否大于所述期望速率,若是,则增加所述初始线程直至所述实际速率等于所述期望速率;若否,则减少所述初始线程直至所述实际速率等于所述期望速率;
获取当所述实际速率等于所述期望速率时对应的最终线程。
2.根据权利要求1所述的确定方法,其特征在于,根据基础速率计算得到期望速率,包括:
将所述基础速率和预设系数的乘积作为所述期望速率;其中,所述预设系数大于1。
3.根据权利要求2所述的确定方法,其特征在于,还包括:
当所述实际速率大于所述期望速率时,通过第一预设路径发送通过信号;
当所述实际速率小于所述期望速率时,通过第二预设路径发送报警信号;
当所述实际速率等于所述期望速率时,将获取到的所述最终线程通过第三预设路径发送给测试人员。
4.根据权利要求1至3任一项所述的确定方法,其特征在于,增加所述初始线程直至所述实际速率等于所述期望速率,包括:
在所述初始线程的基础上每次增加一个线程,直至所述实际速率等于所述期望速率。
5.一种期望速率下最大线程数的确定系统,其特征在于,包括:
期望速率获得单元,用于根据基础速率计算得到期望速率;
实际速率获得单元,用于以初始线程同时执行各线程对应的数据文件写入操作,得到实际速率;
判断处理单元,用于判断所述实际速率是否大于所述期望速率,若是,则增加所述初始线程直至所述实际速率等于所述期望速率;若否,则减少所述初始线程直至所述实际速率等于所述期望速率;
最终线程获取单元,用于获取当所述实际速率等于所述期望速率时对应的最终线程。
6.根据权利要求5所述的确定系统,其特征在于,所述期望速率获得单元包括:
乘法计算子单元,用于将所述基础速率和预设系数的乘积作为所述期望速率;其中,所述预设系数大于1。
7.根据权利要求6所述的确定系统,其特征在于,所述判断处理单元,还包括:
通过信号发送子单元,用于当所述实际速率大于所述期望速率时,通过第一预设路径发送通过信号;
报警信号发送子单元,用于当所述实际速率小于所述期望速率时,通过第二预设路径发送报警信号。
8.根据权利要求7所述的确定系统,其特征在于,所述最终线程获取单元,还包括:
最终信息发送子单元,用于当所述实际速率等于所述期望速率时,将获取到的所述最终线程通过第三预设路径发送给测试人员。
9.根据权利要求5至8任一项所述的确定系统,其特征在于,所述判断处理单元包括:
单线程增加子单元,用于在所述初始线程的基础上每次增加一个线程,直至所述实际速率等于所述期望速率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710666737.0A CN107450854B (zh) | 2017-08-07 | 2017-08-07 | 一种期望速率下最大线程数的确定方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710666737.0A CN107450854B (zh) | 2017-08-07 | 2017-08-07 | 一种期望速率下最大线程数的确定方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107450854A true CN107450854A (zh) | 2017-12-08 |
CN107450854B CN107450854B (zh) | 2020-09-18 |
Family
ID=60490899
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710666737.0A Active CN107450854B (zh) | 2017-08-07 | 2017-08-07 | 一种期望速率下最大线程数的确定方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107450854B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109951506A (zh) * | 2017-12-20 | 2019-06-28 | 中移(苏州)软件技术有限公司 | 一种存储集群性能的评估方法及设备 |
CN110007878A (zh) * | 2019-04-17 | 2019-07-12 | Oppo广东移动通信有限公司 | 存储卡处理方法、存储卡处理装置及移动终端 |
CN111061435A (zh) * | 2019-12-29 | 2020-04-24 | 浪潮电子信息产业股份有限公司 | 一种厚置备卷创建方法、装置及电子设备和存储介质 |
CN112463373A (zh) * | 2020-11-26 | 2021-03-09 | 苏州浪潮智能科技有限公司 | 一种动态调整线程数的方法、装置及介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020110055A1 (en) * | 2001-02-15 | 2002-08-15 | Funai Electric Co., Ltd. | Optical disk device |
CN103905263A (zh) * | 2012-12-26 | 2014-07-02 | 中国移动通信集团公司 | 一种业务带宽测试方法及装置 |
CN104750543A (zh) * | 2013-12-26 | 2015-07-01 | 杭州华为数字技术有限公司 | 线程创建方法、业务请求处理方法及相关设备 |
CN105824691A (zh) * | 2015-01-08 | 2016-08-03 | 平安科技(深圳)有限公司 | 动态调节线程的方法及装置 |
CN105978949A (zh) * | 2016-04-27 | 2016-09-28 | 乐视控股(北京)有限公司 | 离线数据上传方法及装置 |
-
2017
- 2017-08-07 CN CN201710666737.0A patent/CN107450854B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020110055A1 (en) * | 2001-02-15 | 2002-08-15 | Funai Electric Co., Ltd. | Optical disk device |
CN103905263A (zh) * | 2012-12-26 | 2014-07-02 | 中国移动通信集团公司 | 一种业务带宽测试方法及装置 |
CN104750543A (zh) * | 2013-12-26 | 2015-07-01 | 杭州华为数字技术有限公司 | 线程创建方法、业务请求处理方法及相关设备 |
CN105824691A (zh) * | 2015-01-08 | 2016-08-03 | 平安科技(深圳)有限公司 | 动态调节线程的方法及装置 |
CN105978949A (zh) * | 2016-04-27 | 2016-09-28 | 乐视控股(北京)有限公司 | 离线数据上传方法及装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109951506A (zh) * | 2017-12-20 | 2019-06-28 | 中移(苏州)软件技术有限公司 | 一种存储集群性能的评估方法及设备 |
CN109951506B (zh) * | 2017-12-20 | 2021-11-30 | 中移(苏州)软件技术有限公司 | 一种存储集群性能的评估方法及设备 |
CN110007878A (zh) * | 2019-04-17 | 2019-07-12 | Oppo广东移动通信有限公司 | 存储卡处理方法、存储卡处理装置及移动终端 |
CN111061435A (zh) * | 2019-12-29 | 2020-04-24 | 浪潮电子信息产业股份有限公司 | 一种厚置备卷创建方法、装置及电子设备和存储介质 |
CN112463373A (zh) * | 2020-11-26 | 2021-03-09 | 苏州浪潮智能科技有限公司 | 一种动态调整线程数的方法、装置及介质 |
CN112463373B (zh) * | 2020-11-26 | 2023-03-24 | 苏州浪潮智能科技有限公司 | 一种动态调整线程数的方法、装置及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN107450854B (zh) | 2020-09-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107450854A (zh) | 一种期望速率下最大线程数的确定方法及系统 | |
US20220129288A1 (en) | Method and apparatus for determining the capacity of an application cluster | |
US9141421B2 (en) | Reducing power grid noise in a processor while minimizing performance loss | |
US11144330B2 (en) | Algorithm program loading method and related apparatus | |
CN103514958A (zh) | 一种emmc芯片寿命检测方法 | |
CN110515917B (zh) | 一种控制重构速度的方法、装置及介质 | |
US20110055164A1 (en) | Method and system for maintaining data recoverability | |
CN110297743B (zh) | 一种负载测试方法、装置和存储介质 | |
US20150100932A1 (en) | Manipulation of traces for debugging a circuit design | |
CN112599182A (zh) | 一种非易失性存储寿命预测方法、装置、设备及介质 | |
CN111736680B (zh) | 电源缓启动的控制方法、控制装置、控制设备及存储介质 | |
CN103279408A (zh) | 独立冗余磁盘阵列raid性能的测试方法 | |
CN109375871A (zh) | 一种日志处理方法、系统及电子设备和存储介质 | |
CN111966301B (zh) | 分布式对象存储系统的迁移速度控制方法、装置及介质 | |
JP2015114675A (ja) | アプリケーションソフトウェア加速試験装置および試験方法 | |
CN115657952A (zh) | 一种根据慢请求调整数据重构的速度的方法、装置及介质 | |
CN108038035A (zh) | 一种闪存读写状态的检测方法及相关装置 | |
CN112069014B (zh) | 一种存储系统故障模拟方法、装置、设备和介质 | |
EP3605518A1 (en) | Method and apparatus for controlling display screen | |
DE112017006454T5 (de) | Computervorrichtung, Aufgabeneinleitungsverfahren und Aufgabeneinleitungsprogramm | |
US20190012133A1 (en) | Audio Benchmarking with Simulated Real Time Processing of Audio | |
CN113625956B (zh) | Raid卡的缓存设置方法、装置、电子设备及存储介质 | |
CN112466384B (zh) | 一种闪存编程挂起特性的测试方法、测试装置及测试设备 | |
CN111176572B (zh) | 一种存储数据的保护方法、装置、设备及介质 | |
CN111400151B (zh) | 一种硬盘剩余寿命的监测方法、监测装置及监测设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20200821 Address after: 215100 No. 1 Guanpu Road, Guoxiang Street, Wuzhong Economic Development Zone, Suzhou City, Jiangsu Province Applicant after: SUZHOU LANGCHAO INTELLIGENT TECHNOLOGY Co.,Ltd. Address before: 450018 Henan province Zheng Dong New District of Zhengzhou City Xinyi Road No. 278 16 floor room 1601 Applicant before: ZHENGZHOU YUNHAI INFORMATION TECHNOLOGY Co.,Ltd. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |