CN105389401B - 数据库性能测试方法与装置 - Google Patents
数据库性能测试方法与装置 Download PDFInfo
- Publication number
- CN105389401B CN105389401B CN201510997614.6A CN201510997614A CN105389401B CN 105389401 B CN105389401 B CN 105389401B CN 201510997614 A CN201510997614 A CN 201510997614A CN 105389401 B CN105389401 B CN 105389401B
- Authority
- CN
- China
- Prior art keywords
- peak
- curve
- test
- access request
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供了一种数据库性能测试方法与装置,其中,所述方法包括:依据配置参数创建并发线程并构建测试环境;通过所述并发线程向所述测试环境并行发送访问请求,以对数据库性能进行测试。通过本发明提供的数据库性能测试方案,能够对数据库同时处理多个访问请求时的性能进行有效测试。
Description
技术领域
本发明涉及数据库技术领域,特别是涉及一种数据库性能测试方法与装置。
背景技术
MongoDB是一个基于分布式文件存储的数据库,它是介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的数据库。MongoDB支持的数据结构松散,因此可以存储比较复杂的数据类型。MongoDB最大的特点是他支持的查询语言非常强大,其语法类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝大部分功能,而且还支持对数据建立索引。基于MongoDB具有如此多的优点,因此在数据处理领域被广泛应用。
而数据库性能测试是数据库应用前的一个必不可少的环节。目前市场上主要是针对MongoDB2.0以下型号的数据库性能测试方案。MongoDB2.0以下型号的数据库每次只能处理一个请求,也就是说,当同时并发十个请求时,数据库将十个请求添加到队列中,依次从队列中提取各请求进行处理来对数据库的性能进行测试。
显然,现有的数据库性能测试方案,无法对数据库同时处理多个请求时的性能进行有效测试,也即,无法有效对数据库进行压力测试。
发明内容
鉴于现有的数据库测试方案无法有效对数据库进行压力测试的问题,提出了本发明以便提供一种克服上述问题的数据库测试方法与装置。
依据本发明的一个方面,提供了一种数据库性能测试方法,包括:依据配置参数创建并发线程并构建测试环境;通过所述并发线程向所述测试环境并行发送访问请求,以对数据库性能进行测试。
优选地,所述配置参数包括:并发线程数量、集合数量和文档记录数中的至少一种;所述依据所述配置参数创建测试并发线程并构建测试环境的步骤包括:创建与所述并发线程数量相同数量的并发线程;和/或创建与所述集合数量相同的数量的集合;和/或创建所述文档记录数相同数量的文档记录,并将创建的文档记录平均存储至各集合中,以构建所述测试环境。
优选地,所述配置参数包括:测试结果输出频率,所述方法还包括:监测测试结果输出时间间隔内的并发访问请求;对监测到的各访问请求结果进行统计得到测试样本数据;输出所述测试样本数据、以及用于指示当前输出时间的时间戳。
优选地,所述配置参数还包括:测试时间,所述方法还包括:当对数据库性能测试的时间满足所述配置参数中设置的测试时间时,对所述测试时间内每次输出的测试样本数据进行分析,得到所述数据库性能测试结果。
优选地,所述测试样本数据包括:每秒平均查询率和/或系统平均吞吐量,则所述对所述测试时间内每次输出的测试样本数据进行分析,得到所述数据库性能测试结果的步骤进一步包括:构建每秒平均查询率随时间变化的第一曲线和/或系统平均吞吐量随时间变化的第二曲线;判断所述第一曲线的最大峰值与最小峰值之差是否小于第一设定值、以及所述第一曲线的最小峰值是否大于第二设定值,和/或,判断所述第二曲线的最大峰值与最小峰值之差是否小于第三设定值且所述第二曲线的最小峰值是否大于第四设定值;在所述第一曲线的最大峰值与最小峰值之差小于第一设定值且所述第一曲线的最小峰值大于第二设定值,和/或,所述第二曲线的最大峰值与最小峰值之差小于第三设定值且所述第二曲线的最小峰值大于第四设定值时,确定所述数据库性能符合标准。
优选地,所述测试样本数据还包括:访问请求失败率,所述对所述测试时间内每次输出的测试样本数据进行分析,得到所述数据库性能测试结果的步骤,进一步包括:计算所述测试时间内输出的各访问请求失败率的平均值;判断所述平均值是否小于第五设定值;若小于,则确定所述数据库性能符合标准。
优选地,所述测试样本数据还包括:访问请求失败率,所述对所述测试时间内每次输出的测试样本数据进行分析,得到所述数据库性能测试结果的步骤,进一步包括:构建每次输出的访问请求失败率随时间变化的第三曲线;判断所述第三曲线的最大峰值与最小峰值之差是否小于第六设定值、以及所述第三曲线的最大峰值是否小于第七设定值;若均小于,则确定所述数据库性能符合标准。
优选地,所述并行发送的访问请求包括如下请求中的至少一种:删除文档记录请求、更新文档记录请求、插入文档记录请求以及查询文档记录请求。
依据本发明的另一个方面,提供了一种数据库性能测试装置,包括:创建模块,用于依据配置参数创建并发线程并构建测试环境;发送模块,用于通过所述并发线程向所述测试环境并行发送访问请求,以对数据库性能进行测试。
优选地,所述配置参数包括:并发线程数量、集合数量和文档记录数中的至少一种;所述创建模块包括:线程创建子模块,用于创建与所述并发线程数量相同数量的并发线程;和/或集合创建子模块,用于创建与所述集合数量相同的数量的集合;和/或文档记录创建子模块,用于创建所述文档记录数相同数量的文档记录,并将创建的文档记录平均存储至各集合中,以构建所述测试环境。
优选地,所述配置参数包括:测试结果输出频率,所述装置还包括:监测模块,用于监测测试结果输出时间间隔内的并发访问请求;统计模块,用于对监测到的各访问请求结果进行统计得到测试样本数据;输出模块,用于输出所述测试样本数据、以及用于指示当前输出时间的时间戳。
优选地,所述配置参数还包括:测试时间,所述装置还包括:结果确定模块,用于当对数据库性能测试的时间满足所述配置参数中设置的测试时间时,对所述测试时间内每次输出的测试样本数据进行分析,得到所述数据库性能测试结果。
优选地,所述测试样本数据包括:每秒平均查询率和/或系统平均吞吐量,则所述结果确定模块包括:曲线构建子模块,用于构建每秒平均查询率随时间变化的第一曲线和/或系统平均吞吐量随时间变化的第二曲线;峰值判断子模块,用于判断所述第一曲线的最大峰值与最小峰值之差是否小于第一设定值、以及所述第一曲线的最小峰值是否大于第二设定值,和/或,判断所述第二曲线的最大峰值与最小峰值之差是否小于第三设定值、以及所述第二曲线的最小峰值是否大于第四设定值;性能确定子模块,用于在所述第一曲线的最大峰值与最小峰值之差小于第一设定值且所述第一曲线的最小峰值大于第二设定值,和/或,所述第二曲线的最大峰值与最小峰值之差小于第三设定值且所述第二曲线的最小峰值大于第四设定值时,确定所述数据库性能符合标准。
优选地,所述测试样本数据还包括:访问请求失败率,所述结果确定模块具体用于:计算所述测试时间内输出的各访问请求失败率的平均值;判断所述平均值是否小于第五设定值;若小于,则确定所述数据库性能符合标准。
优选地,所述测试样本数据还包括:访问请求失败率,所述结果确定模块具体用于:构建每次输出的访问请求失败率随时间变化的第三曲线;判断所述第三曲线的最大峰值与最小峰值之差是否小于第六设定值、以及所述第三曲线的最大峰值是否小于第七设定值;若均小于,则确定所述数据库性能符合标准。
优选地,所述并行发送的访问请求包括如下请求中的至少一种:删除文档记录请求、更新文档记录请求、插入文档记录请求以及查询文档记录请求。
本发明实施例提供的数据库性能测试方案,由于能够通过并发线程向测试环境并行发送访问请求,数据库则需要同时处理多个并发访问请求,相应地,即可对数据库同时处理多个访问请求时的性能进行有效测试,也就是说能够有效对数据库进行压力测试。相应地,能够对具有压力测试需求的数据库例如MongoDB3.0进行性能测试。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例的一种数据库性能测试方法的步骤流程示意图;
图2示出了根据本发明一个实施例的一种数据库性能测试方法的步骤流程示意图;
图3示出了根据本发明一个实施例的一种数据库性能测试装置的结构示意图;以及
图4示出了根据本发明一个实施例的一种数据库性能测试装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
实施例一
参照图1,示出了本发明实施例一的一种数据库性能测试方法的步骤流程图。
本发明实施例的数据库性能测试方法包括以下步骤:
步骤101:依据配置参数创建并发线程并构建测试环境。
其中,配置参数中包含并发线程的相关参数以及测试环境的相关参数。当然,配置参数中还可以包含测试时间、测试结果输出频率等参数。
并发线程的相关参数的设置可以由本领域技术人员更具实际需求进行设置,本发明实施例中对此不作具体限制。例如:将相关参数设置为并发线程的数量、并发线程的创建时间等。测试环境的相关参数的设置也可以由本领域技术人员根据实际需求进行设置,例如:将相关参数设置为集合数量和文档记录数;例如:仅将相关参数设置为集合数量;再例如:将相关参数设置为集合数量和各集合中包含的文档记录数。
获取配置参数中的并发线程的相关参数,依据并发线程的相关参数即可创建并发线程。获取配置参数中的测试环境相关参数即可依据相关参数构建测试环境。
步骤102:通过并发线程向测试环境并行发送访问请求,以对数据库性能进行测试。
例如:创建有100个并发线程,则通过创建的100个并发线程向数据库中搭建的测试环境中并行发送访问请求,也就是说,会同时发送100个访问请求,数据库则需要同时处理100个访问请求,因此,能够对数据库同时处理多个访问请求时的性能进行有效测试。
其中,所测试的性能可以包含以下至少之一:访问请求失败率、每秒查询率以及每秒处理插入、更新、删除操作的数量即系统每秒的吞吐量。
通过本发明实施例提供的数据库性能测试方法,由于能够通过并发线程向测试环境并行发送访问请求,数据库则需要同时处理多个并发访问请求,相应地,即可对数据库同时处理多个访问请求时的性能进行有效测试,即能够有效对数据库进行压力测试。能够对具有压力测试需求的数据库例如MongoDB3.0进行性能测试。
实施例二
参照图2,示出了本发明实施例二的一种数据库性能测试方法的步骤流程图。
本发明实施例的数据库性能测试方法具体包括以下步骤:
步骤201:依据配置参数创建测试并发线程并构建测试环境。
在对数据库进行测试时,测试人员可以预先对配置参数进行设置,执行数据库测试的计算机脚本则依据测试人员预先设置的配置参数对数据库进行测试。其中,配置参数可以包括:并发线程数量、集合数量和文档记录数、测试结果输出频率、测试时间中的至少一种。
本发明实施例中以配置参数同时包括并发线程数量、集合数量和文档记录数、测试结果输出频率、测试时间为例,对本发明实施例的数据库性能测试方法进行说明。
一种优选的依据配置参数创建测试并发线程并构建测试环境的方式如下:
创建与并发线程数量相同数量的并发线程;和/或
创建与集合数量相同的数量的集合;和/或
创建文档记录数相同数量的文档记录,并将创建的文档记录平均存储至各集合中,以构建测试环境。
例如:配置参数中配置的并发线程数量为1000,集合数量为10,文档记录数为10000。在依据配置参数创建测试并发线程时,则创建1000个并发线程,在创建测试环境时,在数据库中创建10个集合,并且在每个集合中创建1000条文档记录。
需要说明的是,上述为配置参数中同时包含并发线程数量、集合数量以及文档记录数时的一种优选的创建测试并发线程并构建测试环境的方式。在具体实现过程中,若配置参数中仅包含并发线程数量,在依据配置参数创建测试并发线程并构建测试环境时,则创建与并发线程数量相同数量的并发线程;而对于测试环境的构建,则依据系统默认的集合数量和文档记录数来创建集合以及集合中包含的文档记录。
若配置参数中仅包含集合数量,在依据配置参数创建测试并发线程并构建测试环境时,则依据系统默认的并发线程数量创建相应数量的并发线程;而对于测试环境的构建,则依据配置参数中设置的集合数量来创建集合,依据系统默认的文档记录数创建集合中包含的文档记录。
若配置参数中仅包含文档记录数,在依据配置参数创建测试并发线程并构建测试环境时,则依据系统默认的并发线程数量创建相应数量的并发线程;而对于测试环境的构建,则依据系统默认的集合数量来创建相应数量的集合,依据配置参数中设置的文档记录数创建相应数量的文档记录,并将创建的文档记录平均存储到创建的各集合中。
通过步骤201已将测试时所需使用的并发线程以及测试环境创建完毕,后续直接通过创建的并发线程向测试环境中发送访问请求,通过监测数据库对各并发访问请求的处理即可对数据库性能进行测试。
步骤202:通过并发线程向测试环境并行发送访问请求。
并行发送的访问请求包括如下请求中的至少一种:删除文档记录请求、更新文档记录请求、插入文档记录请求以及查询文档记录请求。
其中,删除文档记录的请求即请求数据库删除集合中的某条文档记录。更新文件记录请求即请求数据库将数据库中存储的某条文档记录进行更新。插入文档记录请求即请求数据库将某条文件记录插入某集合中。查询文档记录请求即请求数据库对数据库中存储的某一条或多条文档记录进行查询。
并行发送访问请求即各并线程同时向数据库的测试环境发送访问请求。向数据库的测试环境发送访问请求也就是请求对数据库中的集合中的文档记录进行操作到的请求。并发线程向测试环境并行发送访问请求的频率,可以由本领域技术人员根据实际需求进行设置。例如:设置成每0.5秒发送一次访问请求,还可以设置成每秒发送3次请求,当然,还可以设置成每秒发送1次、4次访问请求等,本发明实施例中对此不作具体限制。
需要说明的是,各并发线程可以向测试环境中发送相同类型的请求,当然,也可以发送不同类型的请求。
步骤203:监测测试结果输出时间间隔内的并发访问请求。
例如:测试结果输出频率为每10分钟输出一次测试结果,当前刚完成一次测试结果输出且当前时间为8点10分,那么,此时则监测8点10分至8点20分之间内的全部并发访问请求。
需要说明的是,若配置参数中未设置测试结果输出频率则按照系统默认的测试结果输出频率来确定测试结果输出时间间隔,以及输出测试结果。
步骤204:对监测到的各访问请求结果进行统计得到测试样本数据。
测试样本数据包括以下至少之一:每秒平均查询率、系统平均吞吐量、访问请求失败率。
其中,每秒平均查询率为在测试结果输出时间间隔内数据库每秒平均查询文档记录的数目。系统平均吞吐量为在测试结果输出时间间隔内数据库每秒平均执行插入、更新、删除文档记录这些操作的总数目。访问请求失败率为测试结果输出时间间隔内并发的全部访问请求的数量与访问失败的请求的数量的比值。
通过每秒平均查询率、系统平均吞吐量能够分析得出数据库处理并行的各请求的效率;而访问请求失败率则体现数据库所能并行处理访问请求的数量,例如:请求失败率越低,则说明数据库所能并行处理访问请求数量越多;请求失败率越高,则说明数据库所能并行处理访问请求数量越少。无论通过哪种具体的测试样本数据均能体现出数据库同时处理并发访问请求的性能。
循环执行步骤203至步骤204即可监测各测试结果输出时间间隔内的并发访问请求,即可得到各时间间隔对应的测试样本数据。
步骤205:输出测试样本数据、以及用于指示当前输出时间的时间戳。
其中,每个测试结果输出时间间隔对应的测试样本数据均对应当前输出时间,因此,在输出测试样本数据时,同时还将其对应的时间戳输出,以便后续依据时间戳对测试样本数据进行分析。例如:可以构建随着时间的变化测试样本数据的变化曲线。
需要说明的是,本步骤为可选步骤,在具体实现过程中,也可以仅统计得到测试样本数据而不输出测试样本数据,而在满足测试时间后直接输出数据库性能测试结果。本领域技术人员可以根据实际需求设置是否执行本步骤。
步骤206:当对数据库性能测试的时间满足配置参数中设置的测试时间时,对测试时间内每次输出的测试样本数据进行分析,得到数据库性能测试结果。
通过步骤203至步骤204已得到各测试结果输出时间间隔对应的测试样本数据。例如:在测试时间内共包含5个测试结果输出时间间隔,则需要将这5次得到的测试样本数据进行分析,得到最终的性能测试结果。
需要说明的是,若未执行步骤205,则当对数据库性能测试的时间满足配置参数中设置的测试时间时,对测试时间内每次统计得到的测试样本数据进行分析,得到数据库性能测试结果。若配置参数中未设置测试时间则按照系统默认的测试时间设定为本次测试的总时间。
对测试时间内每次输出的测试测试样本数据进行分析的优选方式分别如下:
当测试样本数据包括每秒平均查询率时,对测试时间内每次输出的测试测试样本数据进行分析的优选方式如下:
首先,构建每秒平均查询率随时间变化的第一曲线;
其次,判断第一曲线的最大峰值与最小峰值之差是否小于第一设定值、以及第一曲线的最小峰值是否大于第二设定值;
通过第一曲线的最大峰值与最小峰值可以确定每秒平均查询率的稳定性,从而体现出数据库每秒平均查询率的稳定性。当二者的差值小于第一设定值时,则确定数据库每秒平均查询率的稳定性满足要求。通过第一曲线的最小峰值是否大于第二设定值可以确定平均查询率最低值是否满足预设的最低平均查询率即第二设定值,当最小峰值大于第二设定值时,则确定数据库的平均查询率满足要求。
其中,第一设定值、第二设定值可以由本领域技术人员根据实际需求进行设置,本发明实施例中对此不作具体限制。
最后,在第一曲线的最大峰值与最小峰值之差小于第一设定值且第一曲线的最小峰值大于第二设定值确定数据库性能符合标准。若有一个条件不满足,则确定数据库性能不符合标准。
当测试样本数据包括系统平均吞吐量时,对测试时间内每次输出的测试测试样本数据进行分析的优选方式如下:
首先,构建系统平均吞吐量随时间变化的第二曲线;
其次,判断第二曲线的最大峰值与最小峰值之差是否小于第三设定值、以及第二曲线的最小峰值是否大于第四设定值;
通过第二曲线的最大峰值与最小峰值可以确定平均吞吐量的稳定性,从而体现出数据库吞吐量的稳定性。当二者的差值小于第三设定值时,则确定数据库吞吐量的稳定性满足要求。通过判断第二曲线的最小峰值是否大于第四设定值可以确定系统平均吞吐量最低值是否满足预设的吞吐量即第二设定值。当最小峰值大于第四设定值时,则确定数据库的吞吐量满足要求。
其中,第三设定值、第四设定值可以由本领域技术人员根据实际需求进行设置,本发明实施例中对此不作具体限制。
最后,在第二曲线的最大峰值与最小峰值之差小于第三设定值且第二曲线的最小峰值大于第四设定值时,确定数据库性能符合标准。若有一个条件不满足,则确定数据库性能不符合标准。
当测试样本数据包括访问请求失败率时,计算测试时间内输出的各访问请求失败率的平均值;判断平均值是否小于第五设定值;若小于,则确定数据库性能符合标准。
需要说明的是,第五设定值可以由本领域技术人员根据实际需求进行设置,本发明实施例对此不作具体限制。
当测试样本数据包括访问请求失败率时,还可以构建每次输出的访问请求失败率随时间变化的第三曲线;判断第三曲线的最大峰值与最小峰值之差是否小于第六设定值、以及第三曲线的最大峰值是否小于第七设定值;若均小于,则确定数据库性能符合标准。若有一个判断结果为不小于,则确定数据库性能不符合标准。
其中,第六设定值、第七设定值可以由本领域技术人员根据实际需求进行设置,本发明实施例中对此不作具体限制。
需要说明的是,上述仅是以测试样本数据中分别包括:访问请求失败率每秒平均查询率和系统平均吞吐量为例,对测试样本数据进行分析得到数据库性能测试结果为例进行的说明。在具体实现过程中,测试样本数据还可以同时包括访问请求失败率每秒平均查询率和系统平均吞吐量中的任意两种参数或者同时包含三种参数,那么在对测试样本数据进行分析时,可以参照上述相应方式分别依据测试样本数据中包含的各种参数确定数据库性能测试结果,然后将各种参数对应的测试性能结果进行统计得到最终的测试性能结果。
对于将各种参数对应的测试性能结果进行统计得到最终的测试性能结果的具体确定方案,可以由本领域技术人员根据实际需求进行设置。本发明实施例中对此不作具体限制。可以设置成测试样本数据中包含的各种参数对应的测试性能结果均为数据库性能符合标准时,则最终确定数据库性能符合标准。也可以设置成测试样本数据中包含的各种参数对应的测试性能结果中多数结果为数据库性能符合标准,则最终确定数据库性能符合标准。当然,还可以设置成测试样本数据中包含的各种参数对应的测试性能结果中至少有一种参数的对应的测试性能结果为数据库性能符合标准,则最终确定数据库性能符合标准。
例如:测试样本数据包括:每秒平均查询率以及系统平均吞吐量,每秒平均查询率对应的测试性能结果为数据库性能符合标准,而系统平均吞吐量对应的测试性能结果为数据库性能不符合标准,则最终确定的性能结果为数据库性能不符合标准。再例如:测试样本数据包括:每秒平均查询率、系统平均吞吐量以及访问请求失败率,其中,每秒平均查询率、系统平均吞吐量对应的测试性能结果均为数据库性能符合标准,而访问请求失败率对应的测试性能结果为数据库性能不符合标准,则最终确定的性能结果为数据库性能符合标准。
通过本发明实施例提供的数据库性能测试方法,由于能够通过并发线程向测试环境并行发送访问请求,数据库则需要同时处理多个并发访问请求,相应地,即可对数据库同时处理多个访问请求时的性能进行有效测试,即能够有效对数据库进行压力测试。故,能够对具有压力测试需求的数据库例如MongoDB3.0进行性能测试。
实施例三
参照图3,示出了本发明实施例三的一种数据库性能测试装置的结构示意图。
本发明实施例的数据库性能测试装置可以包括:创建模块301,用于依据配置参数创建并发线程并构建测试环境;发送模块302,用于通过所述并发线程向所述测试环境并行发送访问请求,以对数据库性能进行测试。
通过本发明实施例提供的数据库性能测试装置,由于能够通过并发线程向测试环境并行发送访问请求,数据库则需要同时处理多个并发访问请求,相应地,即可对数据库同时处理多个访问请求时的性能进行有效测试,即能够有效对数据库进行压力测试。能够对具有压力测试需求的数据库例如MongoDB3.0进行性能测试。
实施例四
参照图4,示出了本发明实施例四的一种数据库性能测试装置的结构示意图。
本发明实施例的数据库性能测试装置可以包括:创建模块401,用于依据配置参数创建并发线程并构建测试环境;发送模块402,用于通过所述并发线程向所述测试环境并行发送访问请求,以对数据库性能进行测试。
优选地,所述配置参数可以包括:并发线程数量、集合数量和文档记录数中的至少一种;所述创建模块401包括:线程创建子模块4011,用于创建与所述并发线程数量相同数量的并发线程;和/或集合创建子模块4012,用于创建与所述集合数量相同的数量的集合;和/或文档记录创建子模块4013,用于创建所述文档记录数相同数量的文档记录,并将创建的文档记录平均存储至各集合中,以构建所述测试环境。
优选地,所述配置参数可以包括:测试结果输出频率,所述装置还包括:监测模块403,用于监测测试结果输出时间间隔内的并发访问请求;统计模块404,用于对监测到的各访问请求结果进行统计得到测试样本数据;输出模块405,用于输出所述测试样本数据、以及用于指示当前输出时间的时间戳。
优选地,所述配置参数还可以包括:测试时间,所述装置还包括:结果确定模块406,用于当对数据库性能测试的时间满足所述配置参数中设置的测试时间时,对所述测试时间内每次输出的测试样本数据进行分析,得到所述数据库性能测试结果。
优选地,所述测试样本数据可以包括:每秒平均查询率和/或系统平均吞吐量,则所述结果确定模块406包括:曲线构建子模块4061,用于构建每秒平均查询率随时间变化的第一曲线和/或系统平均吞吐量随时间变化的第二曲线;峰值判断子模块4062,用于判断所述第一曲线的最大峰值与最小峰值之差是否小于第一设定值、以及所述第一曲线的最小大峰值是否大于第二设定值,和/或,判断所述第二曲线的最大峰值与最小峰值之差是否小于第三设定值、以及所述第二曲线的最小峰值是否大于第四设定值;性能确定子模块4063,用于在所述第一曲线的最大峰值与最小峰值之差小于第一设定值且所述第一曲线的最小峰值大于第二设定值,和/或,所述第二曲线的最大峰值与最小峰值之差小于第三设定值且所述第二曲线的最小峰值大于第四设定值时,确定所述数据库性能符合标准。
优选地,所述测试样本数据还可以包括:访问请求失败率,所述结果确定模块406具体用于:计算所述测试时间内输出的各访问请求失败率的平均值;判断所述平均值是否小于第五设定值;若小于,则确定所述数据库性能符合标准。
优选地,所述测试样本数据还可以包括:访问请求失败率,所述结果确定模块406具体用于:构建每次输出的访问请求失败率随时间变化的第三曲线;判断所述第三曲线的最大峰值与最小峰值之差是否小于第六设定值、以及所述第三曲线的最大峰值是否小于第七设定值;若均小于,则确定所述数据库性能符合标准。
优选地,所述并行发送的访问请求可以包括如下请求中的至少一种:删除文档记录请求、更新文档记录请求、插入文档记录请求以及查询文档记录请求。
本实施例的数据库性能测试装置用于实现前述实施例一以及实施例二中相应的数据库性能测试方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于系统实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在此提供的数据库性能测试方法与装置不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造具有本发明方案的系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的数据库性能测试方法与装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明公开了A1、一种数据库性能测试方法,包括:
依据配置参数创建并发线程并构建测试环境;
通过所述并发线程向所述测试环境并行发送访问请求,以对数据库性能进行测试。
A2、根据A1所述的方法,其中,所述配置参数包括:并发线程数量、集合数量和文档记录数中的至少一种;
所述依据所述配置参数创建测试并发线程并构建测试环境的步骤包括:
创建与所述并发线程数量相同数量的并发线程;和/或
创建与所述集合数量相同的数量的集合;和/或
创建所述文档记录数相同数量的文档记录,并将创建的文档记录平均存储至各集合中,以构建所述测试环境。
A3、根据A1所述的方法,其中,所述配置参数包括:测试结果输出频率,所述方法还包括:
监测测试结果输出时间间隔内的并发访问请求;
对监测到的各访问请求结果进行统计得到测试样本数据;
输出所述测试样本数据、以及用于指示当前输出时间的时间戳。
A4、根据A3所述的方法,其中,所述配置参数还包括:测试时间,所述方法还包括:
当对数据库性能测试的时间满足所述配置参数中设置的测试时间时,对所述测试时间内每次输出的测试样本数据进行分析,得到所述数据库性能测试结果。
A5、根据A4所述的方法,其中,所述测试样本数据包括:每秒平均查询率和/或系统平均吞吐量,则所述对所述测试时间内每次输出的测试样本数据进行分析,得到所述数据库性能测试结果的步骤进一步包括:
构建每秒平均查询率随时间变化的第一曲线和/或系统平均吞吐量随时间变化的第二曲线;
判断所述第一曲线的最大峰值与最小峰值之差是否小于第一设定值、以及所述第一曲线的最小峰值是否大于第二设定值,和/或,判断所述第二曲线的最大峰值与最小峰值之差是否小于第三设定值且所述第二曲线的最小峰值是否大于第四设定值;
在所述第一曲线的最大峰值与最小峰值之差小于第一设定值且所述第一曲线的最小峰值大于第二设定值,和/或,所述第二曲线的最大峰值与最小峰值之差小于第三设定值且所述第二曲线的最小峰值大于第四设定值时,确定所述数据库性能符合标准。
A6、根据A4所述的方法,其中,所述测试样本数据还包括:访问请求失败率,所述对所述测试时间内每次输出的测试样本数据进行分析,得到所述数据库性能测试结果的步骤,进一步包括:
计算所述测试时间内输出的各访问请求失败率的平均值;
判断所述平均值是否小于第五设定值;
若小于,则确定所述数据库性能符合标准。
A7、根据A4所述的方法,其中,所述测试样本数据还包括:访问请求失败率,所述对所述测试时间内每次输出的测试样本数据进行分析,得到所述数据库性能测试结果的步骤,进一步包括:
构建每次输出的访问请求失败率随时间变化的第三曲线;
判断所述第三曲线的最大峰值与最小峰值之差是否小于第六设定值、以及所述第三曲线的最大峰值是否小于第七设定值;
若均小于,则确定所述数据库性能符合标准。
A8、根据A1至A7中任一所述的方法,其中,所述并行发送的访问请求包括如下请求中的至少一种:删除文档记录请求、更新文档记录请求、插入文档记录请求以及查询文档记录请求。
本发明公开了B9、一种数据库性能测试装置,包括:
创建模块,用于依据配置参数创建并发线程并构建测试环境;
发送模块,用于通过所述并发线程向所述测试环境并行发送访问请求,以对数据库性能进行测试。
B10、根据B9所述的装置,其中,所述配置参数包括:并发线程数量、集合数量和文档记录数中的至少一种;所述创建模块包括:
线程创建子模块,用于创建与所述并发线程数量相同数量的并发线程;和/或
集合创建子模块,用于创建与所述集合数量相同的数量的集合;和/或
文档记录创建子模块,用于创建所述文档记录数相同数量的文档记录,并将创建的文档记录平均存储至各集合中,以构建所述测试环境。
B11、根据B9所述的装置,其中,所述配置参数包括:测试结果输出频率,所述装置还包括:
监测模块,用于监测测试结果输出时间间隔内的并发访问请求;
统计模块,用于对监测到的各访问请求结果进行统计得到测试样本数据;
输出模块,用于输出所述测试样本数据、以及用于指示当前输出时间的时间戳。
B12、根据B11所述的装置,其中,所述配置参数还包括:测试时间,所述装置还包括:
结果确定模块,用于当对数据库性能测试的时间满足所述配置参数中设置的测试时间时,对所述测试时间内每次输出的测试样本数据进行分析,得到所述数据库性能测试结果。
B13、根据B12所述的装置,其中,所述测试样本数据包括:每秒平均查询率和/或系统平均吞吐量,则所述结果确定模块包括:
曲线构建子模块,用于构建每秒平均查询率随时间变化的第一曲线和/或系统平均吞吐量随时间变化的第二曲线;
峰值判断子模块,用于判断所述第一曲线的最大峰值与最小峰值之差是否小于第一设定值、以及所述第一曲线的最小峰值是否大于第二设定值,和/或,判断所述第二曲线的最大峰值与最小峰值之差是否小于第三设定值、以及所述第二曲线的最小峰值是否大于第四设定值;
性能确定子模块,用于在所述第一曲线的最大峰值与最小峰值之差小于第一设定值且所述第一曲线的最小峰值大于第二设定值,和/或,所述第二曲线的最大峰值与最小峰值之差小于第三设定值且所述第二曲线的最小峰值大于第四设定值时,确定所述数据库性能符合标准。
B14、根据B12所述的装置,其中,所述测试样本数据还包括:访问请求失败率,所述结果确定模块具体用于:
计算所述测试时间内输出的各访问请求失败率的平均值;判断所述平均值是否小于第五设定值;若小于,则确定所述数据库性能符合标准。
B15、根据B12所述的装置,其中,所述测试样本数据还包括:访问请求失败率,所述结果确定模块具体用于:
构建每次输出的访问请求失败率随时间变化的第三曲线;判断所述第三曲线的最大峰值与最小峰值之差是否小于第六设定值、以及所述第三曲线的最大峰值是否小于第七设定值;若均小于,则确定所述数据库性能符合标准。
B16、根据B9至B15中任一所述装置,其中,所述并行发送的访问请求包括如下请求中的至少一种:删除文档记录请求、更新文档记录请求、插入文档记录请求以及查询文档记录请求。
Claims (12)
1.一种数据库性能测试方法,包括:
依据配置参数创建并发线程并构建测试环境;其中,所述配置参数,包括:测试时间;
通过所述并发线程向所述测试环境并行发送访问请求,以对数据库性能进行测试;
当对数据库性能测试的时间满足所述配置参数中设置的测试时间时,对所述测试时间内每次输出的测试样本数据进行分析,得到所述数据库性能测试结果;其中,当所述测试样本数据包括:访问请求失败率,所述对所述测试时间内每次输出的测试样本数据进行分析,得到所述数据库性能测试结果,包括:计算所述测试时间内输出的各访问请求失败率的平均值;判断所述平均值是否小于预设设定值;若小于,则确定所述数据库性能符合标准。
2.根据权利要求1所述的方法,其特征在于,所述配置参数包括:并发线程数量、集合数量和文档记录数中的至少一种;
所述依据所述配置参数创建测试并发线程并构建测试环境的步骤包括:
创建与所述并发线程数量相同数量的并发线程;和/或
创建与所述集合数量相同的数量的集合;和/或
创建所述文档记录数相同数量的文档记录,并将创建的文档记录平均存储至各集合中,以构建所述测试环境。
3.根据权利要求1所述的方法,其特征在于,所述配置参数包括:测试结果输出频率,所述方法还包括:
监测测试结果输出时间间隔内的并发访问请求;
对监测到的各访问请求结果进行统计得到测试样本数据;
输出所述测试样本数据、以及用于指示当前输出时间的时间戳。
4.根据权利要求3所述的方法,其特征在于,当所述测试样本数据包括:每秒平均查询率和/或系统平均吞吐量,则所述对所述测试时间内每次输出的测试样本数据进行分析,得到所述数据库性能测试结果的步骤进一步包括:
构建每秒平均查询率随时间变化的第一曲线和/或系统平均吞吐量随时间变化的第二曲线;
判断所述第一曲线的最大峰值与最小峰值之差是否小于第一设定值、以及所述第一曲线的最小峰值是否大于第二设定值,和/或,判断所述第二曲线的最大峰值与最小峰值之差是否小于第三设定值且所述第二曲线的最小峰值是否大于第四设定值;
在所述第一曲线的最大峰值与最小峰值之差小于第一设定值且所述第一曲线的最小峰值大于第二设定值,和/或,所述第二曲线的最大峰值与最小峰值之差小于第三设定值且所述第二曲线的最小峰值大于第四设定值时,确定所述数据库性能符合标准。
5.根据权利要求3所述的方法,其特征在于,当所述测试样本数据还包括:访问请求失败率,所述对所述测试时间内每次输出的测试样本数据进行分析,得到所述数据库性能测试结果的步骤,进一步包括:
构建每次输出的访问请求失败率随时间变化的第三曲线;
判断所述第三曲线的最大峰值与最小峰值之差是否小于第六设定值、以及所述第三曲线的最大峰值是否小于第七设定值;
若均小于,则确定所述数据库性能符合标准。
6.根据权利要求1至5中任一所述的方法,其特征在于,所述并行发送的访问请求包括如下请求中的至少一种:删除文档记录请求、更新文档记录请求、插入文档记录请求以及查询文档记录请求。
7.一种数据库性能测试装置,包括:
创建模块,用于依据配置参数创建并发线程并构建测试环境;其中,所述配置参数,包括:测试时间;
发送模块,用于通过所述并发线程向所述测试环境并行发送访问请求,以对数据库性能进行测试;
结果确定模块,用于当对数据库性能测试的时间满足所述配置参数中设置的测试时间时,对所述测试时间内每次输出的测试样本数据进行分析,得到所述数据库性能测试结果;其中,当所述测试样本数据包括:访问请求失败率;所述结果确定模块具体用于:计算所述测试时间内输出的各访问请求失败率的平均值;判断所述平均值是否小于预设设定值;若小于,则确定所述数据库性能符合标准。
8.根据权利要求7所述的装置,其特征在于,所述配置参数包括:并发线程数量、集合数量和文档记录数中的至少一种;所述创建模块包括:
线程创建子模块,用于创建与所述并发线程数量相同数量的并发线程;和/或
集合创建子模块,用于创建与所述集合数量相同的数量的集合;和/或
文档记录创建子模块,用于创建所述文档记录数相同数量的文档记录,并将创建的文档记录平均存储至各集合中,以构建所述测试环境。
9.根据权利要求8所述的装置,其特征在于,所述配置参数包括:测试结果输出频率,所述装置还包括:
监测模块,用于监测测试结果输出时间间隔内的并发访问请求;
统计模块,用于对监测到的各访问请求结果进行统计得到测试样本数据;
输出模块,用于输出所述测试样本数据、以及用于指示当前输出时间的时间戳。
10.根据权利要求9所述的装置,其特征在于,当所述测试样本数据包括:每秒平均查询率和/或系统平均吞吐量,则所述结果确定模块包括:
曲线构建子模块,用于构建每秒平均查询率随时间变化的第一曲线和/或系统平均吞吐量随时间变化的第二曲线;
峰值判断子模块,用于判断所述第一曲线的最大峰值与最小峰值之差是否小于第一设定值、以及所述第一曲线的最小峰值是否大于第二设定值,和/或,判断所述第二曲线的最大峰值与最小峰值之差是否小于第三设定值、以及所述第二曲线的最小峰值是否大于第四设定值;
性能确定子模块,用于在所述第一曲线的最大峰值与最小峰值之差小于第一设定值且所述第一曲线的最小峰值大于第二设定值,和/或,所述第二曲线的最大峰值与最小峰值之差小于第三设定值且所述第二曲线的最小峰值大于第四设定值时,确定所述数据库性能符合标准。
11.根据权利要求9所述的装置,其特征在于,当所述测试样本数据还包括:访问请求失败率,所述结果确定模块具体用于:
构建每次输出的访问请求失败率随时间变化的第三曲线;判断所述第三曲线的最大峰值与最小峰值之差是否小于第六设定值、以及所述第三曲线的最大峰值是否小于第七设定值;若均小于,则确定所述数据库性能符合标准。
12.根据权利要求7至11中任一所述装置,其特征在于,所述并行发送的访问请求包括如下请求中的至少一种:删除文档记录请求、更新文档记录请求、插入文档记录请求以及查询文档记录请求。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510997614.6A CN105389401B (zh) | 2015-12-25 | 2015-12-25 | 数据库性能测试方法与装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510997614.6A CN105389401B (zh) | 2015-12-25 | 2015-12-25 | 数据库性能测试方法与装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105389401A CN105389401A (zh) | 2016-03-09 |
CN105389401B true CN105389401B (zh) | 2019-05-31 |
Family
ID=55421691
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510997614.6A Active CN105389401B (zh) | 2015-12-25 | 2015-12-25 | 数据库性能测试方法与装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105389401B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105912681A (zh) * | 2016-04-14 | 2016-08-31 | 国家电网公司 | 电力营销用数据库老化测试方法及系统 |
CN106445763A (zh) * | 2016-09-09 | 2017-02-22 | 中国南方电网有限责任公司电网技术研究中心 | 配用电大数据平台测试方法和系统 |
CN111190918B (zh) * | 2019-12-25 | 2020-12-08 | 中科驭数(北京)科技有限公司 | 基于计算流图的数据库访问方法及装置 |
CN114610632A (zh) * | 2022-03-21 | 2022-06-10 | 阿里巴巴(中国)有限公司 | 数据库压测方法、装置及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103425683A (zh) * | 2012-05-18 | 2013-12-04 | 上海宝信软件股份有限公司 | 数据库性能测试系统 |
CN103729361A (zh) * | 2012-10-12 | 2014-04-16 | 百度在线网络技术(北京)有限公司 | 一种数据库性能测试方法及装置 |
CN104202220A (zh) * | 2014-09-19 | 2014-12-10 | 北京国双科技有限公司 | 压力测试方法和装置 |
CN105138685A (zh) * | 2015-09-17 | 2015-12-09 | 福建新大陆软件工程有限公司 | 一种面向HBase的性能测试系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101132560B1 (ko) * | 2010-06-09 | 2012-04-03 | 강원대학교산학협력단 | 로봇 소프트웨어 컴포넌트를 위한 시뮬레이션 기반 인터페이스 테스팅 자동화 시스템 및 그 방법 |
US9740760B2 (en) * | 2014-04-11 | 2017-08-22 | Bank Of America Corporation | Method for tracking differences between production and development databases to perform an automatic synchronization |
-
2015
- 2015-12-25 CN CN201510997614.6A patent/CN105389401B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103425683A (zh) * | 2012-05-18 | 2013-12-04 | 上海宝信软件股份有限公司 | 数据库性能测试系统 |
CN103729361A (zh) * | 2012-10-12 | 2014-04-16 | 百度在线网络技术(北京)有限公司 | 一种数据库性能测试方法及装置 |
CN104202220A (zh) * | 2014-09-19 | 2014-12-10 | 北京国双科技有限公司 | 压力测试方法和装置 |
CN105138685A (zh) * | 2015-09-17 | 2015-12-09 | 福建新大陆软件工程有限公司 | 一种面向HBase的性能测试系统 |
Also Published As
Publication number | Publication date |
---|---|
CN105389401A (zh) | 2016-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105389401B (zh) | 数据库性能测试方法与装置 | |
US20160004621A1 (en) | Proactive impact measurement of database changes on production systems | |
Olbrich et al. | Are all code smells harmful? A study of God Classes and Brain Classes in the evolution of three open source systems | |
CN105138685B (zh) | 一种面向HBase的性能测试系统 | |
US8046749B1 (en) | Analysis of a sequence of data in object-oriented environments | |
CN104933115B (zh) | 一种多维分析方法和系统 | |
KR20120030320A (ko) | 의존도 데이터로부터 의존도 맵들의 발생 | |
WO2017107571A1 (zh) | 一种基于用户管理应用行为的应用质量判别方法及系统 | |
CN106294075A (zh) | 一种对sql进行监控的方法、装置及系统 | |
US8984023B2 (en) | Monitoring stored procedure execution | |
CN113396395A (zh) | 有效评估日志模式的方法 | |
CN107480268A (zh) | 数据查询方法及装置 | |
CN115934680A (zh) | 一站式大数据分析处理系统 | |
CN109508267A (zh) | 一种服务器硬件配置检测方法、装置、设备以及存储介质 | |
CN110096396A (zh) | 分组测试的控制方法、分布式应用系统及存储介质 | |
CN108897686A (zh) | 全分录自动化测试方法和装置 | |
CN110134583A (zh) | 软件测试及数据处理方法及装置 | |
US20210089435A1 (en) | Open Data Protocol Performance Test Automation Intelligence (OPT-AI) | |
CN109992500A (zh) | 应用的接口测试方法、装置和计算机可读存储介质 | |
CN109522179B (zh) | 服务器运行状态的监控方法、装置、处理器及服务器 | |
CN106649078B (zh) | 应用接口测试方法及装置 | |
CN111124372A (zh) | 一种简化开发图表前后端设计方法及系统 | |
CN116527553A (zh) | 一种交换机自动化测试报告的处理方法、系统及存储介质 | |
KR101039874B1 (ko) | 정보통신 통합플랫폼 테스트 시스템 | |
Klein et al. | Application-Specific Evaluation of No SQL Databases |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20220726 Address after: Room 801, 8th floor, No. 104, floors 1-19, building 2, yard 6, Jiuxianqiao Road, Chaoyang District, Beijing 100015 Patentee after: BEIJING QIHOO TECHNOLOGY Co.,Ltd. Address before: 100088 room 112, block D, 28 new street, new street, Xicheng District, Beijing (Desheng Park) Patentee before: BEIJING QIHOO TECHNOLOGY Co.,Ltd. Patentee before: Qizhi software (Beijing) Co.,Ltd. |