CN116204396A

CN116204396A - 一种针对分析型数据库性能的测试方法和装置

Info

Publication number: CN116204396A
Application number: CN202310126553.0A
Authority: CN
Inventors: 魏凯; 姜春宇; 马鹏玮; 王超伦; 田稼丰; 刘思源; 杨佳星
Original assignee: China Academy of Information and Communications Technology CAICT
Current assignee: China Academy of Information and Communications Technology CAICT
Priority date: 2023-02-16
Filing date: 2023-02-16
Publication date: 2023-06-02

Abstract

本发明公开了一种针对分析型数据库性能的测试方法和装置，能够获取目标数据库的测试场景，其中测试场景包括测试数据表结构和与测试数据表结构相对应的测试例，根据测试数据表结构确定测试数据，并将测试数据导入目标数据库，根据测试例对导入测试数据的目标数据库进行负载测试，测试完成后，能够得到各项度量指标，并计算性能指数和性价比指数，结合性能指数和性价比指数判定目标数据库性能的优异性。

Description

一种针对分析型数据库性能的测试方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种针对分析型数据库性能的测试方法和装置。

背景技术

随着科技发展，信息化进程提速。受信息量爆发式增长、本土厂商产品竞争力提升、国产替代进程加速等因素的影响，云服务技术受到广泛关注和应用，近年来国内数据库市场正处在蓬勃发展期。

分析型数据库是数据库产品一个重要的分支，是面向分析应用的数据库，与传统的数据库不同，它可以对数据进行在线统计、数据在线分析、随即查询，进而发掘信息数据价值。

分析型数据库的各项性能指标事关数据库的稳定和可靠，因此其性能的测定尤为重要，如何对数据库进行标准化的性能测试并建立一套标准化的衡量标准成为了业界关注的问题。

针对分析型数据库性能的测试，传统的方法一般采用TPC-DS测试方法，但这种测试方法存在不能提供全流程的测试平台、不能覆盖多种应用场景、难以进行横向比较的缺点。

发明内容

本发明提供一种针对分析型数据库性能的测试方法和装置，能够对被测数据库实现多种应用场景的测量并自行得到测试结果。

第一方面，本发明提供一种针对分析型数据库性能的测试方法，包括：

获取目标数据库的测试场景；

所述测试场景包括测试数据表结构和与所述测试数据表结构相对应的测试例；

根据所述测试数据表结构确定测试数据，并将所述测试数据导入所述目标数据库；

根据所述测试例对导入所述测试数据的目标数据库进行负载测试，得到测试结果。

优选地，所述根据所述测试数据表结构确定测试数据包括：

根据所述测试数据表结构确定原始数据和测试数据表结构之间的业务逻辑关系，根据所述原始数据和所述业务逻辑关系确定测试数据。

优选地，根据所述测试例对导入所述测试数据的目标数据库进行负载测试，得到测试结果包括：

通过执行所述测试例，以基于预设的度量指标对所述测试数据进行检验，得到与所述预设的度量指标相对应的度量指数，根据所述度量指数确定测试结果。

优选地，所述度量指标包括：

配置数据规模、客户端并发量、SQL完成度、数据规模的基准配置、数据导入时间、串行测试总时间、并发测试总时间、使用CPU总核数和使用内存总量。

优选地，所述根据所述度量指数确定测试结果包括：

根据所述度量指数确定所述性能指数；

根据所述度量指数和所述性能指数确定所述性价比指数；

根据所述性能值数和所述性价比指数确定所述目标数据库的测试结果。

优选地，所述根据所述度量指数确定所述性能指数通过下述公式计算得到：

其中Perfoamance为性能指数，Allocation为配置数据规模，threadNum为客户端并发量，SQL finish degree％为SQL完成度，Standard为数据规模的基准配置，L(cost)为数据导入时间，Sum P(cost)为串行测试总时间，Sum T(cost)为并发测试总时间。

优选地，所述根据所述度量指数和所述性能指数确定所述性价比指数通过下述公式进行计算：

CP＝Performance/{Sum(Cores)*Sum(Memory)}

其中CP为性价比指数，Sum(Cores)为使用CPU总核数，Sum(Memory)为使用内存总量。

第二方面，本发明提供一种针对分析型数据库性能的测试装置，包括：

测试场景模块，用于获取目标数据库的测试场景；

输入模块，用于将测试数据导入所述目标数据库；

测试模块，对导入所述测试数据的目标数据库进行负载测试；

结果输出模块，用于得到测试结果。

第三方面，本发明提供了一种可读介质，包括执行指令，当电子设备的处理器执行所述执行指令时，所述电子设备执行如第一方面中任一所述的方法。

第四方面，本发明提供了一种电子设备，包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行如第一方面中任一所述的方法。

本发明提供了一种针对分析型数据库性能的测试方法和装置，通过选择预先设定的测试场景或自定义的测试场景并进行测试数据的生成，测试数据生成完毕并导入被测数据库后，对被测数据库通过执行与测试场景相应的SQL用例的方式进行负载测试。测试完成后，能够得到各项度量指标，并计算性能指数和性价比指数，实现各个测试场景中各项指数的横向比较。

上述的非惯用的优选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

为了更清楚地说明本发明实施例或现有的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的一种针对分析型数据库性能的测试方法的示意图；

图2为本发明一实施例提供的另一种针对分析型数据库性能的测试方法的示意图；

图3为本发明一实施例提供的一种针对分析型数据库性能的测试装置的示意图；

图4为本发明一实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

分析型数据库主要是用于在大量复杂数据中分析规律和用途的数据库，一般存储的数据时间跨度长，数据量大，对实时性要求不高，通过查询分析规律趋势，用于产品决策等。

分析型数据库的各项性能指标事关数据库的稳定和可靠，针对分析型数据库性能的测试，传统的方法一般采用TPC-DS测试方法，TPC-DS采用星型、雪花型等多维数据模式组成的测试集，这个测试集包含对大数据集的统计、报表生成、联机查询、数据挖掘等复杂应用，测试用的数据和值是有倾斜的，与真实数据一致。可以说TPC-DS是与真实场景非常接近的一个测试集，也是难度较大的一个测试集，但是TPC-DS测试方法针对分析型数据库稍显不足，不仅较为耗时，而且无法覆盖多个测试场景。

有鉴于此，本发明提供一种针对分析型数据库性能的测试方法。参见图1所示，为本发明提供的一种针对分析型数据库性能的测试方法的具体实施例。本实施例中，所述方法包括：

步骤101、获取目标数据库的测试场景；

本测试场景可以预先设定或者按照需求自定义。

每个测试场景包括一组测试数据表结构和与此测试数据表结构相对应的测试例，这里的测试例即为本领域常用的测试SQL用例，其中SQL(Structured Query Language)译为“结构化查询语言”，是一种主要用于对数据库进行查询、操作、控制、定义等行为的计算机语言，本测试例中包含SQL语句，进而通过执行此测试例能够对数据库进行查询、操作、控制或者定义。

步骤102、确定测试数据，并将测试数据导入目标数据库；

根据步骤101中的测试数据表结构确定测试数据，测试数据表结构包含了原始数据和测试数据表结构之间的业务逻辑关系，根据原始数据和业务逻辑关系确定测试数据。

上述原始数据和测试数据表结构之间的业务逻辑关系可以为：测试数据表结构中原始数据的数列、记录、可辨识联合、引用等基本类型的构成。

步骤103、根据测试例对目标数据库进行负载测试，确定度量指数；

通过执行与测试数据表结构相对应的测试例，以基于预设的度量指标对导入目标数据库的测试数据进行检验，得到与预设的度量指标相对应的度量指数。

其中度量指标包括：配置数据规模、客户端并发量、SQL完成度、数据规模的基准配置、数据导入时间、串行测试总时间、并发测试总时间、使用CPU总核数和使用内存总量、CPU使用率、内存使用率、IO使用率等。

其中负载测试按照测试场景的不同可以应用多条测试例，例如统计查询语句、报表查询、特定条件查询、语法测试、性能测试等。

语法测试考察点可以包含：

聚集函数，类型转换，字符串拼接，链接查询，去重，数学函数，分组排序，合并操作符，条件表达式函数，条件选择，正则表达式，exists关键字,窗口分析函数。

性能测试考察点可以包含：

连接查询性能，分组性能，去重，分析函数性能测试，聚合性能，排序性能，关联子查询性能，减法测试，交集测试等。

步骤104、根据度量指数确定性能指数。

通过执行步骤103，得到与度量指标相对应的度量指数，将度量指数带入下列公式，计算得到性能指数，性能指数越高，则目标数据库的性能越佳。

需要解释的是：以测试场景为精准营销为例，假设用户数量为30000000，产品数量为1000，则standard为30000000×1000。

Allocation与实际配置数据量相关，假设用户数量为3000，产品数量设置为10则Allocation为3000×10。

SQL finish degree％是指在测试过程中，通过执行测试例中的SQL语句，超时执行或语法不兼容执行失败的SQL记为失败，同时根据并发数和轮询次数，与SQL通过乘积计算SQL总量，成功执行的SQL与SQL总量的比值即为SQL完成度。

图1所示仅为本发明所述方法的基础实施例，在其基础上进行一定的优化和拓展，还能够得到所述方法的其他优选实施例。

如图2所示，为本发明所述一种针对分析型数据库性能的测试方法的另一个具体实施例。本实施例在前述实施例的基础上进行进一步的叙述。本实施例中步骤201-步骤204与前述的实施例中步骤101-步骤104相同，这里不再赘述，本实施例中，所述方法包括以下步骤：

步骤201、获取目标数据库的测试场景；

步骤202、确定测试数据，并将测试数据导入目标数据库；

步骤203、根据测试例对目标数据库进行负载测试，确定度量指数；

步骤204、根据度量指数确定性能指数；

步骤205、根据度量指数和性能指数确定性价比指数。

根据步骤203中的度量指数和步骤204中的性能指数通过下述公式计算得到性价比指数。

CP＝Performance/{Sum(Cores)*Sum(Memory)}

性价比指数越高则目标数据库的性能越佳，即在使用CPU总核数和内存总量不变的情况下，目标数据库的性能越佳；或者在目标数据库的性能不变的情况下，使用的CPU总核数和内存总量越少；又或者目标数据库性能越佳，使用的CPU总核数和内存总量越少。

为了完成分析型数据库系统的性能测试，需要测试数据库、测试查询、以及正确计算测试结果这三个部分帮助完成。如何高效地将数据生成、查询生成和结果生成这三个部分的工作整合到一起，综合实施例1与实施例2，解决了这个整合问题，测试过程中将根据预设或者自定义的测试场景，确定测试数据，执行测试场景下的测试例，对导入测试数据的目标数据库进行负载测试，测试例中含有对应测试场景的SQL语句，SQL语句能对测试数据中的数据进行分析，以测试被测数据库的度量指标，测定与度量指标相对应的度量指数，通过度量指数进而计算得到性能指数和性价比指数，性能指数和性价比指数即为目标数据库的测试结果，结合性能指数和性价比指数判定目标数据库性能的优异性。

如图3所示，为本发明所述一种针对分析型数据库性能的测试装置的一个具体实施例。本实施例所述装置，即用于执行图1～2所述方法的实体装置。其技术方案本质上与上述实施例一致，上述实施例中的相应描述同样适用于本实施例中。本实施例中所述装置包括：

测试场景模块301，用于获取目标数据库的测试场景；

输入模块302，用于将测试数据导入目标数据库；

测试模块303，对导入测试数据的目标数据库进行负载测试；

结果输出模块304，用于得到测试结果。

另外在图3所示实施例的基础上，优选的，还包括：

测试场景模块301，用于获取目标数据库的测试场景，所述测试场景包括测试数据表结构和与测试数据表结构相对应的测试例。

输入模块302包括：

数据初始化单元312，用于根据所述测试数据表结构确定原始数据和测试数据表结构之间的业务逻辑关系，根据所述原始数据和所述业务逻辑关系确定测试数据。

驱动管理单元322，用于将所述测试数据导入目标数据库。

还包括：

测试模块303，执行所述测试例，以基于预设的度量指标对测试数据进行检验，得到与预设的度量指标相对应的度量指数。

结果输出模块304包括：

结果计算单元314，根据所述度量指数确定性能指数，根据所述度量指数和所述性能指数确定性价比指数。

前端展示单元324，用于形成图形化用户界面。具有查看测试结果报告，即显示计算结果，查看测试过程中CPU，内存，IO的负载曲线等功能。用户也可使用前端展示单元324进行测试任务管理、测试场景选择、测试数据量配置、测试并发度和轮训次数配置。

实施例1-实施例3所述的一种针对分析型数据库性能的测试方法和装置恰好提供了一个全流程的测试平台和测试方法，从数据生成—查询生成—结果生成，整个测试过程显著地减少了测试代价，帮助我们更加充分、系统地完成分析型数据库的测试，增加分析型数据库的可靠性，提高开发效率。并且，此测试方法和装置完全适应多用应用场景，也可以自定义测试场景，应用更加简介便利，方便对各种测试场景下的各项数据指标进行横向比较，更加方便对这种数据量大的分析型数据库的测试、分析和优化。

图4是本发明实施例提供的一种电子设备的结构示意图。在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放执行指令。具体地，执行指令即可被执行的计算机程序。存储器可以包括内存和非易失性存储器，并向处理器提供执行指令和数据。

在一种可能实现的方式中，处理器从非易失性存储器中读取对应的执行指令到内存中然后运行，也可从其它设备上获取相应的执行指令，以在逻辑层面上形成针对分析型数据库性能的测试装置。处理器执行存储器所存放的执行指令，以通过执行的执行指令实现本发明任一实施例中提供的针对分析型数据库性能的测试方法。

上述如本发明图3所示实施例提供的针对分析型数据库性能的测试装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(CentralProcessing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

本发明实施例还提出了一种可读介质，该可读存储介质存储有执行指令，存储的执行指令被电子设备的处理器执行时，能够使该电子设备执行本发明任一实施例中提供的针对分析型数据库性能的测试方法，并具体用于执行如图1或图2所示的方法。

前述各个实施例中所述的电子设备可以为计算机。

本领域内的技术人员应明白，本发明的实施例可提供为方法或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例，或软件和硬件相结合的形式。

本发明中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims

1.一种针对分析型数据库性能的测试方法，其特征在于，包括：

获取目标数据库的测试场景；

2.根据权利要求1所述的方法，其特征在于，所述根据所述测试数据表结构确定测试数据包括：

3.根据权利要求1所述的方法，其特征在于，根据所述测试例对导入所述测试数据的目标数据库进行负载测试，得到测试结果包括：

4.根据权利要求3所述的方法，其特征在于，所述度量指标包括：

5.根据权利要求3所述的方法，其特征在于，所述根据所述度量指数确定测试结果包括：

根据所述度量指数确定所述性能指数；

根据所述度量指数和所述性能指数确定所述性价比指数；

6.根据权利要求5所述的方法，其特征在于，所述根据所述度量指数确定所述性能指数通过下述公式计算得到：

7.根据权利要求5所述的方法，其特征在于，所述根据所述度量指数和所述性能指数确定所述性价比指数通过下述公式进行计算：

CP＝Performance/{Sum(Cores)*Sum(Memory)}

8.一种针对分析型数据库性能的测试装置，其特征在于，包括：

测试场景模块，用于获取目标数据库的测试场景；

输入模块，用于将测试数据导入所述目标数据库；

结果输出模块，用于得到测试结果。

9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7任一所述的一种针对分析型数据库性能的测试方法。

10.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-7任一所述的一种针对分析型数据库性能测试的方法。