CN110008112B - 模型训练方法和装置、业务测试方法和装置 - Google Patents

模型训练方法和装置、业务测试方法和装置 Download PDF

Info

Publication number
CN110008112B
CN110008112B CN201910110173.1A CN201910110173A CN110008112B CN 110008112 B CN110008112 B CN 110008112B CN 201910110173 A CN201910110173 A CN 201910110173A CN 110008112 B CN110008112 B CN 110008112B
Authority
CN
China
Prior art keywords
tested
service
pressure test
test result
result data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910110173.1A
Other languages
English (en)
Other versions
CN110008112A (zh
Inventor
史灵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Advanced New Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced New Technologies Co Ltd filed Critical Advanced New Technologies Co Ltd
Priority to CN201910110173.1A priority Critical patent/CN110008112B/zh
Publication of CN110008112A publication Critical patent/CN110008112A/zh
Application granted granted Critical
Publication of CN110008112B publication Critical patent/CN110008112B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3692Test management for test results analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Abstract

本申请实施例提供了一种模型训练方法和装置、业务测试方法和装置,其中,业务测试方法,包括:从用于运行待测业务的各台待测设备中选取目标设备;获取目标设备的针对待测业务的压力测试结果数据;基于目标设备的针对待测业务的压力测试结果数据和待测业务对应的压测结果预测模型,预测各台待测设备的针对待测业务的压力测试结果数据。

Description

模型训练方法和装置、业务测试方法和装置
技术领域
本申请涉及计算机技术领域,尤其涉及一种模型训练方法和装置、业务测试方法和装置。
背景技术
目前各类业务上线后,需要对业务进行压力测试,以评估运行该业务的设备能够承受的最大访问量,以及评估运行该业务的设备在最大访问量下的性能指标。
目前对业务进行压力测试的主要方式是,在业务低峰期,调用线上全部运行该业务的设备进行压力测试,这种测试方式需要调用线上全部设备,具有所需的设备成本高的问题。
发明内容
本申请实施例的目的是提供一种模型训练方法和装置、业务测试方法和装置,以减少业务压力测试所需的设备成本。
为达到上述技术目的,本申请实施例是这样实现的:
本申请实施例提供了一种业务测试方法,包括:从用于运行待测业务的各台待测设备中选取目标设备;获取所述目标设备的针对所述待测业务的压力测试结果数据;基于所述目标设备的针对所述待测业务的压力测试结果数据和所述待测业务对应的压测结果预测模型,预测所述各台待测设备的针对所述待测业务的压力测试结果数据。
本申请实施例提供了一种模型训练方法,包括:获取用于运行待测业务的各台待测设备的针对所述待测业务的历史压力测试结果数据;在所述各台待测设备的历史压力测试结果数据中选取单台待测设备的历史压力测试结果数据;基于所述各台待测设备的历史压力测试结果数据和所述单台待测设备的历史压力测试结果数据,训练所述待测业务对应的压测结果预测模型。
本申请实施例提供了一种业务测试方法,包括:从用于运行待测业务的各台待测设备中选取目标设备;获取所述目标设备的针对所述待测业务的压力测试结果数据;根据所述目标设备的针对所述待测业务的压力测试结果数据和所述待测业务对应的压测结果预测模型,预测所述各台待测设备的针对所述待测业务的压力测试结果数据;其中,所述压测结果预测模型根据上述的方法训练得到。
本申请实施例提供了一种模型训练方法,包括:在用于运行待测业务的多台业务设备中选取多台样本设备,并在所述多台样本设备中选取单台样本设备;获取所述多台样本设备的针对所述待测业务的历史压力测试结果数据、所述单台样本设备的针对所述待测业务的历史压力测试结果数据和所述样本设备的数量;基于所述多台样本设备的历史压力测试结果数据、所述单台样本设备的历史压力测试结果数据和所述样本设备的数量,训练所述待测业务对应的压测结果预测模型。
本申请实施例提供了一种业务测试方法,包括:从用于运行待测业务的各台待测设备中选取目标设备;获取所述目标设备的针对所述待测业务的压力测试结果数据;根据所述目标设备的针对所述待测业务的压力测试结果数据、所述各台待测设备的数量、以及所述待测业务对应的压测结果预测模型,预测所述各台待测设备的针对所述待测业务的压力测试结果数据;其中,所述压测结果预测模型根据上述的方法训练得到,所述待测设备从所述多台业务设备中选取得到。
本申请实施例提供了一种业务测试装置,包括:第一设备选取模块,用于从用于运行待测业务的各台待测设备中选取目标设备;第一数据获取模块,用于获取所述目标设备的针对所述待测业务的压力测试结果数据;第一结果预测模块,用于基于所述目标设备的针对所述待测业务的压力测试结果数据和所述待测业务对应的压测结果预测模型,预测所述各台待测设备的针对所述待测业务的压力测试结果数据。
本申请实施例提供了一种模型训练装置,包括:第一获取模块,用于获取用于运行待测业务的各台待测设备的针对所述待测业务的历史压力测试结果数据;第一选取模块,用于在所述各台待测设备的历史压力测试结果数据中选取单台待测设备的历史压力测试结果数据;第一训练模块,用于基于所述各台待测设备的历史压力测试结果数据和所述单台待测设备的历史压力测试结果数据,训练所述待测业务对应的压测结果预测模型。
本申请实施例提供了一种业务测试装置,包括:第二设备选取模块,用于从用于运行待测业务的各台待测设备中选取目标设备;第二数据获取模块,用于获取所述目标设备的针对所述待测业务的压力测试结果数据;第二结果预测模块,用于根据所述目标设备的针对所述待测业务的压力测试结果数据和所述待测业务对应的压测结果预测模型,预测所述各台待测设备的针对所述待测业务的压力测试结果数据;其中,所述压测结果预测模型根据上述的装置训练得到。
本申请实施例提供了一种模型训练装置,包括:第二选取模块,用于在用于运行待测业务的多台业务设备中选取多台样本设备,并在所述多台样本设备中选取单台样本设备;第二获取模块,用于获取所述多台样本设备的针对所述待测业务的历史压力测试结果数据、所述单台样本设备的针对所述待测业务的历史压力测试结果数据和所述样本设备的数量;第二训练模块,用于基于所述多台样本设备的历史压力测试结果数据、所述单台样本设备的历史压力测试结果数据和所述样本设备的数量,训练所述待测业务对应的压测结果预测模型。
本申请实施例提供了一种业务测试装置,包括:第三设备选取模块,用于从用于运行待测业务的各台待测设备中选取目标设备;第三数据获取模块,用于获取所述目标设备的针对所述待测业务的压力测试结果数据;第三结果预测模块,用于根据所述目标设备的针对所述待测业务的压力测试结果数据、所述各台待测设备的数量、以及所述待测业务对应的压测结果预测模型,预测所述各台待测设备的针对所述待测业务的压力测试结果数据;其中,所述压测结果预测模型根据上述的装置训练得到,所述待测设备从所述多台业务设备中选取得到。
本申请实施例提供了一种电子设备,包括:处理器;以及被安排成存储计算机可执行指令的存储器,所述计算机可执行指令在被执行时使所述处理器实现上述的业务测试方法或者模型训练方法的步骤。
本申请实施例提供了一种存储介质,用于存储计算机可执行指令,所述计算机可执行指令在被执行时实现上述的业务测试方法或者模型训练方法的步骤。
通过本申请实施例利用压测结果预测模型预测压测结果时,通过获取单台待测设备的压力测试结果数据,能够预测得到各台待测设备的压力测试结果数据,无需调用线上全部设备,所需的设备成本低,能够达到减少业务压力测试所需的设备成本的效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的业务测试方法的应用场景示意图;
图2为本申请一实施例提供的业务测试方法的流程示意图;
图3为本申请另一实施例提供的业务测试方法的流程示意图;
图4为本申请另一实施例提供的模型训练方法的流程示意图;
图5为本申请另一实施例提供的模型训练方法的流程示意图;
图6为本申请一实施例提供的业务测试装置的结构示意图;
图7为本申请一实施例提供的模型训练装置的结构示意图;
图8为本申请一实施例提供的业务测试装置的结构示意图;
图9为本申请一实施例提供的模型训练装置的结构示意图;
图10为本申请一实施例提供的业务测试装置的结构示意图;
图11为本申请一实施例提供的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
考虑到目前对业务进行压力测试需要调用线上全部设备,所需的设备成本高,本申请实施例提供了一种模型训练方法和装置、业务测试方法和装置,以减少业务压力测试所需的设备成本。
图1为本申请一实施例提供的业务测试方法的应用场景示意图,如图1所示,该场景包括多个待测设备100,待测设备100可以用于运行同一种业务,比如均用于运行支付业务,该场景还包括压测设备200,压测设备200可以与每台待测设备100通信,本申请实施例中的业务测试方法可以由压测设备200执行。当然,在图1所示的场景中,也可以不包含压测设备200,本申请实施例中的方法也可以由待测设备100执行,这里不做限定。
图2为本申请一实施例提供的业务测试方法的流程示意图,如图2所示,该方法包括以下步骤:
步骤S202,从用于运行待测业务的各台待测设备中选取目标设备;
步骤S204,获取目标设备的针对待测业务的压力测试结果数据;
步骤S206,基于目标设备的针对待测业务的压力测试结果数据和待测业务对应的压测结果预测模型,预测各台待测设备的针对待测业务的压力测试结果数据。
本申请实施例中,首先从用于运行待测业务的各台待测设备中选取目标设备,然后获取目标设备的针对待测业务的压力测试结果数据,最后基于目标设备的针对待测业务的压力测试结果数据和待测业务对应的压测结果预测模型,预测各台待测设备的针对待测业务的压力测试结果数据。可见,通过本申请实施例预测压测结果时,无需调用线上全部设备,所需的设备成本低,能够达到减少业务压力测试所需的设备成本的效果。
上述步骤S202中,从用于运行待测业务的各台待测设备中选取目标设备,可以为,从用于运行待测业务的各台待测设备中随机选取一台待测设备作为目标设备,或者,按照轮询的方式,从用于运行待测业务的各台待测设备中选取一台待测设备作为目标设备,比如,前次选取的目标设备为设备A,则这次选取与设备A编号相邻的设备B作为目标设备。在一个实施例中,可以依次询问各台待测设备是否空闲,将空闲的待测设备选取为目标设备。在另一个实施例中,还可以根据各台待测设备的负载,选取负载最小的待测设备作为目标设备。
上述步骤S204中,获取目标设备的针对待测业务的压力测试结果数据。本申请实施例中,可以对目标设备进行针对待测业务的压力测试,并获取目标设备的针对待测业务的压力测试结果数据。
具体测试过程可以为:在目标设备上运行待测业务,设定待测业务对应的最大请求访问量,在目标设备上按照该最大请求访问量访问待测业务,将目标设备被访问时的各个设备性能的值,作为目标设备的针对待测业务的压力测试结果数据。
本申请实施例中,压力测试结果数据可以包括目标设备的各个设备性能的值,各个设备性能的值包括但不限于load值、cpu占用量、线程池大小、等待线程的数量、服务调用量和服务调用相应时间等。表1为压力测试结果数据的一种示意,如表1所示,目标设备的针对待测业务的压力测试结果数据包括load值、cpu占用量、线程池大小、等待线程的数量、服务调用量和服务调用相应时间。
表1
Figure BDA0001967789200000061
本实施例中,训练有待测业务对应的压测结果预测模型。一个情况下,待测业务对应的压测结果预测模型可以通过以下步骤得到:
(a1)获取上述各台待测设备的针对待测业务的历史压力测试结果数据;
(a2)在上述各台待测设备的历史压力测试结果数据中选取单台待测设备的历史压力测试结果数据;
(a3)基于上述各台待测设备的历史压力测试结果数据和该单台待测设备的历史压力测试结果数据,训练待测业务对应的压测结果预测模型。
具体地,假设上述各台待测设备的数量为100台。本实施例中,首先获取这100台设备的针对待测业务的历史压力测试结果数据,然后,在这100台设备中选取一台待测设备,并获取这一台待测设备的历史压力测试结果数据,最后,基于这100台设备的历史压力测试结果数据和这一台待测设备的历史压力测试结果数据,训练得到待测业务对应的压测结果预测模型。
具体训练过程可以为,将压测结果预测模型抽象为公式形式,该公式可以示意表达为Y=a*A,其中,A表示单台待测设备的针对待测业务的历史压力测试结果数据,a为A的系数,Y表示除了该单台待测设备以外的各台待测设备(也即余下的99台待测设备)的针对待测业务的历史压力测试结果数据。在训练时,将上述选取出来的这一台待测设备的历史压力测试结果数据和该单台待测设备以外的各台待测设备(也即余下的99台待测设备)的历史压力测试结果数据代入该公式,从而求解的到a。
在求解时,若a中包含多个未知数,则需要代入多组数据,每组数据均包括上述一台待测设备的历史压力测试结果数据和该单台待测设备以外的各台待测设备的历史压力测试结果数据,从而求解得到a中的各个未知数。在得到多组数据的过程中,每次选取出来的这一台待测设备可以为相同的设备,也可以为不同的设备,每次代入的该单台待测设备的历史压力测试结果数据和该单台待测设备以外的各台待测设备的历史压力测试结果数据可以根据同一次压力测试过程得到,也可以根据不同的压力测试过程得到。
比如,对各台待测设备进行一次针对待测业务的压力测试,并选取一个单台待测设备,从而得到一组数据,该组数据包括基于这次压力测试得到的该单台待测设备的历史压力测试结果数据和该单台待测设备以外的各台待测设备的历史压力测试结果数据。然后,再对各台待测设备进行一次针对待测业务的压力测试,并选取一个相同的或不同的单台待测设备,从而得到下一组数据。如此往复,得到多组数据。
另一个情况下,对各台待测设备进行一次针对待测业务的压力测试,并选取一个单台待测设备,从而得到一组数据,该组数据包括基于这次压力测试得到的该单台待测设备的历史压力测试结果数据和该单台待测设备以外的各台待测设备的历史压力测试结果数据。然后,重新选取一个单台待测设备,从而得到一组数据,该组数据包括基于这次压力测试得到的该重新选取的单台待测设备的历史压力测试结果数据和该重新选取的单台待测设备以外的各台待测设备的历史压力测试结果数据。如此往复,得到多组数据。
本实施例中,在求解系数a时,可以对系数a进行多次求解,直至相邻两次的求解结果满足设定的收敛要求,则确定系数a求解完成,将最后一次求解得到的系数a作为最终的求解结果。在系数a求解完成后,即确定待测业务对应的压测结果预测模型训练完成。
相应地,上述步骤S206中,基于目标设备的针对待测业务的压力测试结果数据和待测业务对应的压测结果预测模型,预测各台待测设备的针对待测业务的压力测试结果数据,可以为:将目标设备的针对待测业务的压力测试结果数据输入压测结果预测模型,以通过压测结果预测模型对目标设备的针对待测业务的压力测试结果数据进行运算,根据压测结果预测模型输出的运算结果,确定预测得到的各台待测设备的针对待测业务的压力测试结果数据。
以压测结果预测模型抽象为上述公式Y=a*A为例,在预测各台待测设备的针对待测业务的压力测试结果数据时,将目标设备的针对待测业务的压力测试结果数据作为参数A代入公式,由于系数a已知,因此压测结果预测模型对目标设备的针对待测业务的压力测试结果数据进行运算后,输出的运行结果为各台待测设备中除目标设备以外的各台待测设备的压力测试结果数据。因此本步骤中,将压测结果预测模型输出的运算结果和目标设备的针对待测业务的压力测试结果数据组合,作为预测得到的各台待测设备的针对待测业务的压力测试结果数据。
本实施例中,压测结果预测模型可以基于非线性回归方程训练得到。非线性回归方程包括但不限于logit回归方程等。比如,设定压测结果预测模型基于logit回归方程训练得到,将logit回归方程抽象为上述公式Y=a*A,对logit回归方程进行训练,得到压测结果预测模型。本申请实施例中的压测结果预测模型不限于基于非线性回归方程训练得到,还可以通过深度学习等方法得到,这里不做限制。
本实施例中,训练有待测业务对应的压测结果预测模型。另一个情况下,待测业务对应的压测结果预测模型可以通过以下步骤得到:
(b1)在用于运行待测业务的多台业务设备中选取多台样本设备,并在多台样本设备中选取单台样本设备;其中,上述的待测设备从该多台业务设备中选取得到;
(b2)获取多台样本设备的针对待测业务的历史压力测试结果数据、单台样本设备的针对待测业务的历史压力测试结果数据和样本设备的数量
(b3)基于多台样本设备的历史压力测试结果数据、单台样本设备的历史压力测试结果数据和样本设备的数量,训练待测业务对应的压测结果预测模型。
具体地,首先,在用于运行待测业务的多台业务设备中选取多台样本设备,比如,选取100台样本设备,并在这100台样本设备中选取单台样本设备。然后,获取这100台样本设备的针对待测业务的历史压力测试结果数据,获取该单台样本设备的针对待测业务的历史压力测试结果数据,并获取样本设备的数量为100。最后,基于这100台样本设备的历史压力测试结果数据和这一台样本设备的历史压力测试结果数据,以及样本设备的数量100,训练得到待测业务对应的压测结果预测模型。
具体训练过程可以为,将压测结果预测模型抽象为公式形式,该公式可以示意表达为Y=a*A+b*B,其中,A表示单台样本设备的针对待测业务的历史压力测试结果数据,a为A的系数,B表示样本设备的数量,b为B的系数,Y表示除了该单台样本设备以外的各台样本设备(也即余下的99台样本设备)的针对待测业务的历史压力测试结果数据。在训练时,将上述选取出来的这一台样本设备的历史压力测试结果数据、该单台样本设备以外的各台样本设备(也即余下的99台样本设备)的历史压力测试结果数据、以及样本设备的数量100代入该公式,从而求解的到a和b。
在求解时,若a或b中包含多个未知数,则需要代入多组数据,每组数据均包括上述一台样本设备的历史压力测试结果数据和该单台样本设备以外的各台样本设备的历史压力测试结果数据以及样本设备的数量,从而求解得到a和b中的各个未知数。在得到多组数据的过程中,每组数据中的样本设备的数量可以相同可以不同,每次选取出来的这一台样本设备可以为相同的设备,也可以为不同的设备,每次代入的该单台样本设备的历史压力测试结果数据和该单台样本设备以外的各台样本设备的历史压力测试结果数据可以根据同一次压力测试过程得到,也可以根据不同的压力测试过程得到。
比如,对各台样本设备进行一次针对待测业务的压力测试,并选取一个单台样本设备,并确定该次测试中样本设备的数量,从而得到一组数据,该组数据包括基于这次压力测试得到的该单台样本设备的历史压力测试结果数据和该单台样本设备以外的各台样本设备的历史压力测试结果数据,还包括该次测试中样本设备的数量。然后,再选取一批数量相同的或不同的样本设备,对各台样本设备进行一次针对待测业务的压力测试,并选取一个相同的或不同的单台样本设备,从而得到下一组数据。如此往复,得到多组数据。
另一个情况下,对各台样本设备进行一次针对待测业务的压力测试,并选取一个单台样本设备,并确定该次测试中样本设备的数量,从而得到一组数据,该组数据包括基于这次压力测试得到的该单台样本设备的历史压力测试结果数据和该单台样本设备以外的各台样本设备的历史压力测试结果数据,还包括该次测试中样本设备的数量。然后,重新选取一个单台样本设备,从而得到一组数据,该组数据包括基于这次压力测试得到的该重新选取的单台样本设备的历史压力测试结果数据和该重新选取的单台样本设备以外的全部样本设备的历史压力测试结果数据,还包括该次测试中全部样本设备的数量。如此往复,得到多组数据。这种方式中,每组数据中样本设备的数量相同。
又一个情况下,对各台样本设备进行一次针对待测业务的压力测试,并选取一个单台样本设备,并确定该次测试中样本设备的数量,从而得到一组数据,该组数据包括基于这次压力测试得到的该单台样本设备的历史压力测试结果数据和该单台样本设备以外的各台样本设备的历史压力测试结果数据,还包括该次测试中样本设备的数量。然后,重新选取一个单台样本设备,从而得到一组数据,该组数据包括基于这次压力测试得到的该重新选取的单台样本设备的历史压力测试结果数据和该重新选取的单台样本设备以外的部分样本设备的历史压力测试结果数据,还包括该部分样本设备的数量。如此往复,得到多组数据。这种方式中,每组数据中样本设备的数量可以不同。
本实施例中,在求解系数a时,可以对系数a进行多次求解,直至相邻两次的求解结果满足设定的收敛要求,则确定系数a求解完成,将最后一次求解得到的系数a作为最终的求解结果。在求解系数b时,可以对系数b进行多次求解,直至相邻两次的求解结果满足设定的收敛要求,则确定系数b求解完成,将最后一次求解得到的系数b作为最终的求解结果。在系数a和b求解完成后,即确定待测业务对应的压测结果预测模型训练完成。
相应地,上述步骤S206中,基于目标设备的针对待测业务的压力测试结果数据和待测业务对应的压测结果预测模型,预测各台待测设备的针对待测业务的压力测试结果数据,可以为:将目标设备的针对待测业务的压力测试结果数据和各台待测设备的数量输入压测结果预测模型,以通过压测结果预测模型对目标设备的针对待测业务的压力测试结果数据和各台待测设备的数量进行运算,根据压测结果预测模型输出的运算结果,确定预测得到的各台待测设备的针对待测业务的压力测试结果数据。
以压测结果预测模型抽象为上述公式Y=a*A+b*B为例,在预测各台待测设备的针对待测业务的压力测试结果数据时,将目标设备的针对待测业务的压力测试结果数据作为参数A代入公式,将各台待测设备的数量作为参数B代入公式,由于系数a和系数b已知,因此压测结果预测模型对目标设备的针对待测业务的压力测试结果数据进行运算后,输出的运行结果为各台待测设备中除目标设备以外的各台待测设备的压力测试结果数据。因此本步骤中,将压测结果预测模型输出的运算结果和目标设备的针对待测业务的压力测试结果数据组合,作为预测得到的各台待测设备的针对待测业务的压力测试结果数据。
本申请实施例中,上述的多台业务设备可以统称为设备集群,每台业务设备用于运行待测业务,上述的待测设备从该多台业务设备中选取得到,上述的样本设备也从该多台业务设备中选取得到。
由于样本设备和待测设备都位于同一个设备集群,因此样本设备和待测设备的设备性能基本一致,基于样本设备训练得到的模型可以运用在待测设备上。
在多台业务设备中选取待测设备时,待测设备和样本设备可以为同一台设备,也可以不为同一台设备,这里不做限定。比如,多台业务设备包括100台设备,训练模型时,选取80台设备作为样本设备,在执行图2中的方法时,选取90台设备作为待测设备,这90台设备可能包括样本设备。
本实施例中,压测结果预测模型可以基于非线性回归方程训练得到。非线性回归方程包括但不限于logit回归方程等。比如,设定压测结果预测模型基于logit回归方程训练得到,将logit回归方程抽象为上述公式Y=a*A+b*B,从而对logit回归方程进行训练,得到压测结果预测模型。本申请实施例中的压测结果预测模型不限于基于非线性回归方程训练得到,还可以通过深度学习等方法得到,这里不做限制。
综上,通过本申请实施例,能够利用压测结果预测模型对压力测试结果数据进行预测,无需调用线上全部设备,所需的设备成本低,能够达到减少业务压力测试所需的设备成本的效果,并且,由于本申请实施例不要求在指定时间段进行预测,比如不要求在业务低峰期进行预测,因此还具有节省时间成本的效果。并且,由于本申请实施例可以对单台待测设备进行压力测试,基于该单台待测设备的压测结果和压测结果预测模型就可以预测得到各台待测设备的压力测试结果数据,因此还具有节省人力成本的效果。
进一步地,图3为本申请另一实施例提供的业务测试方法的流程示意图,如图3所示,该方法在图2的基础上,还包括以下步骤:
步骤S208,根据预测得到的各台待测设备的针对待测业务的压力测试结果数据,调整用于运行待测业务的设备的数量。
具体地,各台待测设备的针对待测业务的压力测试结果数据包括各台待测设备的各个设备性能的值,根据各台待测设备的各个设备性能的值调整用于运行待测业务的设备的数量,可以为:判断各台待测设备的各个设备性能的值是否低于对应的预设性能阈值,若低于,则增多用于运行待测业务的设备的数量,若不低于,则维持用于运行待测业务的设备的数量不变,或者减少用于运行待测业务的设备的数量。
当各台待测设备的各个设备性能的值低于对应的预设性能阈值时,说明各台待测设备的设备性能较差,因此有必要增多运行待测业务的设备的数量,以适用针对待测业务的较多的访问请求。当各台待测设备的各个设备性能的值不低于对应的预设性能阈值时,说明各台待测设备的设备性能较好,因此可以维持运行待测业务的设备的数量不变,或者减少运行待测业务的设备的数量,以节省设备资源。
综上,本申请实施例具有以下优点:
(1)能够利用压测结果预测模型对压力测试结果数据进行预测,无需调用线上全部设备,所需的设备成本低,能够达到减少业务压力测试所需的设备成本的效果;
(2)由于本申请实施例不要求在指定时间段进行预测,比如不要求在业务低峰期进行预测,因此还具有节省时间成本的效果;
(3)由于本申请实施例可以对单台待测设备进行压力测试,基于该单台待测设备的压测结果和压测结果预测模型就可以预测得到各台待测设备的压力测试结果数据,因此还具有节省人力成本的效果。
本申请实施例还提供了一种模型训练方法,图4为本申请另一实施例提供的模型训练方法的流程示意图,如图4所示,该方法包括:
步骤S402,获取用于运行待测业务的各台待测设备的针对待测业务的历史压力测试结果数据;
步骤S404,在各台待测设备的历史压力测试结果数据中选取单台待测设备的历史压力测试结果数据;
步骤S406,基于各台待测设备的历史压力测试结果数据和单台待测设备的历史压力测试结果数据,训练待测业务对应的压测结果预测模型。
该流程的具体过程可以参见前述对动作(a1)至动作(a3)的解释,这里不再重复。通过图4中的方法,可以训练待测业务对应的压测结果预测模型,由于该压测结果预测模型基于各台待测设备的历史压力测试结果数据和单台待测设备的历史压力测试结果数据训练得到,因此在利用该模型预测各台待测设备的压力测试结果数据时,可以获取单台待测设备的压力测试结果数据,无需调用线上全部设备,所需的设备成本低,能够达到减少业务压力测试所需的设备成本的效果。
基于图4中训练得到的模型,本申请实施例还提供了一种业务测试方法,包括以下步骤:
(11)从用于运行待测业务的各台待测设备中选取目标设备;
(12)获取目标设备的针对待测业务的压力测试结果数据;
(13)根据目标设备的针对待测业务的压力测试结果数据和待测业务对应的压测结果预测模型,预测各台待测设备的针对待测业务的压力测试结果数据;
其中,压测结果预测模型根据图4所示的方法训练得到。
其中,步骤(13)中,根据目标设备的针对待测业务的压力测试结果数据和待测业务对应的压测结果预测模型,预测各台待测设备的针对待测业务的压力测试结果数据,可以为:将目标设备的针对待测业务的压力测试结果数据输入压测结果预测模型,以通过压测结果预测模型对目标设备的针对待测业务的压力测试结果数据进行运算,根据压测结果预测模型输出的运算结果,确定预测得到的各台待测设备的针对待测业务的压力测试结果数据。该步骤(13)可以参考前面对步骤S206的解释,这里不再重复。
通过上述步骤(11)至步骤(13),在利用该模型预测各台待测设备的压力测试结果数据时,可以获取单台待测设备的压力测试结果数据,无需调用线上全部设备,所需的设备成本低,能够达到减少业务压力测试所需的设备成本的效果。
本申请实施例还提供了一种模型训练方法,图5为本申请另一实施例提供的模型训练方法的流程示意图,如图5所示,该方法包括:
步骤S502,在用于运行待测业务的多台业务设备中选取多台样本设备,并在该多台样本设备中选取单台样本设备;
步骤S504,获取多台样本设备的针对待测业务的历史压力测试结果数据、单台样本设备的针对待测业务的历史压力测试结果数据和样本设备的数量;
步骤S506,基于多台样本设备的历史压力测试结果数据、单台样本设备的历史压力测试结果数据和样本设备的数量,训练待测业务对应的压测结果预测模型。
该流程的具体过程可以参见前述对动作(b1)至动作(b3)的解释,这里不再重复。通过图5中的方法,可以训练待测业务对应的压测结果预测模型,由于该压测结果预测模型基于各台样本设备的历史压力测试结果数据、单台样本设备的历史压力测试结果数据和样本设备的数量训练得到,因此在利用该模型预测各台待测设备的压力测试结果数据时,可以获取单台待测设备的压力测试结果数据和待测设备的数量,无需调用线上全部设备,所需的设备成本低,能够达到减少业务压力测试所需的设备成本的效果。
基于图5中训练得到的模型,本申请实施例还提供了一种业务测试方法,包括以下步骤:
(21)从用于运行待测业务的各台待测设备中选取目标设备;
(22)获取目标设备的针对待测业务的压力测试结果数据;
(23)根据目标设备的针对待测业务的压力测试结果数据、各台待测设备的数量、以及待测业务对应的压测结果预测模型,预测各台待测设备的针对待测业务的压力测试结果数据;
其中,压测结果预测模型根据图5所示的方法训练得到,待测设备从上述多台业务设备中选取得到。
其中,步骤(23)中,根据目标设备的针对待测业务的压力测试结果数据、各台待测设备的数量、以及待测业务对应的压测结果预测模型,预测各台待测设备的针对待测业务的压力测试结果数据,可以为:将目标设备的针对待测业务的压力测试结果数据和各台待测设备的数量输入压测结果预测模型,以通过压测结果预测模型对目标设备的针对待测业务的压力测试结果数据和各台待测设备的数量进行运算,根据压测结果预测模型输出的运算结果,确定预测得到的各台待测设备的针对待测业务的压力测试结果数据。该步骤(23)可以参考前面对步骤S206的解释,这里不再重复。
通过上述步骤(21)至步骤(23),在利用该模型预测各台待测设备的压力测试结果数据时,可以获取单台待测设备的压力测试结果数据和待测设备的数量,无需调用线上全部设备,所需的设备成本低,能够达到减少业务压力测试所需的设备成本的效果。
图6为本申请一实施例提供的业务测试装置的结构示意图,如图6所示,该装置包括:第一设备选取模块61,用于从用于运行待测业务的各台待测设备中选取目标设备;第一数据获取模块62,用于获取所述目标设备的针对所述待测业务的压力测试结果数据;第一结果预测模块63,用于基于所述目标设备的针对所述待测业务的压力测试结果数据和所述待测业务对应的压测结果预测模型,预测所述各台待测设备的针对所述待测业务的压力测试结果数据。
可选地,第一结果预测模块63具体用于:将所述目标设备的针对所述待测业务的压力测试结果数据输入所述压测结果预测模型,以通过所述压测结果预测模型对所述目标设备的针对所述待测业务的压力测试结果数据进行运算;根据所述压测结果预测模型输出的运算结果,确定预测得到的所述各台待测设备的针对所述待测业务的压力测试结果数据。
可选地,该装置还包括:第一模型训练模块,用于:获取所述各台待测设备的针对所述待测业务的历史压力测试结果数据;在所述各台待测设备的历史压力测试结果数据中选取单台待测设备的历史压力测试结果数据;基于所述各台待测设备的历史压力测试结果数据和所述单台待测设备的历史压力测试结果数据,训练所述待测业务对应的压测结果预测模型。
可选地,第一结果预测模块63具体用于:将所述目标设备的针对所述待测业务的压力测试结果数据和所述各台待测设备的数量输入所述压测结果预测模型,以通过所述压测结果预测模型对所述目标设备的针对所述待测业务的压力测试结果数据和所述各台待测设备的数量进行运算;根据所述压测结果预测模型输出的运算结果,确定预测得到的所述各台待测设备的针对所述待测业务的压力测试结果数据。
可选地,该装置还包括:第二模型训练模块,用于:在用于运行所述待测业务的多台业务设备中选取多台样本设备,并在所述多台样本设备中选取单台样本设备;其中,所述待测设备从所述多台业务设备中选取得到;获取所述多台样本设备的针对所述待测业务的历史压力测试结果数据、所述单台样本设备的针对所述待测业务的历史压力测试结果数据和所述样本设备的数量;基于所述多台样本设备的历史压力测试结果数据、所述单台样本设备的历史压力测试结果数据和所述样本设备的数量,训练所述待测业务对应的压测结果预测模型。
可选地,该装置还包括:调整模块,用于:根据预测得到的所述各台待测设备的针对所述待测业务的压力测试结果数据,调整用于运行所述待测业务的设备的数量。
可选地,所述压测结果预测模型基于非线性回归方程训练得到。
本申请实施例中的业务测试装置能够实现前述的业务测试方法实施例的各个过程,并达到相同的效果和功能,这里不再重复。
图7为本申请一实施例提供的模型训练装置的结构示意图,如图7所示,该装置包括:第一获取模块71,用于获取用于运行待测业务的各台待测设备的针对所述待测业务的历史压力测试结果数据;第一选取模块72,用于在所述各台待测设备的历史压力测试结果数据中选取单台待测设备的历史压力测试结果数据;第一训练模块73,用于基于所述各台待测设备的历史压力测试结果数据和所述单台待测设备的历史压力测试结果数据,训练所述待测业务对应的压测结果预测模型。
图7中的模型训练装置能够实现前述的模型训练方法实施例的各个过程,并达到相同的效果和功能,这里不再重复。
图8为本申请一实施例提供的业务测试装置的结构示意图,如图8所示,该装置包括:第二设备选取模块81,用于从用于运行待测业务的各台待测设备中选取目标设备;第二数据获取模块82,用于获取所述目标设备的针对所述待测业务的压力测试结果数据;第二结果预测模块83,用于根据所述目标设备的针对所述待测业务的压力测试结果数据和所述待测业务对应的压测结果预测模型,预测所述各台待测设备的针对所述待测业务的压力测试结果数据;其中,所述压测结果预测模型根据图7中的装置训练得到。
本申请实施例中的业务测试装置能够实现前述的业务测试方法实施例的各个过程,并达到相同的效果和功能,这里不再重复。
图9为本申请一实施例提供的模型训练装置的结构示意图,如图9所示,该装置包括:第二选取模块91,用于在用于运行待测业务的多台业务设备中选取多台样本设备,并在所述多台样本设备中选取单台样本设备;第二获取模块92,用于获取所述多台样本设备的针对所述待测业务的历史压力测试结果数据、所述单台样本设备的针对所述待测业务的历史压力测试结果数据和所述样本设备的数量;第二训练模块93,用于基于所述多台样本设备的历史压力测试结果数据、所述单台样本设备的历史压力测试结果数据和所述样本设备的数量,训练所述待测业务对应的压测结果预测模型。
图9中的模型训练装置能够实现前述的模型训练方法实施例的各个过程,并达到相同的效果和功能,这里不再重复。
图10为本申请一实施例提供的业务测试装置的结构示意图,如图10所示,该装置包括:第三设备选取模块1001,用于从用于运行待测业务的各台待测设备中选取目标设备;第三数据获取模块1002,用于获取所述目标设备的针对所述待测业务的压力测试结果数据;第三结果预测模块1003,用于根据所述目标设备的针对所述待测业务的压力测试结果数据、所述各台待测设备的数量、以及所述待测业务对应的压测结果预测模型,预测所述各台待测设备的针对所述待测业务的压力测试结果数据;其中,所述压测结果预测模型根据图9的装置训练得到,所述待测设备从所述多台业务设备中选取得到。
本申请实施例中的业务测试装置能够实现前述的业务测试方法实施例的各个过程,并达到相同的效果和功能,这里不再重复。
进一步地,本申请实施例还提供了一种电子设备,图11为本申请一实施例提供的电子设备的结构示意图,如图11所示,该电子设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上的处理器901和存储器902,存储器902中可以存储有一个或一个以上存储应用程序或数据。其中,存储器902可以是短暂存储或持久存储。存储在存储器902的应用程序可以包括一个或一个以上模块(图示未示出),每个模块可以包括对电子设备中的一系列计算机可执行指令。更进一步地,处理器901可以设置为与存储器902通信,在电子设备上执行存储器902中的一系列计算机可执行指令。电子设备还可以包括一个或一个以上电源903,一个或一个以上有线或无线网络接口904,一个或一个以上输入输出接口905,一个或一个以上键盘906等。
在一个具体的实施例中,电子设备包括有存储器,以及一个或一个以上的程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序可以包括一个或一个以上模块,且每个模块可以包括对电子设备中的一系列计算机可执行指令,且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令:
从用于运行待测业务的各台待测设备中选取目标设备;获取所述目标设备的针对所述待测业务的压力测试结果数据;基于所述目标设备的针对所述待测业务的压力测试结果数据和所述待测业务对应的压测结果预测模型,预测所述各台待测设备的针对所述待测业务的压力测试结果数据。
可选地,计算机可执行指令在被执行时,预测所述各台待测设备的针对所述待测业务的压力测试结果数据,包括:将所述目标设备的针对所述待测业务的压力测试结果数据输入所述压测结果预测模型,以通过所述压测结果预测模型对所述目标设备的针对所述待测业务的压力测试结果数据进行运算;根据所述压测结果预测模型输出的运算结果,确定预测得到的所述各台待测设备的针对所述待测业务的压力测试结果数据。
可选地,计算机可执行指令在被执行时,还包括:获取所述各台待测设备的针对所述待测业务的历史压力测试结果数据;在所述各台待测设备的历史压力测试结果数据中选取单台待测设备的历史压力测试结果数据;基于所述各台待测设备的历史压力测试结果数据和所述单台待测设备的历史压力测试结果数据,训练所述待测业务对应的压测结果预测模型。
可选地,计算机可执行指令在被执行时,预测所述各台待测设备的针对所述待测业务的压力测试结果数据,包括:将所述目标设备的针对所述待测业务的压力测试结果数据和所述各台待测设备的数量输入所述压测结果预测模型,以通过所述压测结果预测模型对所述目标设备的针对所述待测业务的压力测试结果数据和所述各台待测设备的数量进行运算;根据所述压测结果预测模型输出的运算结果,确定预测得到的所述各台待测设备的针对所述待测业务的压力测试结果数据。
可选地,计算机可执行指令在被执行时,还包括:在用于运行所述待测业务的多台业务设备中选取多台样本设备,并在所述多台样本设备中选取单台样本设备;其中,所述待测设备从所述多台业务设备中选取得到;获取所述多台样本设备的针对所述待测业务的历史压力测试结果数据、所述单台样本设备的针对所述待测业务的历史压力测试结果数据和所述样本设备的数量;基于所述多台样本设备的历史压力测试结果数据、所述单台样本设备的历史压力测试结果数据和所述样本设备的数量,训练所述待测业务对应的压测结果预测模型。
可选地,计算机可执行指令在被执行时,还包括:根据预测得到的所述各台待测设备的针对所述待测业务的压力测试结果数据,调整用于运行所述待测业务的设备的数量。
可选地,计算机可执行指令在被执行时,所述压测结果预测模型基于非线性回归方程训练得到。
本申请实施例中的电子设备能够实现前述的业务测试方法实施例的各个过程,并达到相同的效果和功能,这里不再重复。
在一个具体的实施例中,电子设备包括有存储器,以及一个或一个以上的程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序可以包括一个或一个以上模块,且每个模块可以包括对电子设备中的一系列计算机可执行指令,且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令:
获取用于运行待测业务的各台待测设备的针对所述待测业务的历史压力测试结果数据;在所述各台待测设备的历史压力测试结果数据中选取单台待测设备的历史压力测试结果数据;基于所述各台待测设备的历史压力测试结果数据和所述单台待测设备的历史压力测试结果数据,训练所述待测业务对应的压测结果预测模型。
本申请实施例中的电子设备能够实现前述的模型训练方法实施例的各个过程,并达到相同的效果和功能,这里不再重复。
在一个具体的实施例中,电子设备包括有存储器,以及一个或一个以上的程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序可以包括一个或一个以上模块,且每个模块可以包括对电子设备中的一系列计算机可执行指令,且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令:
从用于运行待测业务的各台待测设备中选取目标设备;获取所述目标设备的针对所述待测业务的压力测试结果数据;根据所述目标设备的针对所述待测业务的压力测试结果数据和所述待测业务对应的压测结果预测模型,预测所述各台待测设备的针对所述待测业务的压力测试结果数据;其中,所述压测结果预测模型根据上述的方法训练得到。
本申请实施例中的电子设备能够实现前述的业务测试方法实施例的各个过程,并达到相同的效果和功能,这里不再重复。
在一个具体的实施例中,电子设备包括有存储器,以及一个或一个以上的程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序可以包括一个或一个以上模块,且每个模块可以包括对电子设备中的一系列计算机可执行指令,且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令:
在用于运行待测业务的多台业务设备中选取多台样本设备,并在所述多台样本设备中选取单台样本设备;获取所述多台样本设备的针对所述待测业务的历史压力测试结果数据、所述单台样本设备的针对所述待测业务的历史压力测试结果数据和所述样本设备的数量;基于所述多台样本设备的历史压力测试结果数据、所述单台样本设备的历史压力测试结果数据和所述样本设备的数量,训练所述待测业务对应的压测结果预测模型。
本申请实施例中的电子设备能够实现前述的模型训练方法实施例的各个过程,并达到相同的效果和功能,这里不再重复。
在一个具体的实施例中,电子设备包括有存储器,以及一个或一个以上的程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序可以包括一个或一个以上模块,且每个模块可以包括对电子设备中的一系列计算机可执行指令,且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令:
从用于运行待测业务的各台待测设备中选取目标设备;获取所述目标设备的针对所述待测业务的压力测试结果数据;根据所述目标设备的针对所述待测业务的压力测试结果数据、所述各台待测设备的数量、以及所述待测业务对应的压测结果预测模型,预测所述各台待测设备的针对所述待测业务的压力测试结果数据;其中,所述压测结果预测模型根据上述的方法训练得到,所述待测设备从所述多台业务设备中选取得到。
本申请实施例中的电子设备能够实现前述的业务测试方法实施例的各个过程,并达到相同的效果和功能,这里不再重复。
进一步地,本申请实施例还提供了一种存储介质,用于存储计算机可执行指令,一种具体的实施例中,该存储介质可以为U盘、光盘、硬盘等,该存储介质存储的计算机可执行指令在被处理器执行时,能实现以下流程:
从用于运行待测业务的各台待测设备中选取目标设备;获取所述目标设备的针对所述待测业务的压力测试结果数据;基于所述目标设备的针对所述待测业务的压力测试结果数据和所述待测业务对应的压测结果预测模型,预测所述各台待测设备的针对所述待测业务的压力测试结果数据。
可选地,该存储介质存储的计算机可执行指令在被处理器执行时,预测所述各台待测设备的针对所述待测业务的压力测试结果数据,包括:将所述目标设备的针对所述待测业务的压力测试结果数据输入所述压测结果预测模型,以通过所述压测结果预测模型对所述目标设备的针对所述待测业务的压力测试结果数据进行运算;根据所述压测结果预测模型输出的运算结果,确定预测得到的所述各台待测设备的针对所述待测业务的压力测试结果数据。
可选地,该存储介质存储的计算机可执行指令在被处理器执行时,还包括:获取所述各台待测设备的针对所述待测业务的历史压力测试结果数据;在所述各台待测设备的历史压力测试结果数据中选取单台待测设备的历史压力测试结果数据;基于所述各台待测设备的历史压力测试结果数据和所述单台待测设备的历史压力测试结果数据,训练所述待测业务对应的压测结果预测模型。
可选地,该存储介质存储的计算机可执行指令在被处理器执行时,预测所述各台待测设备的针对所述待测业务的压力测试结果数据,包括:将所述目标设备的针对所述待测业务的压力测试结果数据和所述各台待测设备的数量输入所述压测结果预测模型,以通过所述压测结果预测模型对所述目标设备的针对所述待测业务的压力测试结果数据和所述各台待测设备的数量进行运算;根据所述压测结果预测模型输出的运算结果,确定预测得到的所述各台待测设备的针对所述待测业务的压力测试结果数据。
可选地,该存储介质存储的计算机可执行指令在被处理器执行时,还包括:在用于运行所述待测业务的多台业务设备中选取多台样本设备,并在所述多台样本设备中选取单台样本设备;其中,所述待测设备从所述多台业务设备中选取得到;获取所述多台样本设备的针对所述待测业务的历史压力测试结果数据、所述单台样本设备的针对所述待测业务的历史压力测试结果数据和所述样本设备的数量;基于所述多台样本设备的历史压力测试结果数据、所述单台样本设备的历史压力测试结果数据和所述样本设备的数量,训练所述待测业务对应的压测结果预测模型。
可选地,该存储介质存储的计算机可执行指令在被处理器执行时,还包括:根据预测得到的所述各台待测设备的针对所述待测业务的压力测试结果数据,调整用于运行所述待测业务的设备的数量。
可选地,该存储介质存储的计算机可执行指令在被处理器执行时,所述压测结果预测模型基于非线性回归方程训练得到。
本申请实施例中的存储介质能够实现前述的业务测试方法实施例的各个过程,并达到相同的效果和功能,这里不再重复。
一种具体的实施例中,该存储介质可以为U盘、光盘、硬盘等,该存储介质存储的计算机可执行指令在被处理器执行时,能实现以下流程:
获取用于运行待测业务的各台待测设备的针对所述待测业务的历史压力测试结果数据;在所述各台待测设备的历史压力测试结果数据中选取单台待测设备的历史压力测试结果数据;基于所述各台待测设备的历史压力测试结果数据和所述单台待测设备的历史压力测试结果数据,训练所述待测业务对应的压测结果预测模型。
本申请实施例中的存储介质能够实现前述的模型训练方法实施例的各个过程,并达到相同的效果和功能,这里不再重复。
一种具体的实施例中,该存储介质可以为U盘、光盘、硬盘等,该存储介质存储的计算机可执行指令在被处理器执行时,能实现以下流程:
从用于运行待测业务的各台待测设备中选取目标设备;获取所述目标设备的针对所述待测业务的压力测试结果数据;根据所述目标设备的针对所述待测业务的压力测试结果数据和所述待测业务对应的压测结果预测模型,预测所述各台待测设备的针对所述待测业务的压力测试结果数据;其中,所述压测结果预测模型根据上述的方法训练得到。
本申请实施例中的存储介质能够实现前述的业务测试方法实施例的各个过程,并达到相同的效果和功能,这里不再重复。
一种具体的实施例中,该存储介质可以为U盘、光盘、硬盘等,该存储介质存储的计算机可执行指令在被处理器执行时,能实现以下流程:
在用于运行待测业务的多台业务设备中选取多台样本设备,并在所述多台样本设备中选取单台样本设备;获取所述多台样本设备的针对所述待测业务的历史压力测试结果数据、所述单台样本设备的针对所述待测业务的历史压力测试结果数据和所述样本设备的数量;基于所述多台样本设备的历史压力测试结果数据、所述单台样本设备的历史压力测试结果数据和所述样本设备的数量,训练所述待测业务对应的压测结果预测模型。
本申请实施例中的存储介质能够实现前述的模型训练方法实施例的各个过程,并达到相同的效果和功能,这里不再重复。
一种具体的实施例中,该存储介质可以为U盘、光盘、硬盘等,该存储介质存储的计算机可执行指令在被处理器执行时,能实现以下流程:
从用于运行待测业务的各台待测设备中选取目标设备;获取所述目标设备的针对所述待测业务的压力测试结果数据;根据所述目标设备的针对所述待测业务的压力测试结果数据、所述各台待测设备的数量、以及所述待测业务对应的压测结果预测模型,预测所述各台待测设备的针对所述待测业务的压力测试结果数据;其中,所述压测结果预测模型根据上述的方法训练得到,所述待测设备从所述多台业务设备中选取得到。
本申请实施例中的存储介质能够实现前述的业务测试方法实施例的各个过程,并达到相同的效果和功能,这里不再重复。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (13)

1.一种业务测试方法,其特征在于,包括:
从用于运行待测业务的各台待测设备中选取目标设备;
获取所述目标设备的针对所述待测业务的压力测试结果数据;
基于所述目标设备的针对所述待测业务的压力测试结果数据和所述待测业务对应的压测结果预测模型,预测所述各台待测设备的针对所述待测业务的压力测试结果数据;
所述基于所述目标设备的针对所述待测业务的压力测试结果数据和所述待测业务对应的压测结果预测模型,预测所述各台待测设备的针对所述待测业务的压力测试结果数据,包括:将所述目标设备的针对所述待测业务的压力测试结果数据和所述各台待测设备的数量输入所述压测结果预测模型,以通过所述压测结果预测模型进行运算,运算结果为所述各台待测设备中除所述目标设备以外的各台待测设备的压力测试结果数据;根据所述目标设备的针对所述待测业务的压力测试结果数据和所述运算结果,确定预测得到的所述各台待测设备的针对所述待测业务的压力测试结果数据;
其中,所述运算包括:计算所述目标设备的针对所述待测业务的压力测试结果数据和第一系数的第一乘积,以及,计算所述各台待测设备的数量和第二系数的第二乘积;计算所述第一乘积和所述第二乘积之和,得到所述运算结果;所述第一系数和所述第二系数为所述压测结果预测模型的模型参数。
2.根据权利要求1所述的方法,其特征在于,预测所述各台待测设备的针对所述待测业务的压力测试结果数据,包括:
将所述目标设备的针对所述待测业务的压力测试结果数据输入所述压测结果预测模型,以通过所述压测结果预测模型对所述目标设备的针对所述待测业务的压力测试结果数据进行运算;
根据所述压测结果预测模型输出的运算结果,确定预测得到的所述各台待测设备的针对所述待测业务的压力测试结果数据。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
获取所述各台待测设备的针对所述待测业务的历史压力测试结果数据;
在所述各台待测设备的历史压力测试结果数据中选取单台待测设备的历史压力测试结果数据;
基于所述各台待测设备的历史压力测试结果数据和所述单台待测设备的历史压力测试结果数据,训练所述待测业务对应的压测结果预测模型。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在用于运行所述待测业务的多台业务设备中选取多台样本设备,并在所述多台样本设备中选取单台样本设备;其中,所述待测设备从所述多台业务设备中选取得到;
获取所述多台样本设备的针对所述待测业务的历史压力测试结果数据、所述单台样本设备的针对所述待测业务的历史压力测试结果数据和所述样本设备的数量;
基于所述多台样本设备的历史压力测试结果数据、所述单台样本设备的历史压力测试结果数据和所述样本设备的数量,训练所述待测业务对应的压测结果预测模型。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述方法还包括:
根据预测得到的所述各台待测设备的针对所述待测业务的压力测试结果数据,调整用于运行所述待测业务的设备的数量。
6.根据权利要求1至4任一项所述的方法,其特征在于,所述压测结果预测模型基于非线性回归方程训练得到。
7.一种模型训练方法,其特征在于,包括:
在用于运行待测业务的多台业务设备中选取多台样本设备,并在所述多台样本设备中选取单台样本设备;
获取所述多台样本设备的针对所述待测业务的历史压力测试结果数据、所述单台样本设备的针对所述待测业务的历史压力测试结果数据和所述样本设备的数量;
将所述多台样本设备中除所述单台样本设备以外的各台样本设备的历史压力测试结果数据、所述单台样本设备的历史压力测试结果数据和所述样本设备的数量,输入所述待测业务对应的压测结果预测模型,以通过所述压测结果预测模型进行运算,得到所述单台样本设备的历史压力测试结果数据的第一系数、以及所述样本设备的数量的第二系数,以得到训练好的压测结果预测模型;
其中,所述运算包括:计算所述单台样本设备的历史压力测试结果数据和第一系数的第一乘积,以及,计算所述样本设备的数量和第二系数的第二乘积;计算所述第一乘积和所述第二乘积之和,得到运算结果;所述运算结果为所述多台样本设备中除所述单台样本设备以外的各台样本设备的历史压力测试结果数据。
8.一种业务测试方法,其特征在于,包括:
从用于运行待测业务的各台待测设备中选取目标设备;
获取所述目标设备的针对所述待测业务的压力测试结果数据;
将所述目标设备的针对所述待测业务的压力测试结果数据和所述各台待测设备的数量输入所述待测业务对应的压测结果预测模型,以通过所述压测结果预测模型进行运算,运算结果为所述各台待测设备中除所述目标设备以外的各台待测设备的压力测试结果数据;
根据所述目标设备的针对所述待测业务的压力测试结果数据和所述运算结果,确定预测得到的所述各台待测设备的针对所述待测业务的压力测试结果数据;
其中,所述运算包括:计算所述目标设备的针对所述待测业务的压力测试结果数据和第一系数的第一乘积,以及,计算所述各台待测设备的数量和第二系数的第二乘积;计算所述第一乘积和所述第二乘积之和,得到所述运算结果;所述第一系数和所述第二系数为所述压测结果预测模型的模型参数;
其中,所述压测结果预测模型根据权利要求7所述的方法训练得到,所述待测设备从所述多台业务设备中选取得到。
9.一种业务测试装置,其特征在于,包括:
第一设备选取模块,用于从用于运行待测业务的各台待测设备中选取目标设备;
第一数据获取模块,用于获取所述目标设备的针对所述待测业务的压力测试结果数据;
第一结果预测模块,用于基于所述目标设备的针对所述待测业务的压力测试结果数据和所述待测业务对应的压测结果预测模型,预测所述各台待测设备的针对所述待测业务的压力测试结果数据;
所述基于所述目标设备的针对所述待测业务的压力测试结果数据和所述待测业务对应的压测结果预测模型,预测所述各台待测设备的针对所述待测业务的压力测试结果数据,包括:将所述目标设备的针对所述待测业务的压力测试结果数据和所述各台待测设备的数量输入所述压测结果预测模型,以通过所述压测结果预测模型进行运算,运算结果为所述各台待测设备中除所述目标设备以外的各台待测设备的压力测试结果数据;根据所述目标设备的针对所述待测业务的压力测试结果数据和所述运算结果,确定预测得到的所述各台待测设备的针对所述待测业务的压力测试结果数据;
其中,所述运算包括:计算所述目标设备的针对所述待测业务的压力测试结果数据和第一系数的第一乘积,以及,计算所述各台待测设备的数量和第二系数的第二乘积;计算所述第一乘积和所述第二乘积之和,得到所述运算结果;所述第一系数和所述第二系数为所述压测结果预测模型的模型参数。
10.一种模型训练装置,其特征在于,包括:
第二选取模块,用于在用于运行待测业务的多台业务设备中选取多台样本设备,并在所述多台样本设备中选取单台样本设备;
第二获取模块,用于获取所述多台样本设备的针对所述待测业务的历史压力测试结果数据、所述单台样本设备的针对所述待测业务的历史压力测试结果数据和所述样本设备的数量;
第二训练模块,用于将所述多台样本设备中除所述单台样本设备以外的各台样本设备的历史压力测试结果数据、所述单台样本设备的历史压力测试结果数据和所述样本设备的数量,输入所述待测业务对应的压测结果预测模型,以通过所述压测结果预测模型进行运算,得到所述单台样本设备的历史压力测试结果数据的第一系数、以及所述样本设备的数量的第二系数,以得到训练好的压测结果预测模型;
其中,所述运算包括:计算所述单台样本设备的历史压力测试结果数据和第一系数的第一乘积,以及,计算所述样本设备的数量和第二系数的第二乘积;计算所述第一乘积和所述第二乘积之和,得到运算结果;所述运算结果为所述多台样本设备中除所述单台样本设备以外的各台样本设备的历史压力测试结果数据。
11.一种业务测试装置,其特征在于,包括:
第三设备选取模块,用于从用于运行待测业务的各台待测设备中选取目标设备;
第三数据获取模块,用于获取所述目标设备的针对所述待测业务的压力测试结果数据;
第三结果预测模块,用于将所述目标设备的针对所述待测业务的压力测试结果数据和所述各台待测设备的数量输入所述待测业务对应的压测结果预测模型,以通过所述压测结果预测模型进行运算,运算结果为所述各台待测设备中除所述目标设备以外的各台待测设备的压力测试结果数据;根据所述目标设备的针对所述待测业务的压力测试结果数据和所述运算结果,确定预测得到的所述各台待测设备的针对所述待测业务的压力测试结果数据;
其中,所述运算包括:计算所述目标设备的针对所述待测业务的压力测试结果数据和第一系数的第一乘积,以及,计算所述各台待测设备的数量和第二系数的第二乘积;计算所述第一乘积和所述第二乘积之和,得到所述运算结果;所述第一系数和所述第二系数为所述压测结果预测模型的模型参数;
其中,所述压测结果预测模型根据权利要求10所述的装置训练得到,所述待测设备从所述多台业务设备中选取得到。
12.一种电子设备,其特征在于,包括:处理器;以及被安排成存储计算机可执行指令的存储器,所述计算机可执行指令在被执行时使所述处理器实现上述权利要求1至6任一项所述的方法的步骤,或者,实现上述权利要求7所述的方法的步骤,或者,实现上述权利要求8所述的方法的步骤。
13.一种存储介质,用于存储计算机可执行指令,其特征在于,所述计算机可执行指令在被执行时实现上述权利要求1至6任一项所述的方法的步骤,或者,实现上述权利要求7所述的方法的步骤,或者,实现上述权利要求8所述的方法的步骤。
CN201910110173.1A 2019-02-11 2019-02-11 模型训练方法和装置、业务测试方法和装置 Active CN110008112B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910110173.1A CN110008112B (zh) 2019-02-11 2019-02-11 模型训练方法和装置、业务测试方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910110173.1A CN110008112B (zh) 2019-02-11 2019-02-11 模型训练方法和装置、业务测试方法和装置

Publications (2)

Publication Number Publication Date
CN110008112A CN110008112A (zh) 2019-07-12
CN110008112B true CN110008112B (zh) 2023-04-28

Family

ID=67165711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910110173.1A Active CN110008112B (zh) 2019-02-11 2019-02-11 模型训练方法和装置、业务测试方法和装置

Country Status (1)

Country Link
CN (1) CN110008112B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113157560B (zh) * 2021-03-12 2024-03-15 海能达通信股份有限公司 业务自动测试方法及相关模型的训练方法和装置、设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007316769A (ja) * 2006-05-23 2007-12-06 Toshiba Corp 計算機システムの開発方法、計算機システムの開発プログラム
CN105579956A (zh) * 2013-04-04 2016-05-11 谷歌公司 移动应用性能预测
CN106502889A (zh) * 2016-10-13 2017-03-15 华为技术有限公司 预测云软件性能的方法和装置
CN109240929A (zh) * 2018-09-18 2019-01-18 百度在线网络技术(北京)有限公司 软件质量预测方法、装置、终端和计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007316769A (ja) * 2006-05-23 2007-12-06 Toshiba Corp 計算機システムの開発方法、計算機システムの開発プログラム
CN105579956A (zh) * 2013-04-04 2016-05-11 谷歌公司 移动应用性能预测
CN106502889A (zh) * 2016-10-13 2017-03-15 华为技术有限公司 预测云软件性能的方法和装置
CN109240929A (zh) * 2018-09-18 2019-01-18 百度在线网络技术(北京)有限公司 软件质量预测方法、装置、终端和计算机可读存储介质

Also Published As

Publication number Publication date
CN110008112A (zh) 2019-07-12

Similar Documents

Publication Publication Date Title
CN108845936B (zh) 一种基于海量用户的ab测试方法及系统
CN109062782B (zh) 一种回归测试用例的选择方法、装置及设备
TW201928841A (zh) 訓練風控模型和風控的方法、裝置及設備
CN117010571A (zh) 一种业务量的预测方法、装置及设备
CN110635962B (zh) 用于分布式系统的异常分析方法及装置
JP2024529206A (ja) インテリジェントコンピューティング向けのコンテナスケジューリングのための分散トレーニング
CN110263050B (zh) 数据处理方法、装置、设备及存储介质
CN110852503B (zh) 一种支付渠道的选择方法和设备、支付渠道路由
CN114936085A (zh) 基于深度学习算法的etl调度方法及装置
CN109615171B (zh) 特征阈值确定方法及装置、问题对象确定方法及装置
CN116521380A (zh) 一种资源自适应协同的模型训练加速方法、装置及设备
CN111324533A (zh) A/b测试方法、装置及电子设备
CN110008112B (zh) 模型训练方法和装置、业务测试方法和装置
CN112182116B (zh) 数据探查方法及装置
CN118070351A (zh) 一种分布式场景下的数据完整性校验方法、装置和设备
CN107368281B (zh) 一种数据处理方法及装置
CN116384505A (zh) 一种数据处理的方法、装置、存储介质及电子设备
CN110874322B (zh) 一种用于应用程序的测试方法及测试服务器
CN111027716A (zh) 一种负荷预测的方法及装置
CN110059712A (zh) 异常数据的检测方法及装置
CN109903165B (zh) 一种模型合并方法和装置
CN108733564B (zh) 一种浏览器性能测试方法、装置及设备
CN107679547A (zh) 一种针对二分类模型的数据处理方法、装置以及电子设备
CN107645541B (zh) 数据存储方法、装置及服务器
CN110516814A (zh) 一种业务模型参数值确定方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201016

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

Effective date of registration: 20201016

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Applicant before: Advanced innovation technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant