CN115878394A - 内存测试方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请涉及内存测试方法、装置、电子设备及存储介质。上述方法包括：响应于内存测试请求，从内存测试请求中提取待测试设备中内存模块对应的目标业务场景；根据目标业务场景确定测试环境描述参数，测试环境描述参数表征内存模块对应的目标内存访问模式和负载压力情况；获取内存模块在测试环境描述参数对应的测试环境下的第一内存测试结果。本申请提高了内存测试的针对性以及内存测试结果的准确性。本申请实施例可应用于云技术、人工智能、智慧交通、智慧娱乐等各种场景。

Description

内存测试方法、装置、电子设备及存储介质

技术领域

本申请涉及互联网通信技术领域，尤其涉及一种内存测试方法、装置、电子设备及存储介质。

背景技术

随着互联网通信技术的发展，各类互联网产品层出不穷，互联网产品为用户提供的使用体验也越来越好。互联网产品的正常使用需要相关设备(如服务器等)的支持。而在相关设备的选取、维护等时，常需要对相关设备进行测试，如对相关设备中的内存模块进行测试。在相关技术中，常由内存测试平台提供内存测试服务，所得到的内存测试结果受限于平台的预设测试方式。这样影响着内存测试结果的准确性。因此，需要提供更准确有效的内存测试方案。

发明内容

为了解决上述提出的至少一个技术问题，本申请提供了一种内存测试方法、装置、电子设备及存储介质：

根据本申请的第一方面，提供了一种内存测试方法，所述方法包括：

响应于内存测试请求，从所述内存测试请求中提取待测试设备中内存模块对应的目标业务场景；

根据所述目标业务场景确定测试环境描述参数，所述测试环境描述参数表征所述内存模块对应的目标内存访问模式和负载压力情况；

获取所述内存模块在所述测试环境描述参数对应的测试环境下的第一内存测试结果。

根据本申请的第二方面，提供了一种内存测试装置，所述装置包括：

场景确定模块：用于响应于内存测试请求，从所述内存测试请求中提取待测试设备中内存模块对应的目标业务场景；

参数确定模块：用于根据所述目标业务场景确定测试环境描述参数，所述测试环境描述参数表征所述内存模块对应的目标内存访问模式和负载压力情况；

结果获取模块：用于获取所述内存模块在所述测试环境描述参数对应的测试环境下的第一内存测试结果。

根据本申请的第三方面，提供了一种电子设备，所述电子设备包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由所述至少一个处理器加载并执行以实现如第一方面所述的内存测试方法。

根据本申请的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如第一方面所述的内存方法。

根据本申请的第五方面，提供了一种计算机程序产品，所述计算机程序产品包括至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如第一方面所述的内存测试方法。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。

实施本申请，具有以下有益效果：

在内存测试上，基于待测试设备中内存模块对应的目标业务场景来确定测试环境描述参数，以获取测试环境描述参数对应的测试环境下的内存测试结果，考虑到了业务场景维度的需求，并将此体现于测试环境上，提高了内存测试的针对性以及内存测试结果的准确性。同时，在将目标业务场景体现于测试环境上时，关注于内存模块对应的目标内存访问模式和负载压力情况，选取更具代表性的参数因素，提高了测试环境构建的速度，进而提高了内存测试的效率。

根据下面参考附图对示例性实施例的详细说明，本申请的其它特征及方面将变得清楚。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1示出根据本申请实施例的一种应用环境示意图；

图2示出根据本申请实施例的一种内存测试方法的流程示意图；

图3示出根据本申请实施例的对模拟设备进行内存测试的流程示意图；

图4示出根据本申请实施例的获得目标内存测试结果的流程示意图；

图5示出根据本申请实施例的基于每一子环境对应的第一差异和第二差异，得到目标内存测试结果的流程示意图；

图6示出根据本申请实施例的对目标内存测试结果进行展示的界面示意图；

图7示出根据本申请实施例的对两个被测系统进行内存性能对比的流程示意图；

图8也示出根据本申请实施例的获得目标内存测试结果的流程示意图；

图9示出根据本申请实施例的利用请求间隔调控负载压力的原理图；

图10示出根据本申请实施例的内存性能指标在不同负载压力的表现示意图；

图11也示出根据本申请实施例的内存性能指标在不同负载压力的表现示意图；

图12示出根据本申请实施例的同规格同操作系统不同机型设备的内存性能对比图；

图13示出根据本申请实施例的同机型同操作系统不同规格设备的内存性能对比图；

图14示出根据本申请实施例的同机型同规格不同操作系统设备的内存性能对比图；

图15示出根据本申请实施例的装置框图；

图16示出根据本申请实施例的电子设备示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

以下将参考附图详细说明本申请的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

另外，为了更好地说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。

对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。

基准测试程序：用来测量机器的硬件最高实际运行性能的程序，包括微基准测试程序与宏基准测试程序，微基准测试程序主要针对计算机系统的某一特定方面性能，宏基准主要用来测量一个计算机系统的总体性能。

参考机型：用于作为性能基线的被测机型。

被测系统(System under test，SUT)：当前正在被测试的系统。

请参阅图1，图1示出根据本申请实施例的应用环境示意图，应用环境中可以包括客户端10和服务器端20。客户端10与服务器端20可以通过有线或无线通信方式进行直接或间接地连接。用户可以通过客户端10向服务器端20发送内存测试请求。服务器端20接收内存测试请求，从内存测试请求中提取待测试设备中内存模块对应的目标业务场景；然后，根据目标业务场景确定测试环境描述参数，测试环境描述参数表征内存模块对应的目标内存访问模式和负载压力情况；最后，获取内存模块在测试环境描述参数对应的测试环境下的内存测试结果。需要说明的是，图1仅仅是一种示例。

客户端10可以是智能手机、电脑(如台式电脑、平板电脑、笔记本电脑)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、数字助理、智能语音交互设备(如智能音箱)、智能可穿戴设备、智能家电、车载终端等类型的实体设备，也可以是运行于实体设备中的软体，比如计算机程序。客户端所对应的操作系统可以是安卓系统(Android系统)、iOS系统(是由苹果公司开发的移动操作系统)、linux系统(一种操作系统)、Microsoft Windows系统(微软视窗操作系统)等。

服务器端20可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器。其中服务器可以包括有网络通信单元、处理器和存储器等等。服务器端可以为对应的客户端提供后台服务。

在实际应用中，上述客户端10和服务器端20可以是内存测试平台的组成部分。服务器端20可以将内存测试结果嵌入预设模板，得到页面数据；然后，发送页面数据至客户端10，以使得客户端10基于页面数据展示目标页面。这样通过客户端10展示的目标页面，用户能够更直观的获知内存测试结果。预设模板的应用，有利于前端展示页面的规范化和可读性。

需要说明的是，对于与用户信息存在关联关系的内存测试请求、内存测试结果等，当本申请实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

图2示出根据本申请实施例的一种内存测试方法的流程示意图，如图2所示，该方法包括：

S201：响应于内存测试请求，从所述内存测试请求中提取待测试设备中内存模块对应的目标业务场景；

在本申请实施例中，响应于内存测试请求，服务器端从内存测试请求中提取待测试设备中内存模块对应的目标业务场景。通过内存测试请求可以知道：待测试设备中的内存模块是测试目标，目标业务场景是用于确定测试环境的依据。

内存测试请求可以是通过下述方式生成的：1)客户端提供的交互界面上有用于生成内存测试请求的相关控件，用户触发相关控件以生成内存测试请求。相应的，客户端发送内存测试请求至服务器端。2)服务器端提供的交互界面上有用于生成内存测试请求的相关控件，用户触发相关控件以生成内存测试请求。这里1)和2)中的相关控件可以包括指示待测试设备信息输入/选择的第一控件、指示业务场景描述参数输入/选择的第二控件。内存测试请求可以包括输入或被选中的至少一个待测试设备信息，以及输入或被选中的至少一个业务场景描述参数。其中输入或被选中的至少一个业务场景描述参数表征目标业务场景。

待测试设备可以是服务器，如物理服务器、云服务器。待测试设备也可以是手机、电脑等。目标业务场景可以反映待测试设备中内存模块的业务场景维度的测试需求。也就是说，目标业务场景可以是待测试设备中内存模块的当前应用的业务场景，也可以是待测试设备中内存模块的历史应用的业务场景，也可以是待测试设备中内存模块的未来应用的业务场景。

需要说明的是，这里的内存模块可以指示待测试设备的所有内存，也可以指示待测试设备的部分内存。在实际应用中，若指示待测试设备的部分内存，可以在生成内存测试请求时融入部分内存的标识信息。

S202：根据所述目标业务场景确定测试环境描述参数，所述测试环境描述参数表征所述内存模块对应的目标内存访问模式和负载压力情况；

在本申请实施例中，服务器端根据目标业务场景确定测试环境描述参数。内存测试表现会受到测试环境的影响。对于同一设备内存而言，在不同测试环境下的内存测试结果常是不同的。这里根据业务场景维度的测试需求确定测试环境描述参数，有利于后续基于测试环境描述参数构建对应的测试环境，从而提升内存测试结果的准确度和有效性。

对于待测试设备中的内存模块而言，目标业务场景可以由待测试设备的运行状态、运行于待测试设备的程序等决定。可以理解，目标业务场景更针对待测试设备这一整体，作为这一整体的部分的内存模块受到目标业务场景的影响。待测试设备的运行状态可以包括以下至少之一：CPU状态、电池电量状态、网络状态、温度状态、设备屏幕亮度状态等。运行于待测试设备的程序可以提供程序属性信息以及程序运行状态信息。程序属性信息可以包括以下至少之一：程序的类型、程序的版本等。程序运行状态信息可以指示以下至少之一：前后台运行状态、访问程序的延时情况、访问程序的频次情况等。

在根据目标业务场景确定测试环境描述参数时，需要考虑待测试设备的运行状态与待测试设备中的内存模块的关联关系、运行于待测试设备的程序与待测试设备中的内存模块的关联关系等。本申请实施例关注于从这里的关联关系中确定与内存模块的访问模式和负载压力有关的信息，选取更具代表性的参数因素，可以兼顾技术化地量度测试环境的准确度和效率。

在一个实施例中，内存访问模式表征访问内存的模式，所涉及的维度可以包括以下至少之一：读写操作的存在设置、读写操作的分配比例、读写操作的顺序属性等。这些维度的选取有利于更细粒度的定义内存访问模式，有利于内存性能的有效评估。对于读写操作的存在设置，可以包括三种情况：只有读操作存在(只读)、只有写操作存在(只写)、读写操作同时存在。读写操作的分配比例常针对读写操作同时存在的情况，可以从操作时长、操作速度等方面进行比例分配。读写操作的顺序属性可以针对只读、只写、读写操作同时存在这三种情况，顺序属性用于表征读操作、写操作是否按序访问内存。若访问的存储地址是连贯的，说明顺序属性为顺序访问；否则，说明顺序属性为随机访问。

示例性的，所述根据所述目标业务场景确定测试环境描述参数之前，所述方法可以还包括下述步骤：首先，根据所述目标业务场景，确定对所述内存模块进行读写操作的操作特征，所述操作特征以下至少之一：操作时间特征、操作速度特征、操作顺序特征；然后，基于所述操作特征确定所述目标内存访问模式。

内存访问模式在很大程度上受具体业务场景影响，并且不同业务场景中涉及内存访问模式各异。这里基于目标业务场景确定用于定义目标内存访问模式的读写操作特征，有利于测试环境中对于具体业务场景下内存访问模式的准确反映，从而保障了内存测试结果对于目标业务场景的针对性。

对于操作时间特征，它涉及读操作和写操作两个方面。读操作的操作时间特征用于表征针对内存模块的读操作在时间维度的特征，写操作的操作时间特征用于表征针对内存模块的写操作在时间维度的特征。比如，按照预定时间间隔获取的读操作(或写操作)的行为数据，这里的预定时间间隔可为均等预定时间间隔，也可以非均等预定时间间隔。根据多个预定时间间隔所获取的读操作(或写操作)的行为数据，确定预定时间窗口内读操作(或写操作)的执行时长、读操作(或写操作)的执行时长的占比、相邻两次读操作(或写操作)的执行时间间隔等。预定时间窗口包括至少一个预定时间间隔。

对于操作速度特征，它涉及读操作和写操作两个方面。读操作的操作速度特征用于表征针对内存模块的读操作在速度维度的特征，如在上述预定时间窗口内的最大读取速度、最小读取速度、平均读取速度、读取速度中位数等。写操作的操作速度特征用于表征针对内存模块的写操作在速度维度的特征，如在上述预定时间窗口内的最大写入速度、最小写入速度、平均写入速度、写入速度中位数等。

对于操作顺序特征，它涉及读操作和写操作两个方面。操作顺序特征用于描述读操作或写操作是否按序访问内存模块，如在上述预定时间窗口内确定读操作顺序访问内存模块的次数、读操作随机访问内存模块的次数、读操作顺序访问内存模块的次数与随机访问内存模块的次数之比等；在上述预定时间窗口内确定写操作顺序访问内存模块的次数、写操作随机访问内存模块的次数、写操作顺序访问内存模块的次数与随机访问内存模块的次数之比等。

结合上面对于内存访问模式的介绍，确定对内存模块进行读写操作的操作特征，包括确定读操作是否存在、读操作的时间特征、读操作的速度特征、读操作的顺序特征、写操作是否存在、写操作的时间特征、写操作的速度特征、写操作的顺序特征。通过读操作是否存在和写操作是否存在，可以得到读写操作的存在设置。通过读操作的时间特征(或操作的速度特征)和写操作的时间特征(或写操作的速度特征)，可以得到读写操作的分配比例。通过读操作的顺序特征和写操作的顺序特征，可以得到读写操作的顺序属性。相应的，通过这里的读写操作的存在设置、读写操作的分配比例和读写操作的顺序属性可以确定目标内存访问模式。

在实际应用中，可以通过算法来实现不同内存访问模式下的读写操作的存在设置和读写操作的分配比例，可参考下表1：

表1

进一步的，可以设置预设内存访问模式集合，预设内存访问模式集合可以包括基础内存访问模式和扩展内存访问模式。基于基础内存访问模式构建的测试环境，这样的测试环境常覆盖基础场景，有利于对设备的内存性能进行基本的评估。基于扩展内存访问模式构建的测试环境，有利于对设备的内存性能进行更个性化、更灵活的评估。因为这样的测试环境常能覆盖一些边界场景(极端场景)、特殊场景(指基础场景、边界场景之外的场景)，相应的，测试过程中能够采集到用于内存性能评估的边界值、特殊值。如下表2所示，可以从场景角度对预设内存访问模式集合进行区分，这里的区分根据历史反馈和业务需求设定，可以根据实际需求灵活调整。

表2

对于上表2的应用，可以根据需要从上述三个基础场景中确定至少一个基础场景。应理解的是，预设内存访问模式集合中各预设内存访问模式对应的用例是预先设置好的。可以从预设内存访问模式集合中确定与上述目标内存访问模式相匹配的目标预设内存访问模式，进而采用目标预设内存访问模式对应的用例来构建测试环境，以提高内存测试效率。

在一个实施例中，负载压力情况表征内存承受的负载压力，如承受的任务的数据量大小、承受的任务的数据量变化。若任务指示对内存进行读写操作，承受的任务的数量大小可以表征第一预设时间段内读写操作涉及的数量，承受的任务的数量变化可以表征相邻两个第二预设时间段内读写操作涉及的数量大小波动。

在相关技术的内存性能评估中，通常仅关注能够测试目标达到的最好性能，例如最大传输带宽能力或者网络最低延迟。然而不可忽略的部分在于随着负载压力的逐渐增加，吞吐类指标的性能表现会越来越好，然而延迟类指标的性能表现会越来越差。这是由于负载压力增加时，需要测试目标同时处理的事务越来越多，导致冲突、队列中等待的时间越来越长，从而单个事务处理所需延迟会增加。因而需要关注基于目标业务场景所确定的负载压力情况。

结合上述提到的场景(如基础场景、边界场景和特殊场景等)，如图10所示，在特定的测试场景中内存带宽与内存访问延迟的相关变化关系会随着负载压力的变化而变化，相关变化关系可以分为如下三个阶段：

1)接近空闲状态：当负载压力较小时，内存带宽利用率较低，内存访问延迟不会随着内存带宽的变化而变化，与完全空闲状态下内存访问延迟相近。

2)逐步增压状态：随着负载压力逐步升高，内存带宽利用率越来越高，内存访问请求需要额外承受排队等待延迟，导致整体内存访问延迟随着内存带宽逐步增加。

3)接近最大负荷状态：当负载压力逐步达到最大时，内存带宽利用率已经接近最高，负载压力的增加不会像之前一样显著的增加内存带宽，但会增加内存访问延迟。

S203：获取所述内存模块在所述测试环境描述参数对应的测试环境下的第一内存测试结果。

在本申请实施例中，服务器端获取内存模块在测试环境描述参数对应的测试环境下的第一内存测试结果。内存测试可以直接在待测试设备上进行，也可以在待测试设备对应的模拟设备上进行。可以由这里的服务器端基于测试环境描述参数对待测试设备或模拟设备进行内存测试，以获得内存测试结果；也可以由这里的服务器端发送内存测试指令至其他执行设备，其他执行设备基于测试环境描述参数对待测试设备或模拟设备进行内存测试，并将内存测试结果返回给这里的服务器端。内存测试指令携带有测试环境描述参数和待测试设备的设备信息。需要说明的是，下面涉及测试环境构建的内容适用于这里的服务器端，也适用于其他执行设备。

对于内存整体性能影响的因素有很多，包括内存频率、内存容量、内存带宽、内存链路延迟(CAS Latency,cycle)、内存访问延迟等。为了充分表现内存在不同测试环境下的性能表现，选择内存带宽与内存访问延迟作为衡量内存性能的核心指标。第一内存测试结果和下述第二内存测试结果可以包括体现内存性能的指标情况，比如内存带宽情况以及内存访问延迟情况。

在一个实施例中，如图3所示，所述获取所述内存模块在所述测试环境描述参数对应的测试环境下的第一内存测试结果之前，所述方法还包括：

S301：基于所述待测试设备的设备信息确定对应的模拟设备；

S302：基于所述测试环境描述参数构建对应的测试环境，以对所述模拟设备中内存模块进行测试，得到所述模拟设备中内存模块的第二内存测试结果；

S303：将所述第二内存测试结果，确定为所述第一内存测试结果。

利用模拟设备进行内存测试，并将模拟设备的内存测试结果作为待测试设备的内存测试结果，可以提高内存测试的便捷性和适用性。基于待测试设备的设备信息确定对应的模拟设备，可以是确定与待测试设备同机型的设备为模拟设备。待测试设备可以是物理机器，也可以是虚拟机器。相应的，模拟设备可以是物理机器，也可以是虚拟机器。由于一个目标业务场景可以对应至少一个目标内存访问模式和至少一个负载压力情况，那么基于测试环境描述参数构建的测试环境可以涉及至少一个子环境，对内存模块的测试也将分别在每一子环境下进行。比如，目标内存访问模式i表示第i个目标内存访问模式，目标内存访问模式的总个数为N。负载压力情况j表示第j个负载压力情况，负载压力情况的总个数为M。那么，测试环境包括M*N个子环境。

基于前述步骤S202确定测试环境描述参数构建对应的测试环境，可以从测试环境描述参数表征的目标内存访问模式和负载压力情况这两个方面来构建测试环境。具体的，所述基于所述测试环境描述参数构建对应的测试环境，可以包括下述步骤：首先，基于所述目标内存访问模式限定对所述模拟设备中内存模块的访问；然后，在存在至少两个所述负载压力情况的情况下，基于所述负载压力情况设置所述模拟设备中中央处理器发出内存访问请求的频率。

这样的测试环境能够呈现、还原目标业务场景下内存模块所要面对的情况，可以提高内存测试的准确度。目标内存访问模式作为针对内存模块的访问限定准则，可以限定读写操作的存在设置、读写操作的分配比例、读写操作的顺序属性，这些限定可以借助表1中的算法来实现。将至少两个负载压力情况所要呈现的任务、事务数量变化用内存访问请求的频率来实现，控制上更便捷、准确。

在实际应用中，1)不同的负载压力情况更有利于内存性能的综合、全面评估。若目标业务场景所对应的负载压力情况的数量小于数量阈值，可以进行负载压力情况的新增，进而丰富测试环境。2)负载压力的调控通过控制中央处理器发出内存访问请求的频率来调节，具体可以通过设置不同内存访问请求之间的请求间隔(Inject Delay)来实现，可参考图9。结合前述步骤S202提及的三种状态，请求间隔可以通过下述周期(cycle)取值进行诸如：接近空闲状态∈{2、8、15、50、100}；逐步增压状态∈{200、300、400、500、700、1000、1300}；接近最大负荷状态∈{1700、2500、3500、5000、9000、20000}。

在一个实施例中，如图4、8所示，所述获取所述内存模块在所述测试环境描述参数对应的测试环境下的第一内存测试结果之后，所述方法还包括：

S401：从所述第一内存测试结果中提取内存带宽信息以及内存访问延迟信息；

S402：基于所述内存带宽信息与基准内存带宽的差异、所述内存访问延迟信息与基准内存访问延迟的差异，得到目标内存测试结果，所述基准内存带宽和所述基准内存访问延迟是对预设设备进行内存测试得到的，对所述预设设备进行内存测试的环境是基于所述测试环境描述参数构建的。

第一内存测试结果表征单个内存的测试结果，是相对独立的。目标内存测试结果表征两个内存的测试结果比较，更关注两个内存在同一测试环境下的内存性能表现差异。选用预设设备作为比较对象，这样获得的目标内存测试结果能够更直观的展示待测试设备的内存性能表现。

预设设备可以是待测试设备的预配置设备。预配置设备与待测试设备存在关联关系的相似设备，比如设备配置相近，设备版本相近。在上述内存测试请求指示至少两个待测试设备的情况下，预设设备也可以是至少两个待测试设备中的任一设备，预设设备也可以是至少两个待测试设备中内存性能表现更差的一个设备，比如对应的第一内存测试结果中内存带宽表现以及内存访问延迟表现更差的设备。如图11所示，图11示出了两个存在内存性能差异的设备在不同内存访问模式、不同压力负载下的性能表现，其中X轴表示内存访问延迟(单位ns)，Y轴表示内存带宽(单位MB/s)。两个设备的内存性能差异可以通过内存延迟与内存带宽来表现出来，例如在同等内存访问延迟的情况machine1(设备1)内存带宽优于machine2(设备2)。

对于内存带宽信息与基准内存带宽的差异、内存访问延迟信息与基准内存访问延迟的差异，可以通过差值、比值等表征。目标内存测试结果是对两类差异的融合结果。

进一步的，在存在至少两个所述目标内存访问模式和至少两个所述负载压力情况的情况下，基于所述测试环境描述参数确定的测试环境包括目标数个子环境，所述目标数为所述目标内存访问模式的总数数和所述负载压力情况的总数的乘积，所述基准内存带宽包括每一所述子环境下的子基准带宽，所述基准内存访问延迟包括每一所述子环境下的子基准延迟。

相应的，所述从所述第一内存测试结果中提取内存带宽信息以及内存访问延迟信息，可以包括下述步骤：从所述第一内存测试结果中提取每一所述子环境下的子带宽信息以及子延迟信息；

所述基于所述内存带宽信息与基准内存带宽的差异、所述内存访问延迟信息与基准内存访问延迟的差异，得到目标内存测试结果，可以包括下述步骤：首先，针对每一所述子环境，确定所述子环境下的所述子带宽信息与子基准带宽的第一差异、以及确定所述子环境下的所述子延迟信息与子基准延迟的第二差异；再者，基于每一所述子环境对应的所述第一差异和所述第二差异，得到所述目标内存测试结果。

示例性的，目标内存访问模式i表示第i个目标内存访问模式，目标内存访问模式的总个数为N。负载压力情况j表示第j个负载压力情况，负载压力情况的总个数为M。那么，测试环境包括M*N个子环境，子环境k表示第k个子环境。

对于待测试设备(SUT)而言，可以利用吞吐量(SUT，k)(即Throughput(SUT，k))表示子环境k下的子带宽信息，以及利用延迟(SUT，k)(即Latency(SUT，k))表示子环境k下的子延迟信息。对于预设设备(Ref)而言，可以利用吞吐量(Ref，k)(即Throughput(Ref，k))表示子环境k下的子带宽信息，以及利用延迟(Ref，k)(即Latency(Ref，k))表示子环境k下的子延迟信息。

子环境k对应的第一差异可以表示为

子环境k对应的第二差异可以表示为

从子环境的维度对所有第一差异和所有第二差异进行融合，从而获得目标内存测试结果，这样更细粒度的差异确定，有利于提升目标内存测试结果的准确性。

下面将对子环境维度的差异融合进行详细介绍。如图5所示，每一所述负载压力情况对应一个环境描述维度，所述基于每一所述子环境对应的所述第一差异和所述第二差异，得到所述目标内存测试结果，包括：

S501：基于每一所述子环境对应的所述第一差异，针对每一所述环境描述维度，确定所述环境描述维度下的第一差异表征，以及基于每一所述环境描述维度对应的所述第一差异表征，得到带宽差异表征；

S502：基于每一所述子环境对应的所述第二差异，针对每一所述环境描述维度，确定所述环境描述维度下的第二差异表征，以及基于每一所述环境描述维度对应的所述第二差异表征，得到延迟差异表征；

S503：基于所述带宽差异表征和所述延迟差异表征，得到所述目标内存测试结果。

可以将步骤S501和S502视作负载压力维度的指标聚合。沿用上述示例，带宽差异表征

延迟差异表征

其中

表示环境描述维度j下的第一差异表征，

表示环境描述维度j下的第二差异表征。对作为聚合结果的带宽差异表征和延迟差异表征进行融合，从而获得目标内存测试结果。考虑到内存带宽与内存访问延迟两类指标的区别，先对同类指标下的差异数据进行聚合，再对两类指标各自的聚合结果进行融合，可以兼顾目标内存测试结果的准确性以及获得目标内存测试结果的效率。

在对两类指标各自的聚合结果进行融合时，可以先对聚合结果再进行一轮内存访问模式维度的指标聚合。即：每一所述目标内存访问模式对应一个内存访问模式维度，所述基于所述带宽差异表征和所述延迟差异表征，得到所述目标内存测试结果，包括：首先，从所述带宽差异表征确定每一所述内存访问模式维度下的子带宽差异表征，以及基于每一所述内存访问模式维度下的子带宽差异表征，得到目标带宽差异表征；然后，从所述延迟差异表征确定每一所述内存访问模式维度下的子延迟差异表征，以及基于每一所述内存访问模式维度下的子延迟差异表征，得到目标延迟差异表征；再者，基于所述目标带宽差异表征和所述目标延迟差异表征，得到所述目标内存测试结果。

沿用上述示例，目标带宽差异表征

目标延迟差异表征

其中

表示内存访问模式维度i下的子带宽差异表征，

表示内存访问模式维度i下的子延迟差异表征。而目标内存测试结果可以表示如下：

需要说明的是，1)从应用的角度来看，内存带宽和访问延迟的重要程度会因具体实际应用发生变化，不同的工作负载对于内存带宽与内存访问延迟的敏感度是不同的。例如，高性能计算负载就对带宽更敏感，而线上交易处理(Online Transaction Processing，OLTP)业务则对内存访问延迟更加敏感。当内存性能评估有明确的工作负载时，可以通过负载特征刻画分析内存带宽与内存访问延迟对于整体性能的影响，从而确定综合评估值的权重。相应的，目标内存测试结果可以表示如下：

其中x表示目标带宽差异表征的权重，y表示目标延迟差异表征的权重。

2)某些情况下可以仅选择内存带宽或者内存访问延迟中的一个进行内存性能评估，比如取上述1)中的x或y为0。

3)上述从第一内存测试结果到目标内存测试结果的计算过程，还可以适用于网络性能、存储性能等的评估。例如，对于网络性能的评估，采集不同测试维度下的网络带宽与网络延迟之后，可以采用类似的方法对于网络性能进行综合评价。对于存储性能的评估，采集不同测试维度下的每秒进行读写操作的次数(Input/Output Operations Per Second，IOPS)和延迟，可以采用类似的方法对存储性能进行综合评价。

在实际应用中，上述差异、差异表征可以是待测试设备相对内存性能表现更差的预设设备的性能提升比率。不论是上述负载压力维度的指标聚合，还是上述内存访问模式维度的指标聚合，均可以用到几何平均的计算方式。加速比计算中的乘法效应让分布偏斜，从而呈现对数分布的状态，而加法效应的指标计算会让频率对称分布，从而呈现正态分布的状态。最准确的计算对数正态分布均值的方式就是几何平均。几何平均对于数据整体进行了对数形式转换，并计算转换后正态分布形式的结果，从而得到更加符合数据整体的均值分布结果。

以被测系统(如进行性能测评的服务器资源)对应待测试设备、参考机型(如用于作为性能基线的被测机型)对应预设设备为例，通过基准测试工具(如微基准测试程序)采集被测系统在单个测试场景(对应上述目标内存访问模式)下不同负载压力下的性能指标数据，采集结果如下表3所示：参考机型，用于计算与其它被测系统的性能加速比。

表3

上表3的采集结果与参考机型的采集结果经计算所得如下表4所示：

表4

通过上述计算方式得到被测系统在单个场景下吞吐量的综合加速比(对应上述子带宽差异表征)以及延迟综合加速比(对应上述子延迟差异表征)，如下表5所示。需要说明的是，此处的测试场景表示的是不同目标内存访问模式场景。

表5

进一步的，在上述内存测试请求指示至少两个待测试设备的情况下，预设设备可以是任一待测试设备的预配置设备，如一个已知内存性能表现较差的设备。这样在对两个待测试设备进行内存性能评估时，可以用到同一预设设备。比如，被测系统1的目标内存测试结果和被测系统2的目标内存测试结果的比值可以表示为下式：

通过这样的比值计算可以实现对两个被测系统的内存性能评估，更直观更具可读性。可以通过图7提供的图示实现。

本申请实施例提供的内存测试方案能够为内存性能测评中的测试场景选择提供参考依据，从众多测试场景中筛选出影响内存性能的主要场景，从而更加全面的反映内存模块整体性能。该方案能够为内存性能比较提供综合性能评估结果(如上述目标内存测试结果)，通过综合评估方法对众多测试场景下的性能指标数据聚合计算，从而更加直观的对比内存模块整体性能差异。该方案还能够为内存性能测评节省测试时间，通过划分测试场景筛选更具代表性场景，减少重复测试或测试不全面带来的额外测试时间开销。图6示了综合性能评估结果在界面的展示。当然，还可以在对现有机型根据综合性能评估结果进行界面展示时，提供性能天梯功能。这样能够综合表现内存性能的优劣排行对比，避免当前通过单一测试场景数据判断性能导致错误结论的情况发生。图12-14示出了对于下表5中机型的不同维度的内存性能对比，用到了综合性能评估结果。图12关注对比同规格同操作系统不同机型设备的内存性能区别，图13关注对比同机型同操作系统不同规格设备的内存性能区别，图14关注对比同机型同规格不同操作系统设备的内存性能区别。

表6

由以上本申请实施例提供的技术方案可见，本申请实施例在内存测试上，基于待测试设备中内存模块对应的目标业务场景来确定测试环境描述参数，以获取测试环境描述参数对应的测试环境下的内存测试结果，考虑到了业务场景维度的需求，并将此体现于测试环境上，提高了内存测试的针对性以及内存测试结果的准确性。同时，在将目标业务场景体现于测试环境上时，关注于内存模块对应的目标内存访问模式和负载压力情况，选取更具代表性的参数因素，提高了测试环境构建的速度，进而提高了内存测试的效率。

本申请实施例还提供了一种内存测试装置，如图15所示，该内存测试装置150包括：

场景确定模块1501：用于响应于内存测试请求，从所述内存测试请求中提取待测试设备中内存模块对应的目标业务场景；

参数确定模块1502：用于根据所述目标业务场景确定测试环境描述参数，所述测试环境描述参数表征所述内存模块对应的目标内存访问模式和负载压力情况；

结果获取模块1503：用于获取所述内存模块在所述测试环境描述参数对应的测试环境下的第一内存测试结果。

需要说明的，所述装置实施例中的装置与方法实施例基于同样的发明构思。

在一些实施例中，本申请实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现上述方法。计算机可读存储介质可以是非易失性计算机可读存储介质。

本申请实施例还提供了一种电子设备，所述电子设备包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由所述至少一个处理器加载并执行以实现上述方法。

电子设备可以被提供为终端、服务器或其它形态的设备。

图16示出根据本申请实施例的一种电子设备的框图。例如，电子设备1900可以被提供为一服务器。参照图16，电子设备1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。

电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理，一个有线或无线网络接口1950被配置为将电子设备1900连接到网络，和一个输入输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。

本申请可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本申请的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，上述编程语言包括面向对象的编程语言—诸如Smalltalk、C+等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本申请的各个方面。

这里参照根据本申请实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，上述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标准的功能也可以以不同于附图中所标准的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种内存测试方法，其特征在于，所述方法包括：

响应于内存测试请求，从所述内存测试请求中提取待测试设备中内存模块对应的目标业务场景；

根据所述目标业务场景确定测试环境描述参数，所述测试环境描述参数表征所述内存模块对应的目标内存访问模式和负载压力情况；

获取所述内存模块在所述测试环境描述参数对应的测试环境下的第一内存测试结果。

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标业务场景确定测试环境描述参数之前，所述方法还包括：

根据所述目标业务场景，确定对所述内存模块进行读写操作的操作特征，所述操作特征以下至少之一：操作时间特征、操作速度特征、操作顺序特征；

基于所述操作特征确定所述目标内存访问模式。

3.根据权利要求1所述的方法，其特征在于，所述获取所述内存模块在所述测试环境描述参数对应的测试环境下的第一内存测试结果之前，所述方法还包括：

基于所述待测试设备的设备信息确定对应的模拟设备；

基于所述测试环境描述参数构建对应的测试环境，以对所述模拟设备中内存模块进行测试，得到所述模拟设备中内存模块的第二内存测试结果；

将所述第二内存测试结果，确定为所述第一内存测试结果。

4.根据权利要求3所述的方法，其特征在于，所述基于所述测试环境描述参数构建对应的测试环境，包括：

基于所述目标内存访问模式限定对所述模拟设备中内存模块的访问；

在存在至少两个所述负载压力情况的情况下，基于所述负载压力情况设置所述模拟设备中中央处理器发出内存访问请求的频率。

5.根据权利要求1-4任意一项所述的方法，其特征在于，所述获取所述内存模块在所述测试环境描述参数对应的测试环境下的第一内存测试结果之后，所述方法还包括：

从所述第一内存测试结果中提取内存带宽信息以及内存访问延迟信息；

基于所述内存带宽信息与基准内存带宽的差异、所述内存访问延迟信息与基准内存访问延迟的差异，得到目标内存测试结果，所述基准内存带宽和所述基准内存访问延迟是对预设设备进行内存测试得到的，对所述预设设备进行内存测试的环境是基于所述测试环境描述参数构建的。

6.根据权利要求5所述的方法，其特征在于，在存在至少两个所述目标内存访问模式和至少两个所述负载压力情况的情况下，基于所述测试环境描述参数确定的测试环境包括目标数个子环境，所述目标数为所述目标内存访问模式的总数和所述负载压力情况的总数的乘积，所述基准内存带宽包括每一所述子环境下的子基准带宽，所述基准内存访问延迟包括每一所述子环境下的子基准延迟；

所述从所述第一内存测试结果中提取内存带宽信息以及内存访问延迟信息，包括：从所述第一内存测试结果中提取每一所述子环境下的子带宽信息以及子延迟信息；

所述基于所述内存带宽信息与基准内存带宽的差异、所述内存访问延迟信息与基准内存访问延迟的差异，得到目标内存测试结果，包括：

针对每一所述子环境，确定所述子环境下的所述子带宽信息与子基准带宽的第一差异、以及确定所述子环境下的所述子延迟信息与子基准延迟的第二差异；

基于每一所述子环境对应的所述第一差异和所述第二差异，得到所述目标内存测试结果。

7.根据权利要求6所述的方法，其特征在于，每一所述负载压力情况对应一个环境描述维度，所述基于每一所述子环境对应的所述第一差异和所述第二差异，得到所述目标内存测试结果，包括：

基于每一所述子环境对应的所述第一差异，针对每一所述环境描述维度，确定所述环境描述维度下的第一差异表征，以及基于每一所述环境描述维度对应的所述第一差异表征，得到带宽差异表征；

基于每一所述子环境对应的所述第二差异，针对每一所述环境描述维度，确定所述环境描述维度下的第二差异表征，以及基于每一所述环境描述维度对应的所述第二差异表征，得到延迟差异表征；

基于所述带宽差异表征和所述延迟差异表征，得到所述目标内存测试结果。

8.一种内存测试装置，其特征在于，所述装置包括：

场景确定模块：用于响应于内存测试请求，从所述内存测试请求中提取待测试设备中内存模块对应的目标业务场景；

参数确定模块：用于根据所述目标业务场景确定测试环境描述参数，所述测试环境描述参数表征所述内存模块对应的目标内存访问模式和负载压力情况；

结果获取模块：用于获取所述内存模块在所述测试环境描述参数对应的测试环境下的第一内存测试结果。

9.一种电子设备，其特征在于，所述电子设备包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由所述至少一个处理器加载并执行以实现如权利要求1-7任意一项所述的内存测试方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1-7任意一项所述的内存测试方法。

Images