CN109189346A

CN109189346A - 一种数据处理方法及装置

Info

Publication number: CN109189346A
Application number: CN201811102500.0A
Authority: CN
Inventors: 武宁
Original assignee: Zhengzhou Yunhai Information Technology Co Ltd
Current assignee: Zhengzhou Yunhai Information Technology Co Ltd
Priority date: 2018-09-20
Filing date: 2018-09-20
Publication date: 2019-01-11
Anticipated expiration: 2038-09-20
Also published as: CN109189346B

Abstract

本申请实施例公开了一种数据处理方法和装置，具体可以包括：首先获取影响高速存储信号质量的变量集合，该变量集合中可以包括多个变量因子，然后，从变量集合中确定一个主变量因子，以该主变量因子对应的一种配置模式为基准，通过批处理方式生成包括其它变量因子不同配置模式组合所对应的配置文档的第一配置文件，即第一配置文件中包括不同配置模式组合对应的多个配置文档，当主变量因子对应多个配置模式时，通过批处理可以同时生成多个第一配置文件，从而可以避免手动配置生成不同变量以及不同模式的组合效率低下以及出错的问题，提高了数据处理效率。

Description

一种数据处理方法及装置

技术领域

本申请涉及计算机技术领域，具体涉及一种数据处理方法及装置。

背景技术

对于存储设备而言，当接收到存储数据时，存储设备的控制器需要向存储空间发送高速存储信号，以便存储空间根据接收的高速存储信号完成数据存储。然而，高速存储信号在传输过程中，存储设备的CPU内核、电路板阻抗值以及内存颗粒终端匹配电阻值大小等变量均会影响高速存储信号的质量，进而影响存储设备的存储性能。而不同的变量可以对应多种不同的配置模式，例如Typical配置模式、High配置模式以及Low配置模式等，不同的配置模式下，对高速存储信号的影响程度各不相同。

在现有技术中，为了获取高速存储信号在不同模式下的传输性能，需要针对不同变量以及不同模式进行组合，并对每个组合进行仿真模拟以得到每个组合对应的高速存储信号的质量。

然而，现有技术中针对每个组合均需要手动配置每个变量对应的配置模式，配置效率低，而且手动操作极易出现错误，导致花费的时间更多。

发明内容

有鉴于此，本申请实施例提供一种数据处理方法及装置，以缩短数据处理时间、提高数据处理效率。

为解决上述问题，本申请实施例提供的技术方案如下：

第一方面，本申请实施例提供了一种数据处理方法，所述方法包括：

获取变量集合；所述变量集合中包括至少一个变量因子；所述变量因子对应至少一种配置模式；

从所述变量集合中确定一个主变量因子；

针对所述主变量因子的任意一种配置模式，通过批处理生成所述配置模式对应的第一配置文件，所述第一配置文件包括所述配置模式下其余变量因子不同配置模式的组合所对应的配置文档；所述其余变量因子为所述变量集合中除所述主变量因子外的所述变量因子。

在一种可能的实现方式中，所述方法还包括：

从每个所述第一配置文件中查找满足预设条件的所述组合对应的配置文档；

根据所有的满足所述预设条件的所述组合对应的配置文档生成第二配置文文件

运行所述第二配置文件，获得每个满足所述预设条件的所述组合对应的眼图数据。

在一种可能的实现方式中，运行所述第二配置文件，获得每个满足所述预设条件的所述组合对应的眼图数据，包括：

运行所述第二配置文件，针对每个所述满足预设条件的所述组合，生成所述组合对应的第三数据文件；

对所述第三数据文件进行批处理数据分析，获得每个所述组合对应的眼图数据。

在一种可能的实现方式中，从每个所述第一配置文件中查找满足预设条件的所述组合对应的配置文档，包括：

利用所述VLOOKUP和/或CONCATENATE函数从每个所述第一配置文件中查找满足预设条件的所述组合对应的配置文档。

在一种可能的实现方式中，所述配置模式为Typical、low、High中一种或多种。

第二方面，本申请实施例提供了一种数据处理装置，所述装置包括：

获取单元，用于获取变量集合；所述变量集合中包括至少一个变量因子；所述变量因子对应至少一种模式；

确定单元，用于从所述变量集合中确定一个主变量因子；

第一生成单元，用于针对所述主变量因子的任意一种模式，通过批处理生成所述模式对应的第一配置文件，所述第一配置文件包括所述模式下其余变量因子不同模式的组合所对应的配置文档；所述其余变量因子为所述变量集合中除所述主变量子外的所述变量因子。

在一种可能的实现方式中，所述装置还包括：

查找单元，用于从每个所述第一配置文件中查找满足预设条件的所述组合对应的配置文档；

第二生成单元，用于根据所有的满足所述预设条件的所述组合对应的配置文件生成第二配置文文件

获得单元，用于运行所述第二配置文件，获得每个满足所述预设条件的所述组合对应的眼图数据。

在一种可能的实现方式中，所述获得单元，包括：

第三生成子单元，用于运行所述第二配置文件，针对每个所述满足预设条件的所述组合，生成所述组合对应的第三数据文件；

获得子单元，用于对所述第三数据文件进行批处理数据分析，获得每个所述组合对应的眼图数据。

在一种可能的实现方式中，所述查找单元，具体用于利用所述VLOOKUP函数和/或CONCATENATE函数从每个所述第一配置文件中查找满足预设条件的所述组合对应的配置文档。

由此可见，本申请实施例具有如下有益效果：

本申请实施例首先获取影响高速存储信号质量的变量集合，该变量集合中可以包括多个变量因子，然后，从变量集合中确定一个主变量因子，以该主变量因子对应的一种配置模式为基准，通过批处理方式生成包括其它变量因子不同配置模式组合所对应的配置文档的第一配置文件，即第一配置文件中包括不同配置模组合对应的多个配置文档，当主变量因子对应多个配置模式时，通过批处理可以同时生成多个第一配置文件，从而可以避免手动配置生成不同变量以及不同模式的组合效率低下以及出错的问题，提高了数据处理效率。

附图说明

图1为本申请实施例提供的一种数据处理方法的流程图；

图2为本申请实施例提供的一种根据第一配置文件生成眼图方法的流程图；

图3为本申请实施例提供的一种采用DOE生成不同配置模式组合示意图；

图4为本申请实施例提供的一种利用MBRE软件进行配置文档生成的示意图；

图5为本申请实施例提供的一种*.mxmle配置文档示意图；

图6A为本申请实施例提供的通过查找函数快速定位满足预设条件组合对应的配置文档示意图；

图6B为本申请实施例提供的通过连接函数对查找的配置文档进行连接的示意图；

图7为本申请实施例提供的生成第二配置文件示意图；

图8为本申请实施例提供的一种运行*.bat文件生成各个组合对应的*.mxmle文档示意图；

图9为本申请实施例提供的一种数据处理装置结构图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请实施例作进一步详细的说明。

为便于理解本申请提供的技术方案，下面先对本申请的背景技术进行说明。

发明人在对传统的数据处理研究中发现，传统的生成不同变量以及不同模式的组合，是通过手动方式进行不同模式配置，从而生成多种组合，然而，当变量增多以及每个变量对应的模式种类增多时，对应的组合数量也将以指数形式增大，面对大量的需要配置的组合，手动配置已不再适用。而且，当配置完成后，对于每种组合，采用单独处理方式进行处理分析，以得到每种组合下所对应的高速存储信号的质量，针对大量的组合，必须进行多次处理才可以获取对应的高速存储信号质量，导致处理时间较长，影响工作效率。

基于此，本申请实施例提供了一种数据处理方法和装置，获取变量集合，该变量集合中包括至少一个变量因子，且每个变量因子对应至少一种配置模式，从变量集合中确定一个主变量因子，对于该主变量因子对应的配置模式中的一种配置模式来讲，通过批处理方式生成该配置模式下包括其余变量因子不同模式的组合所对应的配置文档的第一配置文件，当主变量因子对应多个配置模式时，通过批处理方式可以同时生成多个第一配置文件，该多个第一配置文件包括了所有变量因子在不同模式下的组合所对应的配置文档，从而避免了手动配置生成不同变量以及不同模式的组合效率低下以及出错的问题，提高了数据处理效率。

参见图1，该图为本申请实施例提供的一种数据处理方法的流程图，如图1所示，该方法可以包括：

S101：获取变量集合。

本实施例中，首先获取影响高速存储信号质量的变量集合，该变量集合中包括至少一个变量因子，并且变量因子对应至少一种配置模式。

在实际应用中，影响高速存储信号质量的变量因子包括CPU内核、电路板上阻抗值、内存颗粒终端匹配电阻值等等，该多个变量因子形成变量集合。同时，针对每个变量因子可以对应不同的配置模式，例如，Typical配置模式、High配置模式、Low配置模式等等，不同配置模式下每个变量因子对应的参数值不同，参数值不同导致对高速存储信号质量的影响不同。

在具体实现时，可以通过获取高速存储信号的眼图，来分析不同配置模式对于高速存储信号质量的影响。其中，眼图为一系列数字信号在示波器上累积而显示的图形，它包含了丰富的信息，从眼图上可以观察出码间串扰和噪声的影响，体现了数字信号整体的特征，从而估计系统优劣程度，因而眼图分析是高速互连系统信号完整性分析的核心。在具体应用时，主要通过眼图获得高速存储信号对应的眼宽数据和眼高数据，进而可以通过眼宽数据和眼高数据选择适合高速存储信号传输的配置模式。

S102：从变量集合中确定一个主变量因子。

本实施例中，由于变量集合中可以包括多个变量因子，为便于后续的处理，从变量集合中确定一个主变量因子，然后以该主变量因子为基准进行不同配置模式的组合。

S103：针对主变量因子的任意一种配置模式，通过批处理生成所述配置模式对应的第一配置文件。

本实施例中，当确定主变量因子时，以主变量因子的一种配置模式为基准，通过批处理方式生成包括该配置模式下对应的其余变量因子对应的不同配置模式组合所对应的配置文档的第一配置文件，其中，其余变量因子为所述变量集合中除所述主变量子外的所述变量因子。

例如，变量集合中包括内核变量因子、阻抗变量因子，以及内存颗粒电阻变量因子，并且每个变量因子对应三种不同的配置模式Typical、High和Low，将内核变量因子确定为主变量因子，先以主变量因子的Typical配置模式为基准，生成第一配置文件，该第一配置文件所包括的内容，如表1所示。

表1第一配置文件

需要说明的是，表1仅示出第一配置文件的部分内容，表1中每一行为一种配置模式组合，第一配置文件包括每一组合所对应的配置文档，当主变量因子对应的配置模式为High时，生成该配置模式对应的第一配置文件，从而可以生成三个第一配置文件，该三个第一配置文件包括了三个变量因子的所有配置模式组合对应的配置文档。另外，上述三个第一配置文件可以通过批处理方式同时生成，提高了处理效率。

在具体实现时，首先可以通过试验设计(Design Of Experiments，DOE)方法针对主变量因子的每种配置模式，进行其它变量因子不同模式的组合，然后利用内存位错误比例分析(Memory Bit Ratio Error，MBRE)软件中的批处理Batch功能，生成主变量因子的每种配置模式对应组合的配置文档，具体可以为*.mxmle配置文档。例如，当主变量因子的配置模式为Typical时，生成的第一配置文件包括主变量因子的配置模式为typ时，对应的其余两个变量因子不同配置模式的组合对应的*.mxmle配置文档；当主变量因子的配置模式为High时，生成的第一配置文件包括主变量因子的配置模式为hig时，对应的其余两个变量因子不同配置模式的组合对应的*.mxmle配置文档；当主变量因子的配置模式为Low时，生成的第一配置文件包括主变量因子的配置模式为low时，对应的其余两个变量因子不同配置模式的组合对应的*.mxmle配置文档。

在实际应用中，为区分生成的多个第一配置文件，可以将主变量因子的配置模式作为该第一配置文件的文件名称。例如，根据主变量因子的配置模式Typtical生成的第一配置文件为1_typ；根据主变量因子的配置模式High生成的第一配置文件为2_hig；根据主变量因子的配置模式Low生成的第一配置文件为3_low；

通过上述实施例可知，本申请实施例首先获取影响高速存储信号质量的变量集合，该变量集合中可以包括多个变量因子，然后，从变量集合中确定一个主变量因子，以该主变量因子对应的一种模式为基准，通过批处理生成包括其它变量因子不同模式组合的所对应的配置文件的第一配置文件，当主变量因子对应多个配置模式时，通过批处理可以同时生成多个第一配置文件，从而可以避免手动配置生成不同变量以及不同模式的组合效率低下以及出错的问题，提高了数据处理效率。

可以理解的是，当生成多个第一配置文件时，还需对第一配置文件中的组合进行仿真模拟，以便得到每种组合对应的高速存储信号的眼图，下面将结合附图对根据第一配置文件获取眼图数据进行说明。

参见图2，该图为本申请实施例提供的一种生成眼图方法流程图，如图2所示，该方法可以包括：

S201：从每个第一配置文件中查找满足预设条件的组合对应的配置文件。

本实施例中，当生成主变量因子的不同配置模式对应的第一配置文件时，则从每个第一配置文件中查找满足预设条件组合对应的配置文件。其中，预设条件可以根据实际仿真情况进行设定，例如，在每个第一配置文档中查找电阻值配置模式为type的组合。

在具体实现时，可以利用VLOOKUP和/或CONCATNATE函数从每个第一配置文件中查找满足预设条件的组合对应的配置文档。其中，VLOOKUP函数是Excel中的一个纵向查找函数，可以用来核对数据，多个表格之间快速导入数据等函数功能，具体功能是按列查找，最终返回该列所需查询列序所对应的值。在实际应用时，VLOOKUP(x,y,z,t)，其中，x为需要在数据表查找的值，该值可以为数值或字符串；y表示要查找的数据表区域；z表示需要返回数据在查找区域的第几列；t表示查找是模糊匹配还是精确匹配；当t＝0时，为精确匹配，如果找不到，则返回错误值；当t＝1时，为模糊匹配，如果找不到精确匹配值，则返回一个小于x的最大数值。

CONCATNATE函数为字符串连接函数，最多可将255个文本字符串合并为一个文本字符串，其中，联接项可以是文本、数字、单元格引用或这些项的组合。在本实施例中，通过VLOOKUP函数在第一配置文件中查找满足x的组合，当查找到满足预设条件的多个组合时，并提取该组合对应的配置文档，通过CONCATNATE函数将查找的配置文档进行连接，并利用连接后的配置文档执行S202。

S202：根据所有的满足预设条件的组合对应的配置文档生成第二配置文件。

本实施例中，根据提取的满足预设条件组合对应的配置文档生成第二配置文件，该第二配置文件为可以进行批处理的文件，在具体实现时，第二配置文件可以为*.bat文件。在实际应用中，可以将满足预设条件的组合对应的配置文档，通过复制粘贴的方式生成第二配置文件，即该第二配置文件中包括所有满足预设条件组合的配置文档。

S203：运行第二配置文件，获得每个满足预设条件的组合对应的眼图数据。

本实施例中，当生成第二配置文件时，点击运行第二配置文件，根据运行结果获得每个满足预设条件的组合对应的眼图数据。

在具体实现时，可以先运行第二配置文件，针对每个满足预设条件的组合，生成每个组合对应的第三数据文件，该第三数据文件中包括每个满足预设条件组合对应的运行结果，然后，对所有的第三数据文件进行批处理数据分析，进而获得每个组合对应的眼图数据。通过眼图数据，可以获得每组组合对应的眼宽数据和眼高数据，进而根据眼宽数据和眼高数据选择可以保证高速存储信号质量对应的配置模式组合。

通过本申请实施例提供的方法，当生成第一配置文件时，可以从第一配置文件中提取满足预设条件组合的配置文档，并根据获取的配置文档生成第二配置文件，进而运行第二配置文件获得每个组合对应的眼图数据，本实施例中，可以对第二配置文件中包括的所有的配置文档进行批处理，通过一次批处理操作便可获得每个组合对应的眼图数据，有效的降低了数据处理分析时间，提高了工作的时效性。

为便于理解本申请的技术方案，下面将以具体的应用场景为例进行说明。

参见图3，该图为通过DOE方法生成所需处理的所有配置模式组合，在该图中，每个变量因子对应三种配置模式，其中，typ对应的配置模式为Typtical，min对应的配置模式为Low，max对应的配置模式为High。

利用MBRE软件的批处理功能，生成1_type、2_fast、3_slow三个文件，然后，通过选择图4所示的三个配置选项，以变量因子corner为主变量，生成三个文件中每个组合对应的*.mxmle配置文档，如图5所示。

利用VLOOKUP从上述三个文件中查找到满足预设条件的配置文档，如图6A所示，然后利用CONCATENATE函数将不同单元格中的文本内容连接起来，生成Copy.\1_typ\read_2r2r_chA_1.mxmle字符串语句，如图6B所示。

将查找的所有满足预设条件组合的配置文档复制粘贴到*.bat批处理文件中，如图7所示。

然后，点击运行*.bat文件，生成每个组合对应的第三数据文档*.mxmle文档，如图8所示，然后，仅对通过运行*.bat文件生成的*.mxmle文档进行批处理数据分析，从而可以获得每个组合对应的眼宽数据和眼高数据，有效的缩短了数据处理分析时间，提高工作的时效性。

基于上述方法实施例，本申请还提供了数据处理装置，下面将结合附图对该装置进行说明。

参见图9，该图为本申请实施例提供的一种数据处理装置结构图，该装置可以包括：

获取单元901，用于获取变量集合；所述变量集合中包括至少一个变量因子；所述变量因子对应至少一种模式；

确定单元902，用于从所述变量集合中确定一个主变量因子；

第一生成单元903，用于针对所述主变量因子的任意一种模式，通过批处理生成所述模式对应的第一配置文件，所述第一配置文件包括所述模式下其余变量因子不同模式的组合所对应的配置文档；所述其余变量因子为所述变量集合中除所述主变量子外的所述变量因子。

在一种可能的实现方式中，所述装置还包括：

在一种可能的实现方式中，所述获得单元，包括：

在一种可能的实现方式中，所述查找单元，具体用于利用所述VLOOKUP和/或CONCATENATE函数从每个所述第一配置文件中查找满足预设条件的所述组合对应的配置文档。

在一种可能的实现方式中，所述配置模式为Typical、Slow、High中一种或多种。

需要说明的是，本实施例中各模块的实现可以参见方法实施例，本实施例在此不再赘述。

通过本实施例，首先获取影响高速存储信号质量的变量集合，该变量集合中可以包括多个变量因子，然后，从变量集合中确定一个主变量因子，以该主变量因子对应的一种配置模式为基准，通过批处理方式生成包括其它变量因子不同配置模式组合所对应的配置文档的第一配置文件，即第一配置文件中包括不同配置模组合对应的多个配置文档，当主变量因子对应多个配置模式时，通过批处理可以同时生成多个第二配置文件，从而可以避免手动配置生成不同变量以及不同模式的组合效率低下以及出错的问题，提高了数据处理效率。

需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统或装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种数据处理方法，其特征在于，所述方法包括：

从所述变量集合中确定一个主变量因子；

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，运行所述第二配置文件，获得每个满足所述预设条件的所述组合对应的眼图数据，包括：

4.根据权利要求2所述的方法，其特征在于，从每个所述第一配置文件中查找满足预设条件的所述组合对应的配置文档，包括：

5.根据权利要求1所述的方法，其特征在于，所述配置模式为Typical、low、High中一种或多种。

6.一种数据处理装置，其特征在于，所述装置包括：

确定单元，用于从所述变量集合中确定一个主变量因子；

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

8.根据权利要求7所述的装置，其特征在于，所述获得单元，包括：

9.根据权利要求7所述的装置，其特征在于，所述查找单元，具体用于利用所述VLOOKUP函数和/或CONCATENATE函数从每个所述第一配置文件中查找满足预设条件的所述组合对应的配置文档。

10.根据权利要求6所述的装置，其特征在于，所述配置模式为Typical、Low、High中一种或多种。