CN113254412A - 一种数据转换方法和装置 - Google Patents

Abstract

本申请提出一种数据转换方法和装置，包括：对测量数据格式MDF文件进行扫描，MDF文件包括多个通道的测量数据；将扫描得到的多个通道的测量数据按照时间点的顺序保存到内存中，得到内存数据集；将内存数据集转换成指定格式的文件。本申请通过对MDF文件扫描后，按照时间点的顺序，将扫描读取的测量数据存入内存中，将内存中的内存数据集转换成指定格式的文件，用于上传至大数据平台分析。本申请的数据处理逻辑简单，减少了指令冗余，降低了磁盘、中央处理器CPU和内存的消耗，提高了数据转换的效率。

Description

一种数据转换方法和装置

技术领域

本申请涉及数据库技术领域，尤其涉及一种数据转换方法和装置。

背景技术

测量数据格式(Measurement Data Format，MDF)文件是一种二进制文件格式，用于记录、交换、并对测量数据进行测量后分析。利用MDF文件中的测量数据分析测量结果时，需要对未排序的MDF文件进行必要的处理得到排序后的MDF文件，打包存入磁盘。再从磁盘中将排序后的MDF文件读取出来，写入内存生成列式存储格式parquet文件，再将parquet文件上传至大数据平台进行分析。该处理过程对磁盘、中央处理器(Central ProcessingUnit，CPU)和内存的消耗较大，且处理过程复杂，对系统性能影响较大。

发明内容

本申请实施例提供一种数据转换方法和装置，以解决相关技术存在的问题，技术方案如下：

第一方面，本申请实施例提供了一种数据转换方法，包括：

对测量数据格式MDF文件进行扫描，MDF文件包括多个通道的测量数据；

将扫描得到的多个通道的测量数据按照时间点的顺序保存到内存中，得到内存数据集；

将内存数据集转换成指定格式的文件。

在一种实施方式中，对MDF文件进行扫描，还包括：

对MDF文件进行扫描，获取扫描频率、列数和列序；

其中，扫描频率为单位时间内扫描MDF文件的次数；

列数为需要扫描的通道；

列序为需要扫描的通道的扫描顺序。

在一种实施方式中，将扫描得到的多个通道的测量数据按照时间点的顺序保存到内存中，包括：

根据扫描频率、列数和列序，将扫描得到的多个通道的测量数据按照时间点的顺序保存到内存中。

在一种实施方式中，对MDF文件进行扫描，包括：通过单指令多数据SIMD指令集对MDF文件进行扫描；

将扫描得到的多个通道的测量数据按照时间点的顺序保存到内存中，包括：将扫描得到的至少一个时间点的各通道的测量数据通过矢量寄存器保存到内存中。

在一种实施方式中，指定格式的文件为列式存储格式parquet文件。

在一种实施方式中，还包括：

获取内存的容量和核数；

根据内存的容量和核数计算时间阈值；

将扫描得到的多个通道的测量数据按照时间点的顺序保存到内存中，包括：按照时间阈值将扫描得到的多个通道的测量数据按照时间点的顺序保存到内存中。

在一种实施方式中，将内存数据集转换成指定格式的文件，包括：对内存数据集进行底层虚拟机LLVM中间表示IR编译，生成parquet文件切片。

第二方面，本申请实施例提供了一种数据转换装置，包括：

数据扫描模块，用于对测量数据格式MDF文件进行扫描，MDF文件包括多个通道的测量数据；

数据存储模块，用于将扫描得到的多个通道的测量数据按照时间点的顺序保存到内存中，得到内存数据集；

数据转换模块，用于将内存数据集转换成指定格式的文件。

在一种实施方式中，数据扫描模块，还用于对MDF文件进行扫描，获取扫描频率、列数和列序；

其中，扫描频率为单位时间内扫描MDF文件的次数；

列数为需要扫描的通道；

列序为需要扫描的通道的扫描顺序。

在一种实施方式中，数据存储模块还用于根据扫描频率、列数和列序，将扫描得到的多个通道的测量数据按照时间点的顺序保存到内存中。

在一种实施方式中，数据扫描模块还用于通过单指令多数据SIMD指令集对MDF文件进行扫描；

数据存储模块还用于将扫描得到的至少一个时间点的各通道的测量数据通过矢量寄存器保存到内存中。

在一种实施方式中，还包括：

内存信息获取模块，用于获取内存的容量和核数；

阈值计算模块，用于根据内存的容量和核数计算时间阈值；

数据存储模块，还用于按照时间阈值将扫描得到的多个通道的测量数据按照时间点的顺序保存到内存中。

上述技术方案中的优点或有益效果至少包括：

本申请通过对MDF文件扫描后，按照时间点的顺序，将扫描读取的测量数据存入内存中，将内存中的内存数据集转换成指定格式的文件，用于上传至大数据平台分析。本申请的数据处理逻辑简单，减少了指令冗余，降低了磁盘、中央处理器CPU和内存的消耗，提高了数据转换的效率。

附图说明

在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本申请公开的一些实施方式，而不应将其视为是对本申请范围的限制。

图1为本申请一个实施例数据转换方法的流程图；

图2为本申请另一实施例数据转换方法的流程图；

图3为本申请另一实施例数据转换方法的流程图；

图4为本申请另一实施例数据转换方法的流程图；

图5为本申请另一实施例数据转换方法的数据转换过程示意图；

图6为本申请一实施例数据转换装置的结构框图；

图7为本申请另一实施例数据转换装置的结构框图；

图8为本申请实施例的数据转换设备的结构框图。

具体实施方式

在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本申请的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。

图1示出根据本申请一实施例的数据转换方法的流程图，如图1所示，包括：

S11：对测量数据格式(MDF)文件进行扫描，MDF文件包括多个通道的测量数据。

MDF文件可以应用在汽车工业等领域，用于记录、存储测量数据。汽车的测试包括多个试验阶段，每一个试验阶段包括多项测试项目，每一项测试项目包括多个测试类别，例如：油耗、转速、转矩、行驶阻力、电池性能、排放性能、油压等。一项测试项目进行测试时，该测试项目的多个测试类别同时测量，多个测试类别所采集的测量数据分别经预设的信号通道传输，存储于MDF文件内特定的通道中。MDF文件中初始的测量数据，通常是没有经过排序。对MDF文件中的测量数据排序后，能够进行数据分析。

在本申请实施例中，对MDF文件进行扫描，根据试验阶段和/或测试项目等，读取MDF文件中的多个信号通道的测量数据。

S12：将扫描得到的多个通道的测量数据按照时间点的顺序保存到内存中，得到内存数据集。

MDF文件中每一个通道的测量数据可以是按照时间顺序测量得到的。例如，如果某个通道的数据是每秒测量一次，则该通道在一分钟的时间长度内可以测量得到60个数据。可以按照时间点对MDF文件进行扫描，以读取某一个时间点的多个通道的测量数据。读取多个时间点的测量数据后，可以按照时间点的顺序将多个通道的测量数据保存到内存中。内存中存储的多个时间点的多个通道的测量数据形成内存数据集。

例如，扫描得到第10秒、第20秒、第30秒的各通道的测量数据，按照第10秒、第20秒、第30秒的顺序保存在内存中。

在一种示例中，每一个通道进行采样的采样频率可能不同。对MDF文件扫描时，个别通道可能在该时间点上未采集数据，可以利用该通道上一个时间点的数据，作为该通道在该时间点的测量数据。

S13：将内存数据集转换成指定格式的文件。

将内存数据集转换成指定格式的文件后，可以将指定格式的文件能上传服务器例如大数据平台。然后，在大数据平台可以按照时间顺序对各通道的数据进行分析。

在一种实施方式中，步骤S12中，将扫描得到的多个通道的测量数据按照时间点的顺序保存到内存中，得到内存数据集。内存数据集的容量小于或等于内存的存储容量。经过步骤S13：将内存数据集转换成指定格式的文件之后，将指定格式的文件移出内存，存放于磁盘或者其他存储介质中，使得内存重新获得存储空间。在内存重新获得存储空间的情况下，继续步骤S11。

参见图2，本申请的一种实施方式中，还可以包括：

S21：对MDF文件进行扫描，获取扫描频率、列数和列序。

其中，扫描频率为单位时间内扫描MDF文件的次数；列数为需要扫描的通道；列序为需要扫描的通道的扫描顺序。

例如，如果扫描频率为1分钟内扫描6次，则10秒扫描一次。需要扫描的通道为油耗通道、转速通道、转矩通道、行驶阻力通道。扫描顺序为油耗通道、转矩通道、转速通道、行驶阻力通道。在实际应用中，根据测试项目，可判定每一个通道的测量数据的重要程度。可以根据通道的测量数据的重要程度设置扫描顺序，例如将重要程度高的通道(油耗通道)排在第一位扫描。在一种实施方式中，步骤S12包括：

S22：根据扫描频率、列数和列序，将扫描得到的多个通道的测量数据按照时间点的顺序保存到内存中。

在本申请实施例中，可以根据数据分析需求灵活配置扫描频率、列数和列序。MDF文件中包括多个通用块，例如DG块(Data Group BLOCK，数据组块)、CG块(Channel GroupBLOCK，通道组块)、CN块(Channel BLOCK，通道信息块)等。每一个通用块中分别存储了多个信号通道的测量数据，每一个信号通道的测量数据根据采样频率采样获得，采样频率为单位时间内采样的次数。而根据不同的需求进行数据分析时，所需要的数据量不同。根据扫描频率，确定单位时间内扫描MDF文件的次数，可按需扫描，减少扫描次数，降低磁盘、中央处理器CPU和内存的消耗，进一步提高数据转换效率。

对MDF文件进行扫描，每一次对MDF文件扫描时，需要对多个模块依次扫描，读取指定信号通道的测量数据。如果对每个信号通道均进行扫描，扫描的工作量大。本申请的一种实施方式中，针对性地配置需要进行分析的信号通道，对需要分析的信号通道进行扫描，能够减少扫描任务，提高扫描效率。

通过配置列序，确定对需要扫描的信号通道进行扫描的扫描顺序，使得内存数据集的中测量数据按照列序存储，内存数据集中的一列测量数据为同一测试类别的测量数据，使得便于转换和分析。

S23：将内存数据集转换成指定格式的文件。

将步骤S22中存储于内存中的内存数据集转换成指定格式的文件，指定格式的文件能直接上传于大数据平台。

参见图3，本申请的一种实施方式中，还可以包括：

S31：通过单指令多数据(Single Instruction Multiple Data，SIMD)指令集对MDF文件进行扫描。

S32：将扫描得到的至少一个时间点的各通道的测量数据通过矢量寄存器保存到内存中。

利用SIMD指令集可以一次读取MDF文件中的一个或多个时间点的多个通道的测量数据，读取到的各通道的测量数据可以先存储于矢量寄存器中。然后，指令寄存器可以将数据存储到内存中。可以根据内存的存储阈值，控制矢量寄存器将多少个时间点的各通道的测量数据保存于内存中。通过SIMD指令集对MDF文件进行扫描和存储，提高数据处理的效率。

S33：将内存数据集转换成指定格式的文件。

将步骤S32中存储于内存中的内存数据集转换成指定格式的文件，指定格式的文件能直接上传于大数据平台。

在一种实施方式中，指定格式的文件为列式存储格式parquet文件。本申请实施例的指定格式的文件也可以为其他格式的文件。

参见图4，本申请的一种实施方式中，可以包括：

S41：对测量数据格式MDF文件进行扫描。

S42：获取内存的容量和核数。

S43：根据内存的容量和核数计算时间阈值。

S44：按照时间阈值将扫描得到的多个通道的测量数据按照时间点的顺序保存到内存中，得到内存数据集。

S45：将内存数据集转换成指定格式的文件。

通过内存的容量、内存的核数，以及一个时间点的所有信号通道的数据容量的预估，可以计算内存中能够存储测量数据的时间阈值。本申请实施例中，时间阈值为最大能够存放多少个时间点的多个通道的测量数据的时间点个数。

通过时间阈值，限定存入内存的内存数据集，便于在内存中对内存数据集进行处理。由于内存数据集是多个时间点的所有信号通道的数据，其中的多个时间点是按照时间排列的，每个时间点的信号通道的数据是完整的，因此可以单独对内存数据集中的多个时间点的所有信号通道的数据进行处理。将MDF文件中的数据切片，切分成多个内存数据集，分别在内存中处理。无需将MDF文件中的数据整体排序，得到排序后的MDF文件，再读取排序后的MDF文件进行处理。本申请实施例的数据转换方法，逻辑过程简单，执行指令少，转换效率高。

本申请实施例中，通过列数指定了需要扫描的通道，计算时间阈值时，可以通过内存的容量、内存的核数以及一个时间点的指定多个通道的数据容量的预估，计算内存中能够存储测量数据的时间阈值。由于通道数量确定，计算的时间阈值更准确。

例如，内存中允许存储30个通道在10个时间点的数据。矢量寄存器一次可以读取30个通道在2个时间点的数据。通过矢量寄存器一次向内存中存储2个时间点的数据，存储5次则达到内存中的时间阈值，可以将这10个时间点的数据作为一个切片进行转换。

在一种实施方式中，将内存数据集转换成指定格式的文件，包括：对内存数据集进行底层虚拟机(Low Level Virtual Machine，LLVM)中间表示(intermediaterepresentation，IR)编译，生成parquet文件切片。

在内存中，对内存数据集进行底层虚拟机LLVM中间表示IR编译，生成parquet文件切片。生成的parquet文件切片可以上传至大数据平台。在大数据平台中，对测量数据处理分析，可以获得汽车测试结果。

在一种示例中，参见图5，MDF文件1中包括已采样的全部时间点的多个通道的测量数据，一个时间点的多个通道的测量数据分布于不同的通道中。通过SIMD指令集对MDF文件1进行扫描，一次读取一个时间点的多个通道的测量数据。将读取到的测量数据存储于矢量寄存器2中，矢量寄存器2中可以存储至少一个时间点的各通道的测量数据。单指令多数据SIMD指令集根据内存的存储阈值，控制将多少个时间点的各通道的测量数据保存于内存3中。内存3中的测量数据形成内存数据集。在内存3中，将存储于内存3中的内存数据集转换成指定格式的文件：列式存储格式parquet文件。本申请将一个测试项目中的测量数据，根据内存3的存储阈值，分切成多个内存数据集，使得内存数据集的容量小于或等于内存3的存储阈值。然后，在内存3中对内存数据集进行处理，编译生成parquet文件切片。将parquet文件切片移出内存3，并存放于磁盘4或者其他存储介质中，使得内存3重新获得存储空间。在内存3重新获得存储空间的情况下，继续对MDF文件1进行扫描。在磁盘4中，将多个parquet文件切片上传于大数据平台5。

图6示出根据本申请一实施例的数据转换装置的结构框图。如图6所示，该数据转换装置可以包括：

数据扫描模块11，用于对测量数据格式MDF文件进行扫描，MDF文件包括多个通道的测量数据。

数据存储模块12，用于将扫描得到的多个通道的测量数据按照时间点的顺序保存到内存中，得到内存数据集。

数据转换模块13，用于将内存数据集转换成指定格式的文件。

在一种实施方式中，还可以包括：

数据扫描模块11，还用于对MDF文件进行扫描，获取扫描频率、列数和列序；

其中，扫描频率为单位时间内扫描MDF文件的次数；

列数为需要扫描的通道；

列序为需要扫描的通道的扫描顺序。

数据存储模块12还用于根据扫描频率、列数和列序，将扫描得到的多个通道的测量数据按照时间点的顺序保存到内存中。

数据转换模块13，用于将内存数据集转换成指定格式的文件。

在本申请实施例中，可以根据数据分析需求灵活配置扫描频率、列数和列序。根据扫描频率，确定单位时间内扫描MDF文件的次数，可按需扫描，减少扫描次数，降低磁盘、中央处理器CPU和内存的消耗，进一步提高数据转换效率。针对性地配置需要进行分析的信号通道，对需要分析的信号通道进行扫描，能够减少扫描任务，提高扫描效率。通过配置列序，确定对需要扫描的信号通道进行扫描的扫描顺序，使得内存数据集的中测量数据按照列序存储，内存数据集中的一列测量数据为同一测试类别的测量数据，便于转换和分析。

在一种实施方式中，还可以包括：

数据扫描模块11还用于通过单指令多数据SIMD指令集对MDF文件进行扫描。

数据存储模块12还用于将扫描得到的至少一个时间点的各通道的测量数据通过矢量寄存器保存到内存中。

数据转换模块13，用于将内存数据集转换成指定格式的文件。

利用SIMD指令集可以一次读取MDF文件中的一个或多个时间点的多个通道的测量数据，读取到的各通道的测量数据可以先存储于矢量寄存器中。然后，指令寄存器可以将数据存储到内存中。可以根据内存的存储阈值，控制矢量寄存器将多少个时间点的各通道的测量数据保存于内存中。通过SIMD指令集对MDF文件进行扫描和存储，提高数据处理的效率。

本申请实施例中，指定格式的文件为列式存储格式parquet文件，也可以为其他格式的文件。

参见图7，在一种实施方式中，还包括：

数据扫描模块41，用于对测量数据格式MDF文件进行扫描，MDF文件包括多个通道的测量数据。

内存信息获取模块42，用于获取内存的容量和核数；

阈值计算模块43，用于根据内存的容量和核数计算时间阈值；

数据存储模块44，还用于按照时间阈值将扫描得到的多个通道的测量数据按照时间点的顺序保存到内存中。

数据转换模块45，用于将内存数据集转换成指定格式的文件。

通过内存的容量、内存的核数，以及一个时间点的所有信号通道的数据容量的预估，可以计算内存中能够存储测量数据的时间阈值。本申请实施例中，时间阈值为最大能够存放多少个时间点的多个通道的测量数据的时间点个数。

在一种实施方式中，数据转换模块用于对内存数据集进行底层虚拟机LLVM中间表示IR编译，生成parquet文件切片。

本发明实施例各装置中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。

图8示出根据本发明一实施例的数据转换设备的结构框图。如图8所示，该数据转换设备包括：存储器910和处理器920，存储器910内存储有可在处理器920上运行的计算机程序。处理器920执行该计算机程序时实现上述实施例中的数据转换方法。存储器910和处理器920的数量可以为一个或多个。

该数据转换设备还包括：

通信接口930，用于与外界设备进行通信，进行数据交互传输。

如果存储器910、处理器920和通信接口930独立实现，则存储器910、处理器920和通信接口930可以通过总线相互连接并完成相互间的通信。该总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器910、处理器920及通信接口930集成在一块芯片上，则存储器910、处理器920及通信接口930可以通过内部接口完成相互间的通信。

本发明实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现本申请实施例中提供的方法。

本申请实施例还提供了一种芯片，该芯片包括，包括处理器，用于从存储器中调用并运行存储器中存储的指令，使得安装有芯片的通信设备执行本申请实施例提供的方法。

本申请实施例还提供了一种芯片，包括：输入接口、输出接口、处理器和存储器，输入接口、输出接口、处理器以及存储器之间通过内部连接通路相连，处理器用于执行存储器中的代码，当代码被执行时，处理器用于执行申请实施例提供的方法。

应理解的是，上述处理器可以是中央处理器(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(digital signal processing，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(fieldprogrammablegate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是，处理器可以是支持进阶精简指令集机器(advanced RISC machines，ARM)架构的处理器。

进一步地，可选的，上述存储器可以包括只读存储器和随机存取存储器，还可以包括非易失性随机存取存储器。该存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以包括只读存储器(read-onlymemory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以包括随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用。例如，静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic random access memory，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data date SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhancedSDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和内存总线随机存取存储器(direct rambus RAM，DR RAM)。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分。并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读存储介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。

应理解的是，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。上述实施例方法的全部或部分步骤是可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。上述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。该存储介质可以是只读存储器，磁盘或光盘等。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种数据转换方法，其特征在于，包括：

对测量数据格式MDF文件进行扫描，所述MDF文件包括多个通道的测量数据；

将扫描得到的多个通道的测量数据按照时间点的顺序保存到内存中，得到内存数据集；

将所述内存数据集转换成指定格式的文件。

2.根据权利要求1所述的方法，其特征在于，对MDF文件进行扫描，还包括：

对所述MDF文件进行扫描，获取扫描频率、列数和列序；

其中，所述扫描频率为单位时间内扫描所述MDF文件的次数；

所述列数为需要扫描的通道；

所述列序为需要扫描的通道的扫描顺序。

3.根据权利要求2所述的方法，其特征在于，将扫描得到的多个通道的测量数据按照时间点的顺序保存到内存中，包括：

根据所述扫描频率、列数和列序，将扫描得到的多个通道的测量数据按照时间点的顺序保存到内存中。

4.根据权利要求1至3中任一项所述的方法，其特征在于，对所述MDF文件进行扫描，包括：通过单指令多数据SIMD指令集对所述MDF文件进行扫描；

将扫描得到的多个通道的测量数据按照时间点的顺序保存到内存中，包括：将扫描得到的至少一个时间点的各通道的测量数据通过矢量寄存器保存到内存中。

5.根据权利要求1所述的方法，其特征在于，所述指定格式的文件为列式存储格式parquet文件。

6.根据权利要求1所述的方法，其特征在于，还包括：

获取所述内存的容量和核数；

根据所述内存的容量和核数计算时间阈值；

将扫描得到的多个通道的测量数据按照时间点的顺序保存到内存中，包括：按照所述时间阈值将扫描得到的多个通道的测量数据按照时间点的顺序保存到内存中。

7.根据权利要求1所述的方法，其特征在于，将所述内存数据集转换成指定格式的文件，包括：对所述内存数据集进行底层虚拟机LLVM中间表示IR编译，生成parquet文件切片。

8.一种数据转换装置，其特征在于，包括：

数据扫描模块，用于对测量数据格式MDF文件进行扫描，所述MDF文件包括多个通道的测量数据；

数据存储模块，用于将扫描得到的多个通道的测量数据按照时间点的顺序保存到内存中，得到内存数据集；

数据转换模块，用于将所述内存数据集转换成指定格式的文件。

9.根据权利要求8所述的装置，其特征在于，所述数据扫描模块还用于对所述MDF文件进行扫描，获取扫描频率、列数和列序；

其中，所述扫描频率为单位时间内扫描所述MDF文件的次数；

所述列数为需要扫描的通道；

所述列序为需要扫描的通道的扫描顺序。

10.根据权利要求9所述的装置，其特征在于，所述数据存储模块还用于根据所述扫描频率、列数和列序，将扫描得到的多个通道的测量数据按照时间点的顺序保存到内存中。

11.根据权利要求8至10中任一项所述的装置，其特征在于，所述数据扫描模块还用于通过单指令多数据SIMD指令集对所述MDF文件进行扫描；

所述数据存储模块还用于将扫描得到的至少一个时间点的各通道的测量数据通过矢量寄存器保存到内存中。

12.根据权利要求8所述的装置，其特征在于，还包括：

内存信息获取模块，用于获取所述内存的容量和核数；

阈值计算模块，用于根据所述内存的容量和核数计算时间阈值；

所述数据存储模块还用于按照所述时间阈值将扫描得到的多个通道的测量数据按照时间点的顺序保存到内存中。

Images