CN116821176B - 时序数据的处理方法、装置、电子设备及介质 - Google Patents

Abstract

本发明公开了一种时序数据的处理方法、装置、电子设备及介质，其中，该方法包括：获取预先设定的滑窗算法的窗口长度和滑动步长；基于窗口长度和滑动步长读取初始时序数据中的待处理时序数据载入内存；采用滑窗算法对内存中的待处理时序数据进行计算，并在计算过程中依序将初始时序数据中剩余的时序数据载入内存，直至初始时序数据计算完成。本发明解决了大数据长度的时序数据一次性导入内存导致的内存溢出、程序崩溃的问题，以及实时读取数据导致的数据处理效率低下的问题。

Description

时序数据的处理方法、装置、电子设备及介质

技术领域

本发明涉及数据处理技术领域，尤其涉及时序数据的处理方法、时序数据的处理装置、电子设备及计算机可读存储介质。

背景技术

在多模态数据融合计算时，在小样本文件上运行得很好，但一旦加载大量真实数据，经常遇到数据集太大、内存不够用的情况，导致内存溢出和程序崩溃。如果有16GB的RAM，那么就无法一次载入100GB长度的文件。操作系统载入这么大的文件时，会在某个时刻耗尽内存，不能分配存储单元，导致程序崩溃。因此，在做大数据融合计算处理时，面临着内存不足的问题，而通过实时读取磁盘数据解决内存不足问题，也会引发数据融合计算效率低的问题。

发明内容

本发明所要解决的技术问题在于，提供一种时序数据的处理方法、时序数据的处理装置、电子设备及计算机可读存储介质，以解决大数据长度的数据一次性导入内存导致的内存溢出、程序崩溃的问题，以及实时读取数据导致的数据处理效率低下的问题。

为了解决上述技术问题，根据本发明一方面，提供了一种时序数据的处理方法，包括：

获取预先设定的滑窗算法的窗口长度和滑动步长；

基于所述窗口长度和所述滑动步长读取初始时序数据中的待处理时序数据载入内存；

采用滑窗算法对所述内存中的所述待处理时序数据进行计算，并在计算过程中依序将所述初始时序数据中剩余的时序数据载入所述内存，直至所述初始时序数据计算完成。

在一些实施方式中，所述采用滑窗算法对所述内存中的所述待处理时序数据进行计算，并在计算过程中依序将所述初始时序数据中剩余的时序数据载入所述内存，直至所述初始时序数据计算完成的步骤，包括：

步骤一、采用所述滑窗算法对所述待处理时序数据中所述窗口长度对应的时序数据进行计算，得到计算结果；

步骤二、删除所述计算完成的所述待处理时序数据中的所述滑动步长对应的前端的时序数据；

步骤三、读取所述初始时序数据中所述滑动步长对应的时序数据载入所述内存中；

步骤四、重复执行步骤一至步骤三，直至所述待处理数据计算完成。

在一些实施方式中，所述方法还包括：

将采用滑窗算法对所述内存中的所述初始时序数据进行计算得到的计算结果异步写入结果文件中。

在一些实施方式中，所述基于所述窗口长度和所述滑动步长读取待处理时序数据中的初始时序数据载入内存的步骤包括：

基于所述窗口长度和所述滑动步长在所述内存中申请内存空间；

在所述初始时序数据中读取与所述内存空间相同长度的所述待处理时序数据；

将所述待处理时序数据存储至所述内存空间内。

根据本发明另一方面，提供一种时序数据的处理装置，包括：

获取模块，配置为获取预先设定的滑窗算法的窗口长度和滑动步长；

载入模块，配置为基于所述窗口长度和所述滑动步长读取初始时序数据中的待处理时序数据载入内存；

计算模块，配置为采用滑窗算法对所述内存中的所述待处理时序数据进行计算，并在计算过程中依序将所述初始时序数据中剩余的时序数据载入所述内存，直至所述初始时序数据计算完成。

在一些实施方式中，所述计算模块包括：

数据计算单元，配置为采用所述滑窗算法对所述待处理时序数据中所述窗口长度对应的时序数据进行计算，得到计算结果；

数据删除单元，配置为删除所述计算完成的所述待处理时序数据中的所述滑动步长对应的前端的时序数据；

数据读取单元，配置为读取所述初始时序数据中所述滑动步长对应的时序数据载入所述内存中；

计算控制单元，配置为控制所述数据计算单元、所述数据删除单元和所述数据读取单元依序重复运行，直至所述待处理数据计算完成。

在一些实施方式中，所述装置还包括：

存储模块，配置为将采用滑窗算法对所述内存中的所述初始时序数据进行计算得到的计算结果异步写入结果文件中。

在一些实施方式中，所述载入模块包括：

内存申请单元，配置为基于所述窗口长度和所述滑动步长在所述内存中申请内存空间；

数据读取单元，配置为在所述初始时序数据中读取与所述内存空间相同长度的所述待处理时序数据；

数据载入单元，配置为将所述待处理时序数据存储至所述内存空间内。

根据本发明再一方面，提供一种电子设备，其包括存储器与处理器，所述存储器存储有计算机程序，所述程序在被所述处理器执行时能够实现上述任一实施方式所述的时序数据的处理方法的步骤。

根据本发明又一方面，提供一种计算机可读存储介质，用于存储计算机程序，所述程序在由一计算机或处理器执行时实现上述任一实施方式所述的时序数据的处理方法的步骤。

本发明与现有技术相比具有明显的优点和有益效果。借由上述技术方案，本发明的时序数据的处理方法、时序数据的处理装置、电子设备及计算机可读存储介质可以达到相当的技术进步性及实用性，并具有产业上的广泛利用价值，其至少具有下列优点：

本发明在对时序数据进行处理时，预先根据滑窗算法的窗口长度和滑动步长确定出预先导入内存的时序数据，并且在计算过程中，基于滑动步长删除计算完成的时序数据，并重新导入滑动步长对应的时序数据到内存中，降低了在数据处理过程中的内存占用量，避免了将待处理的时序数据全部导入内存，致使数据长度过大导致内存溢出及程序崩溃的问题，并且解决了实时读取磁盘中的时序数据进行计算导致的数据计算效率低下的问题。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

图1为本发明一实施例的时序数据的处理方法的流程示意图；

图2为本发明一实施例的图1所示的步骤S20的流程示意图；

图3为本发明一实施例的图1所示的步骤S30的流程示意图；

图4为本发明另一实施例的时序数据的处理方法的示意框图；

图5为本发明一实施例的时序数据的处理装置的示意框图；

图6为本发明另一实施例的时序数据的处理装置的示意框图；

图7为本发明一实施例的载入模块的示意框图；

图8为本发明一实施例的计算模块的示意框图。

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本发明提出的一种时序数据的处理方法、时序数据的处理装置、电子设备及计算机可读存储介质的具体实施方式及其功效，详细说明如后。

本发明提出了一种时序数据的处理方法，如图1所示，该时序数据的处理方法包括：

步骤S10，获取预先设定的滑窗算法的窗口长度和滑动步长。

可知的是，滑窗算法的窗口长度和滑动步长并非是固定不变的，可以根据实际的使用需求及内存情况进行设定。基于此，本发明的窗口长度和滑动步长可以根据内存情况进行设定，也可以根据待处理的数据长度进行设定，还可以根据待处理的数据类型进行设定。本发明并不以具体地窗口长度和滑动步长为限。

步骤S20，基于窗口长度和滑动步长读取初始时序数据中的待处理时序数据载入内存。

本发明中处理的数据为多模态时序数据，该多模态时序数据可以是通过智能手表、手环等设备采集的加速度、角速度、PPG数据等。在对该多模态时序数据进行处理前，预先对该多模态时序数据进行时序对齐。在此需要说明的是，对模态时序数据的时序对齐可采用现有的对齐方式进行，本发明对此不再进行赘述。

在该步骤中，首先载入内存中的时序数据的数据长度根据滑窗算法的窗口长度和滑动步长来进行确定，以保证在对内存中的时序数据进行计算时，能够保证至少一次的完整计算过程。

在一实施例中，如图2所示，步骤S20包括：

步骤S201，基于窗口长度和滑动步长在内存中申请内存空间。

在该步骤中，根据预先设定的滑窗算法的窗口长度和滑动步长向内存申请所需的内存空间。具体地，时序数据处理所需的内存空间为滑窗算法的窗口长度与滑动步长之和。

在一具体实施例中，窗口长度设置为120，滑动步长设置为1，向内存申请的所需的内存空间则为121。在该实施例中，内存空间对应的121为可存储时序数据的长度，即内存空间的长度为存储121个数据所需的长度。

步骤S202，在初始时序数据中读取与内存空间相同长度的待处理时序数据。

在该步骤中，在通过步骤S201确定出所需的内存空间的长度后，则根据该内存空间的长度按照时序读取存储在磁盘文件中的初始时序数据，读取的时序数据的长度与内存空间的长度相同，将读取的时序数据进行初始化，将初始化的时序数据作为待处理时序数据。

步骤S203，将待处理时序数据存储至内存空间内。

在该步骤中，在通过步骤S202读取时序数据并进行初始化得到待处理时序数据后，将该待处理时序数据存储至与该待处理时序数据长度相同的内存空间中。

步骤S30，采用滑窗算法对内存中的待处理时序数据进行计算，并在计算过程中依序将初始时序数据中剩余的时序数据载入内存，直至初始时序数据计算完成。

在该步骤中，通过滑窗算法对内存中的待处理数据进行计算，在采用滑窗算法计算的过程中，随着窗口的滑动按照时序将磁盘中存储的剩余的时序数据依次载入到申请的内存空间中。每次载入的时序数据的数据长度与滑窗算法的滑动步长相对应。

在计算过程中，为了保证内存空间具备对依序载入的时序数据的存储空间，在每次完成对窗口长度对应的时序数据的计算后，删除窗口长度对应的时序数据中前端的时序数据，每次删除的时序数据的量与滑窗算法的滑动步长相对应。

在一实施例中，如图3所示，步骤S30包括：

步骤S301，采用滑窗算法对待处理时序数据中窗口长度对应的时序数据进行计算，得到计算结果。

在该步骤中，在将待处理时序数据载入内存空间后，采用滑窗算法对该待处理时序数据进行计算。具体地，每次计算的时序数据为滑窗算法的窗口长度对应的时序数据。

步骤S302，删除计算完成的待处理时序数据中的滑动步长对应的前端的时序数据。

在该步骤中，在采用滑窗算法完成一次计算后，删除已经计算完成的待处理时序数据中前端的时序数据，所删除的数据长度与滑窗算法的滑动步长相对应。例如，当滑动步长为1时，则在计算完成后，删除内存中首地址对应的待处理时序数据。当滑动步长为2时，则在计算完成后删除内存中前两个地址所对应的待处理时序数据。

步骤S303，读取初始时序数据中滑动步长对应的时序数据载入内存中。

在该步骤中，在步骤S302删除计算完成的待处理时序数据中的滑动步长对应的前端的时序数据后，滑窗算法的窗口依照滑动步长进行滑动，以进行下一次的计算，并且需要依序读取磁盘中的初始时序数据，以载入到内存空间，以能够进行后续的计算过程，在完成一次计算后重新载入到内存空间的时序数据与滑窗算法的滑动步长相对应。具体地，重新载入到内存空间的时序数据的数据长度与滑动步长相对应，也就是说，重新载入到内存空间的时序数据的数据长度与在完成上一次计算后所删除的数据长度相同。

步骤S304，判断初始时序数据是否计算完成，若是，则完成对时序数据的处理，否则重新执行步骤S301至步骤S303。

在该步骤中，通过判断磁盘中所存储的时序数据是否均计算完成来控制对时序数据的处理是否结束。当磁盘中存储的时序数据均计算完成后，则控制停止对时序数据的计算。当磁盘中存储的时序数据未计算完成时，则控制重复执行步骤S301至步骤S303。

在一实施例中，将采用滑窗算法对内存中的初始时序数据进行计算得到的计算结果异步写入结果文件中。

在该实施例中，在采用滑窗算法对内存中存储的时序数据进行计算时，每一次计算均会获取一个计算结果。然后将每一次计算得到的计算结果异步写入结果文件中。

本发明通过将时序数据的计算与计算结果的写入进行异步处理，使得时序数据的计算与计算结果的写入可以同时进行，以避免需将计算结果写入结果文件后再开始进行下一次时序数据的计算的情况，提升了时序数据处理的效率。

在一具体实施方式中，本发明提供一种时序数据的处理方法，包括：

步骤10，根据时序数据的滑窗算法预先设定窗口长度windows_size和滑动步长step_size。

如图4所示，窗口长度windows_size为120，滑动步长step_size为1。

步骤20，根据窗口长度windows_size和滑动步长step_size申请内存空间，其中内存空间mem_size=windows_size + stepsize，即内存空间为121。

步骤30，初始化加载待处理的时序数据，读取mem_size长度的时序数据载入内存中。如图4所示，读取长度为121的时序数据载入到内存中。

步骤40，采用滑窗算法从内存中读取窗口长度的数据进行计算，并将计算结果异步写入结果文件。

如图4所示，采用滑窗算法读取窗口为1~120的时序数据进行计算，并将得到的计算结果异步写入到结果文件中。通过异步写入计算结果的方式，使得结果地写入与时序数据的计算可以同步进行，避免了需结果写入后才能够开始下一次计算的情况，提升了时序数据处理的效率。

步骤50，计算完成后，将内存中首地址的时序数据删除，从磁盘中读取滑动步长step_size的待处理的时序数据存储至内存中。

如图4所示，在步骤40计算完成后，删除窗口为1的时序数据，并对窗口为2-121的时序数据进行计算，同时将磁盘中的时序数据122载入到内存中。

步骤60，重复执行步骤40和步骤50，直至磁盘中的待处理的时序数据计算完成。

如图4所示，在窗口为2-121的时序数据计算完成后，删除窗口为2的时序数据，并对窗口为3-122的时序数据进行计算，同时将磁盘中的时序数据123载入到内存中。以此类推，直至磁盘中的所有时序数据计算完成。

本发明另一实施例的一种时序数据的处理装置，如图5所示，该装置包括：获取模块10、载入模块20和计算模块30。

其中，获取模块10配置为获取预先设定的滑窗算法的窗口长度和滑动步长。

可知的是，滑窗算法的窗口长度和滑动步长并非是固定不变的，可以根据实际的使用需求及内存情况进行设定。基于此，本发明的窗口长度和滑动步长可以根据内存情况进行设定，也可以根据待处理的数据长度进行设定，还可以根据待处理的数据类型进行设定。本发明并不以具体地窗口长度和滑动步长为限。

载入模块20配置为基于窗口长度和滑动步长读取初始时序数据中的待处理时序数据载入内存。

本发明中处理的数据为多模态时序数据，该多模态时序数据可以是通过智能手表、手环等设备采集的加速度、角速度、PPG数据等。在对该多模态时序数据进行处理前，预先对该多模态时序数据进行时序对齐。在此需要说明的是，对模态时序数据的时序对齐可采用现有的对齐方式进行，本发明对此不再进行赘述。

载入模块20首先载入内存中的时序数据的数据长度根据滑窗算法的窗口长度和滑动步长来进行确定，以保证在对内存中的时序数据进行计算时，能够保证至少一次的完整计算过程。

在一实施例中，如图7所示，载入模块20包括：内存申请单元201、数据读取单元202和数据载入单元203。

其中，内存申请单元201配置为基于窗口长度和滑动步长在内存中申请内存空间。

具体地，内存申请单元201根据预先设定的滑窗算法的窗口长度和滑动步长向内存申请所需的内存空间。其中，时序数据处理所需的内存空间为滑窗算法的窗口长度与滑动步长之和。

在一具体实施例中，窗口长度设置为120，滑动步长设置为1，向内存申请的所需的内存空间则为121。在该实施例中，内存空间对应的121为数据长度，即内存空间的长度为存储121个数据所需的长度。

数据读取单元202配置为在初始时序数据中读取与内存空间相同长度的待处理时序数据。

在通过内存申请单元201确定出所需的内存空间的长度后，数据读取单元202则根据该内存空间的长度按照时序读取存储在磁盘文件中的初始时序数据，读取的时序数据的长度与内存空间的长度相同，将读取的时序数据进行初始化，将初始化的时序数据作为待处理时序数据。

数据载入单元203配置为将待处理时序数据存储至内存空间内。

在通过数据读取单元202读取时序数据并进行初始化得到待处理时序数据后，数据载入单元203将该待处理时序数据存储至与该待处理时序数据长度相同的内存空间中。

计算模块30配置为采用滑窗算法对内存中的待处理时序数据进行计算，并在计算过程中依序将初始时序数据中剩余的时序数据依序载入内存，直至初始时序数据计算完成。

计算模块30采用滑窗算法对内存中的待处理数据进行计算，在采用滑窗算法计算的过程中，随着窗口的滑动按照时序将磁盘中存储的剩余的时序数据依次载入到申请的内存空间中。每次载入的时序数据的数据长度与滑窗算法的滑动步长相对应。

在计算过程中，为了保证内存空间具备对依序载入的时序数据的存储空间，在每次完成对窗口长度对应的时序数据的计算后，删除窗口长度对应的时序数据中前端的时序数据，每次删除的时序数据的量与滑窗算法的滑动步长相对应。

在一实施例中，如图8所示，计算模块30包括：数据计算单元301、数据删除单元302、数据读取单元303和计算控制单元304。

数据计算单元301配置为采用滑窗算法对待处理时序数据中窗口长度对应的时序数据进行计算，得到计算结果。

在将待处理时序数据载入内存空间后，数据计算单元301采用滑窗算法对该待处理时序数据进行计算。具体地，每次计算的时序数据的长度与滑窗算法的窗口长度相同。

数据删除单元302配置为删除计算完成的待处理时序数据中的滑动步长对应的前端的时序数据。

在采用滑窗算法完成一次计算后，数据删除单元302删除已经计算完成的待处理时序数据中前端的时序数据，所删除的数据长度与滑窗算法的滑动步长相对应。例如，当滑动步长为1时，则在计算完成后，删除内存中首地址对应的待处理时序数据。当滑动步长为2时，则在计算完成后删除内存中前两个地址所对应的待处理时序数据。

数据读取单元303配置为读取初始时序数据中滑动步长对应的时序数据载入内存中。

在数据删除单元302删除计算完成的待处理时序数据中的滑动步长对应的前端的时序数据后，滑窗算法的窗口依照滑动步长进行滑动，以进行下一次的计算，并且需要依序读取磁盘中的初始时序数据，以载入到内存空间，以能够进行后续的计算过程，在完成一次计算后重新载入到内存空间的时序数据与滑窗算法的滑动步长相对应。具体地，重新载入到内存空间的时序数据的数据长度与滑动步长相对应，也就是说，重新载入到内存空间的时序数据的数据长度与在完成上一次计算后所删除的数据长度相同。

计算控制单元304配置为控制数据计算单元、数据删除单元和数据读取单元依序重复运行，直至待处理数据计算完成。

计算控制单元304通过判断磁盘中所存储的时序数据是否均计算完成来控制对时序数据的处理是否结束。当磁盘中存储的时序数据均计算完成后，则控制停止对时序数据的计算。当磁盘中存储的时序数据未计算完成时，则控制重复控制执行数据计算单元301、数据删除单元302和数据读取单元303。

在一实施例中，如图6所示，时序数据的处理装置还包括：存储模块40，配置为将采用滑窗算法对内存中的初始时序数据进行计算得到的计算结果异步写入结果文件中。

在该实施例中，在采用滑窗算法对内存中存储的时序数据进行计算时，每一次计算均会获取一个计算结果。然后将每一次计算得到的计算结果异步写入结果文件中。

本发明通过将时序数据的计算与计算结果的写入进行异步处理，使得时序数据的计算与计算结果的写入可以同时进行，以避免需将计算结果写入结果文件后再开始进行下一次时序数据的计算的情况，提升了时序数据处理的效率。

本发明的再一实施例的一种电子设备，其包括存储器与处理器，存储器存储有计算机程序，程序在被处理器执行时能够实现任一实施例的时序数据的处理方法的步骤。

在一实施例中，该电子设备包括手机、平板电脑以及智能手环、AR/VR眼镜等穿戴设备。

本发明又一实施例的一种计算机可读存储介质，用于存储计算机程序，程序在由一计算机或处理器执行时实现任一实施例的时序数据的处理方法的步骤。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (8)

1.一种时序数据的处理方法，其特征在于，包括：

获取预先设定的滑窗算法的窗口长度和滑动步长；

基于所述窗口长度和所述滑动步长读取初始时序数据中的待处理时序数据载入内存；

采用滑窗算法对所述内存中的所述待处理时序数据进行计算，并在计算过程中依序将所述初始时序数据中剩余的时序数据载入所述内存，直至所述初始时序数据计算完成，具体包括如下步骤：

步骤一、采用所述滑窗算法对所述待处理时序数据中所述窗口长度对应的时序数据进行计算，得到计算结果；

步骤二、删除所述计算完成的所述待处理时序数据中的所述滑动步长对应的前端的时序数据；

步骤三、读取所述初始时序数据中所述滑动步长对应的时序数据载入所述内存中；

步骤四、重复执行步骤一至步骤三，直至所述待处理数据计算完成。

2.根据权利要求1所述的时序数据的处理方法，其特征在于，所述方法还包括：

将采用滑窗算法对所述内存中的所述初始时序数据进行计算得到的计算结果异步写入结果文件中。

3.根据权利要求1或2所述的时序数据的处理方法，其特征在于，所述基于所述窗口长度和所述滑动步长读取待处理时序数据中的初始时序数据载入内存的步骤包括：

基于所述窗口长度和所述滑动步长在所述内存中申请内存空间；

在所述初始时序数据中读取与所述内存空间相同长度的所述待处理时序数据；

将所述待处理时序数据存储至所述内存空间内。

4.一种时序数据的处理装置，其特征在于，包括：

获取模块，配置为获取预先设定的滑窗算法的窗口长度和滑动步长；

载入模块，配置为基于所述窗口长度和所述滑动步长读取初始时序数据中的待处理时序数据载入内存；

计算模块，配置为采用滑窗算法对所述内存中的所述待处理时序数据进行计算，并在计算过程中依序将所述初始时序数据中剩余的时序数据载入所述内存，直至所述初始时序数据计算完成；

所述计算模块包括：

数据计算单元，配置为采用所述滑窗算法对所述待处理时序数据中所述窗口长度对应的时序数据进行计算，得到计算结果；

数据删除单元，配置为删除所述计算完成的所述待处理时序数据中的所述滑动步长对应的前端的时序数据；

数据读取单元，配置为读取所述初始时序数据中所述滑动步长对应的时序数据载入所述内存中；

计算控制单元，配置为控制所述数据计算单元、所述数据删除单元和所述数据读取单元依序重复运行，直至所述待处理数据计算完成。

5.根据权利要求4所述的时序数据的处理装置，其特征在于，所述装置还包括：

存储模块，配置为将采用滑窗算法对所述内存中的所述初始时序数据进行计算得到的计算结果异步写入结果文件中。

6.根据权利要求4或5所述的时序数据的处理装置，其特征在于，所述载入模块包括：

内存申请单元，配置为基于所述窗口长度和所述滑动步长在所述内存中申请内存空间；

数据读取单元，配置为在所述初始时序数据中读取与所述内存空间相同长度的所述待处理时序数据；

数据载入单元，配置为将所述待处理时序数据存储至所述内存空间内。

7.一种电子设备，其包括存储器与处理器，所述存储器存储有计算机程序，所述程序在被所述处理器执行时能够实现权利要求1至3中任一项所述的时序数据的处理方法的步骤。

8.一种计算机可读存储介质，用于存储计算机程序，所述程序在由一计算机或处理器执行时实现如权利要求1至3中任意一项权利要求所述的时序数据的处理方法的步骤。