CN109492574B - 一种数据处理方法及装置 - Google Patents

Abstract

本发明提供了一种数据处理方法及装置，该方法包括：获取采用预设采集速率采集到的原始数据；对原始数据进行极值抽样，得到预设缓存数据；其中，预设缓存数据包括N层缓存数据，第0层缓存数据为原始数据，第n+1层缓存数据为通过对第n层缓存数据进行极值抽样而得到的数据，1≤n+1≤N‑1，N为预设层数；接收数据请求，数据请求中携带有指定时间窗口；依据指定时间窗口与预设采集速率，确定目标分层；从预设缓存数据中的目标分层的缓存数据中，提取显示数据，从而在不丢失原始数据信号特征的前提下，有效降低了显示数据的数据量，有效提高了数据实时监控的性能。

Description

一种数据处理方法及装置

技术领域

本发明涉及电子测试测量技术领域，更具体的说，涉及一种数据处理方法及装置。

背景技术

在电子测试测量领域，通常需要对分析的信号进行采集和实时显示，其中，由于信号采集频率较高，所以可以在短时间内采集到大量的数据，通过对采集到的数据的实时显示，便可以使用户观察到相应的信号特征。

现有的数据处理方法，一般是直接采用采集到的原始数据进行显示，而不对原始数据进行任何抽样处理，或者是对原始数据进行均匀抽样后，采用均匀抽样得到的数据进行显示。其中，当不对原始数据进行抽样时，在数据实时显示时，会导致传输数据量巨大，传输时间长，无法实现数据的实时监控；当采用均匀抽样对原始数据进行处理时，会导致信号严重失真，在实时监控中无法看出相应的信号特征。

因此，目前迫切需要一种切实有效的数据处理方案，以在不丢失原始数据信号特征的前提下降低显示数据的数据量。

发明内容

有鉴于此，本发明提供了一种数据处理方法及装置，以解决现有的数据处理方案，无法在不丢失原始数据信号特征的前提下降低显示数据的数据量的技术问题。

为实现上述目的，本发明提供如下技术方案：

一种数据处理方法，所述方法包括：

获取采用预设采集速率采集到的原始数据；

对所述原始数据进行极值抽样，得到预设缓存数据；其中，所述预设缓存数据包括N层缓存数据，第0层缓存数据为所述原始数据，第n+1层缓存数据为通过对第n层缓存数据进行极值抽样而得到的数据，1≤n+1≤N-1，N为预设层数；

接收数据请求，所述数据请求中携带有指定时间窗口；

依据所述指定时间窗口与所述预设采集速率，确定目标分层；

从所述预设缓存数据中的所述目标分层的缓存数据中，提取显示数据。

优选的，所述对所述原始数据进行极值抽样，得到预设缓存数据包括：

将所述原始数据添加至第0层缓存空间，作为所述第0层缓存数据；

依据预设抽样比例q，对所述第n层缓存数据进行极值抽样，得到所述第n+1层缓存数据。

优选的，所述依据预设抽样比例q，对所述第n层缓存数据进行极值抽样，得到所述第n+1层缓存数据包括：

从所述第n层缓存数据的每2f个数据中，分别提取出相应的最大数据P_max与最小数据P_min，其中，f＝1/q；

记录所述P_max在所述第n层缓存数据中的位置序号L_max，以及，所述P_min在所述第n层缓存数据中的位置序号L_min；

根据所述L_max与所述L_min的大小关系，将所述P_max与所述P_min依次添加至第n+1层缓存空间，作为所述第n+1层缓存数据。

优选的，所述根据所述L_max与所述L_min的大小关系，将所述P_max与所述P_min依次添加至第n+1层缓存空间，作为所述第n+1层缓存数据包括：

当L_max＜L_min时，先将所述P_max添加至第n+1层缓存空间，再将所述P_min添加至第n+1层缓存空间，作为所述第n+1层缓存数据；

当L_max≥L_min时，先将所述P_min添加至第n+1层缓存空间，再将所述P_max添加至第n+1层缓存空间，作为所述第n+1层缓存数据。

优选的，在所述对所述原始数据进行极值抽样，得到预设缓存数据之后，所述方法还包括：

将所述预设缓存数据中的各层缓存数据，分别存储至不同的数据存储对象中。

优选的，所述将所述预设缓存数据中的各层缓存数据，分别存储至不同的数据存储对象中包括：

当第i层缓存数据的数据量达到第i数据量阈值时，将所述第i层缓存数据存储至第i数据存储对象中；

其中，所述第i数据量阈值为第i层对应的数据量阈值；所述第i数据存储对象为第i层对应的数据存储对象，0≤i≤N-1。

优选的，所述依据所述指定时间窗口与所述预设采集速率，确定目标分层包括：

根据所述指定时间窗口与所述预设采集速率，确定所述原始数据的数据量；

根据所述原始数据的数据量与所述预设抽样比例q，确定目标分层的层号。

优选的，所述从所述预设缓存数据中的所述目标分层的缓存数据中，提取显示数据包括：

读取所述预设缓存数据中所述目标分层的缓存数据；

当所述目标分层的缓存数据的数据量大于显示数据量阈值时，对所述目标分层的缓存数据进行极值抽样，获得数据量不大于所述显示数据量阈值的显示数据。

优选的，在所述读取所述预设缓存数据中所述目标分层的缓存数据之后，所述方法还包括：

当所述目标分层的缓存数据的数据量不大于所述显示数据量阈值时，将所述目标分层的缓存数据确定为显示数据。

一种数据处理装置，所述装置包括：

原始数据获取单元，用于获取采用预设采集速率采集到的原始数据；

数据极值抽样单元，用于对所述原始数据进行极值抽样，得到预设缓存数据；其中，所述预设缓存数据包括N层缓存数据，第0层缓存数据为所述原始数据，第n+1层缓存数据为通过对第n层缓存数据进行极值抽样而得到的数据，1≤n+1≤N-1，N为预设层数；

数据请求接收单元，用于接收数据请求，所述数据请求中携带有指定时间窗口；

目标分层确定单元，用于依据所述指定时间窗口与所述预设采集速率，确定目标分层；

显示数据提取单元，用于从所述预设缓存数据中的所述目标分层的缓存数据中，提取显示数据。

从上述的技术方案可以看出，本发明提供的数据处理方法及装置，在获取到采用预设采集速率采集到的原始数据之后，基于极值抽样与分层缓存机制，得到数据量不同的N层缓存数据，并在接收到数据请求后，确定相应的目标分层，再对目标分层的缓存数据进行显示数据的提取，进而得到数据量较少的显示数据，从而在不丢失原始数据信号特征的前提下，有效降低了显示数据的数据量，有效提高了数据实时监控的性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的数据处理方法的一种流程图；

图2为本发明实施例提供的数据处理方法的另一种流程图；

图3为本发明实施例提供的数据处理方法的又一种流程图；

图4为本发明实施例提供的数据处理方法的再一种流程图；

图5为本发明实施例提供的数据处理装置的一种结构示意图；

图6为本发明实施例提供的数据处理装置的另一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供的数据处理方法及装置，能够保证在不丢失原始数据信号特征的前提下，有效降低显示数据的数据量，可用于实现高性能的数据实时监控过程。

请参阅图1，图1为本发明实施例提供的数据处理方法的一种流程图。

如图1所示，数据处理方法包括：

S101：获取采用预设采集速率采集到的原始数据。

数据采集系统以预设采集速率S实时采集数据信号，得到原始数据，从数据采集系统便可以获取到原始数据。其中，预设采集速率S的单位为赫兹(Hz)。

S102：对原始数据进行极值抽样，得到预设缓存数据。

其中，预设缓存数据中，第0层缓存数据为原始数据，第n+1层缓存数据为通过对第n层缓存数据进行极值抽样而得到的数据，1≤n+1≤N-1，N为预设层数。其中，第0层为首层。

在数据采集系统中由于存储空间的限制，一般采用3层缓存数据即可满足实时采集和实时监控的需求，即设定N＝3。当然，在存储空间足够的情况下也可以设置更多层，即N值可根据具体需求来进行灵活设置，例如，可根据采样速率、存储空间大小等情况进行灵活设置。

第n层缓存数据可记为D_n，D₀即为原始数据，D_n+1为D_n经极值抽样后得到的数据，D_n+1的数据量必然小于D_n的数据量。

例如，D_n的数据量可为D_n+1的数据量的1000倍，即从D_n的每1000个数据中抽取一个数据放入D_n+1中，并且，D_n+1中两相邻数据间的时间间隔为(1/S)*1000ⁿ⁺¹秒。当然，D_n的数据量与D_n+1的数据量之间的倍数关系，可根据具体需求进行灵活设定，而并不局限于1000倍。

其中，一个数据就是指一个采样点数据或抽样点数据。数据量是指数据的个数。

S103：接收数据请求，数据请求中携带有指定时间窗口。

数据请求可具体为数据显示请求，即用于请求所要显示的数据的请求。指定时间窗口是所要显示的数据的时间窗口，例如，可请求显示最近1秒时间范围内的数据。

S104：依据指定时间窗口与预设采集速率，确定目标分层。

依据指定时间窗口与预设采集速率，可以计算出所请求的数据的所在分层，即目标分层。

S105：从预设缓存数据中的目标分层的缓存数据中，提取显示数据。

相较于均匀抽样，极值抽样可以充分保留原始数据的信号特征，避免信号特征的丢失，并可充分降低抽样后得到的显示数据的数据量。

本实施例提供的数据处理方法，在获取到采用预设采集速率采集到的原始数据之后，基于极值抽样与分层缓存机制，得到数据量不同的N层缓存数据，并在接收到数据请求后，确定相应的目标分层，再对目标分层的缓存数据进行显示数据的提取，得到数据量较少的显示数据，从而在不丢失原始数据信号特征的前提下，有效降低了显示数据的数据量，有效提高了数据实时监控的性能。

请参阅图2，图2为本发明实施例提供的数据处理方法的另一种流程图。

如图2所示，数据处理方法包括：

S201：获取采用预设采集速率采集到的原始数据。

S202：将原始数据添加至第0层缓存空间，作为第0层缓存数据。

每一层都具有相对应的缓存空间，各层缓存数据分别保存在各层缓存空间中。例如，第0层缓存空间中保存的是第0层缓存数据，也即原始数据。

S203：依据预设抽样比例q，对第n层缓存数据进行极值抽样，得到第n+1层缓存数据。

其中，1≤n+1≤N-1，N为预设层数。

一示例中，该步骤S203可具体包括：

a1、从第n层缓存数据的每2f个数据中，分别提取出相应的最大数据P_max与最小数据P_min，其中，f＝1/q。

例如，当q＝1/1000时，f＝1000，即从D_n的每2000个数据中，找出最大数据与最小数据。

其中，f为第n+1层缓存数据的数据量相对于第n层缓存数据的数据量的倍数。具体地，可以根据预设抽样比例计算该倍数，也可以先预设该倍数，并根据该倍数来计算预设抽样比例。

a2、记录P_max在第n层缓存数据中的位置序号L_max，以及，P_min在第n层缓存数据中的位置序号L_min。

a3、根据L_max与L_min的大小关系，将P_max与P_min依次添加至第n+1层缓存空间，作为第n+1层缓存数据。

具体地，当L_max＜L_min时，先将P_max添加至第n+1层缓存空间，再将P_min添加至第n+1层缓存空间，作为第n+1层缓存数据；当L_max≥L_min时，先将P_min添加至第n+1层缓存空间，再将P_max添加至第n+1层缓存空间，作为第n+1层缓存数据。

S204：接收数据请求，数据请求中携带有指定时间窗口。

S205：依据指定时间窗口与预设采集速率，确定目标分层。

S206：从预设缓存数据中的目标分层的缓存数据中，提取显示数据。

本实施例提供的数据处理方法，在获取到采用预设采集速率采集到的原始数据之后，基于极值抽样与分层缓存机制，将原始数据添加至第0层缓存空间，作为第0层缓存数据，并依据预设抽样比例q，对第n层缓存数据进行极值抽样，得到第n+1层缓存数据，进而得到数据量不同的N层缓存数据，实现了至少一层的极值抽样过程，为降低显示数据的数据量提供了充分数据支持，并能够充分保留原始数据的信号特征，有效提高了数据实时监控的性能。

请参阅图3，图3为本发明实施例提供的数据处理方法的又一种流程图。

如图3所示，数据处理方法包括：

S301：获取采用预设采集速率采集到的原始数据。

S302：对原始数据进行极值抽样，得到预设缓存数据。

其中，预设缓存数据中，第0层缓存数据为原始数据，第n+1层缓存数据为通过对第n层缓存数据进行极值抽样而得到的数据，1≤n+1≤N-1，N为预设层数。

S303：将预设缓存数据中的各层缓存数据，分别存储至不同的数据存储对象中。

在实时监控数据的过程中，数据采集速率高，数据量大，当需要进行大时间窗口的数据显示或查看细节数据时，需要将缓存数据进行存储，以防止过多的占用内存资源。因此，在完成数据采集和数据抽样后，不同层的缓存数据可分别使用不同的数据存储对象进行保存，并记录下相应的层号。其中，数据存储对象可包括文件或数据库表格。

一示例中，该步骤S303可具体包括：

当第i层缓存数据的数据量达到第i数据量阈值时，将第i层缓存数据存储至第i数据存储对象中。

其中，第i数据量阈值为第i层对应的数据量阈值；第i数据存储对象为第i层对应的数据存储对象，0≤i≤N-1。

对于不同层，可分别设置相应的数据量阈值，当某一层缓存空间中缓存数据的数据量达到该层对应的数据量阈值时，将该层缓存空间中保存的缓存数据写入到该层对应的数据存储对象中。

例如，对第0层对应的数据量阈值设置为10000，第1层对应的数据量阈值设置为1000，则当第0层缓存数据D₀的数据量达到10000时，将D₀写入对应的数据存储对象，当第1层缓存数据D₁的数据量达到1000时，将D₁写入对应的数据存储对象。

当预设采集速率较大时，可以将各层对应的数据量阈值设置得大一些，以减少数据写入次数。其中，各层对应的数据量阈值可以相同，也可以不同，具体可根据需求进行灵活设置。

S304：接收数据请求，数据请求中携带有指定时间窗口。

S305：依据指定时间窗口与预设采集速率，确定目标分层。

S306：从预设缓存数据中的目标分层的缓存数据中，提取显示数据。

本实施例提供的数据处理方法，在获取到采用预设采集速率采集到的原始数据之后，基于极值抽样与分层缓存机制，得到数据量不同的N层缓存数据，并将N层缓存数据中的各层缓存数据，分别存储至不同的数据存储对象中，实现了N层缓存数据的分别存储，缓解了各层缓存空间的缓存压力，保证了各层数据的完整性，并且，数据存储对象与层号相对应，从而提高了数据读取的便利性，为显示数据的获取提供了充分的数据支持。

请参阅图4，图4为本发明实施例提供的数据处理方法的再一种流程图。

如图4所示，数据处理方法包括：

S401：获取采用预设采集速率采集到的原始数据。

S402：将原始数据添加至第0层缓存空间，作为第0层缓存数据。

S403：依据预设抽样比例q，对第n层缓存数据进行极值抽样，得到第n+1层缓存数据。

S404：接收数据请求，数据请求中携带有指定时间窗口。

S405：根据指定时间窗口与预设采集速率，确定原始数据的数据量。

例如，指定时间窗口的大小为T，预设采集速率为S，原始数据的数据量为C，其中，C＝T×S。

在得到原始数据的数据量C后，便可以基于预设抽样比例q，计算出目标分层的层号。

S406：根据原始数据的数据量与预设抽样比例，确定目标分层的层号。

例如，利用公式

计算目标分层的层号I，其中，当I＜0时，将I置为0。

其中，I为目标分层的层号；C为原始数据的数据量；f＝1/q。

为向下取整符号，

表示对log_fC进行向下取整计算。

S407：从预设缓存数据中的目标分层的缓存数据中，提取显示数据。

一示例中，该步骤S407可具体包括：

b1、读取预设缓存数据中目标分层的缓存数据。

b2、当目标分层的缓存数据的数据量大于显示数据量阈值时，对目标分层的缓存数据进行极值抽样，获得数据量不大于显示数据量阈值的显示数据。

其中，可根据目标分层的缓存数据的数据量与显示数据量阈值，计算相应的抽样比例，按照计算出来的抽样比例，对目标分层的缓存数据进行极值抽样，得到数据量不大于显示数据量阈值的显示数据。

例如，显示数据量阈值可设定为1000，若目标分层的缓存数据的数据量为5000，则计算出抽样比例20％，即显示数据量阈值/目标分层的缓存数据的数据量，并按照抽样比例20％，对目标分层的缓存数据进行极值抽样，即从每10个数据中抽取2个极值点，进而得到数据量为1000的显示数据。

b3、当目标分层的缓存数据的数据量不大于显示数据量阈值时，将目标分层的缓存数据确定为显示数据。

例如，显示数据量阈值仍设定为1000，若目标分层的缓存数据的数据量不大于1000，则将目标分层的缓存数据确定为显示数据，以响应数据请求，返回显示数据。

在另一示例中，当目标分层的缓存数据的数据量不大于显示数据量阈值时，除了将目标分层的缓存数据确定为显示数据外，还可以从目标分层对应的数据存储对象中读取相应的缓存数据作为显示数据，使最终获取到的显示数据的数据量等于显示数据量阈值。

本实施例提供的数据处理方法，在接收到数据请求时，根据指定时间窗口与预设采集速率，确定原始数据的数据量，并根据原始数据的数据量与预设采集速率，计算出目标分层的层号，实现了显示数据的快速定位，在降低显示数据数据量，保留原始数据信号特征的基础上，进一步提高了显示数据的获取速度，进一步提高了数据实时监控的性能。

在实际应用中，对于10M采集速率的数据实时监控系统，可设定N＝3，即N层包括第0层、第1层与第2层。相应的，该数据实时监控系统的数据处理过程可主要包括以下步骤：

步骤一，使用10M采集速率进行采集时，每秒将采集到10000000个原始数据缓存在D₀中，D₀中每两个相邻数据的时间间隔为100ns；将对D₀进行极值抽样得到的10000个数据缓存至D₁中，D₁中每两个相邻数据的时间间隔为100us；将对D₁进行极值抽样得到的10个数据缓存至D₂中，D₂中每两个相邻数据的时间间隔为100ms。

步骤二，由于信号采集速率高，每秒会产生10000000个数据，为了降低对缓存空间的占用，需要将D_n的缓存数据写入到硬盘中，使用文件或数据库分别进行存储。当D_n的数据量超过1000或数据采集停止时，将D_n的缓存数据写入文件或数据库，并可同时清空D_n的缓存空间。其中，可将每层的数据量阈值都设置为1000。缓存空间可以是指内存空间。

步骤三，假设实时监控最近1秒(s)内的数据，即指定时间窗口T为1s。根据信号采集速率S，如10MHz，计算出原始数据的数据量C为10000000，根据log₁₀₀₀C向下取整再减1，得到目标分层的层号为1，即需要在第1层中读取最近1s内的10000个数据。在第1层中读取最后缓存的10000个数据，若不足10000个缓存数据，则在第1层对应的存储的文件或数据库中，读取剩余数据，共同组成10000个数据，其中，前述10000个缓存数据是依据D₁对应的数据量阈值确定的；再经极值抽样，从每20个数据抽取出2个极值点数据，得到最终的1000个数据，每两个相邻数据的时间间隔为1ms，并响应数据请求，返回这1000个数据，返回数据量与指定时间窗口的大小以及采集速率有关。

本发明实施例还提供了数据处理装置，数据处理装置可用于实施本发明实施例提供的数据处理方法，下文描述的数据处理装置的技术内容，可与上文描述的数据处理方法内容相互对应参照。

请参阅图5，图5为本发明实施例提供的数据处理装置的一种结构示意图。

如图5所示，数据处理装置包括：

原始数据获取单元100，用于获取采用预设采集速率采集到的原始数据。

数据极值抽样单元200，用于对原始数据进行极值抽样，得到预设缓存数据。

其中，预设缓存数据包括N层缓存数据，第0层缓存数据为原始数据，第n+1层缓存数据为通过对第n层缓存数据进行极值抽样而得到的数据，1≤n+1≤N-1，N为预设层数。

数据请求接收单元300，用于接收数据请求，数据请求中携带有指定时间窗口。

目标分层确定单元400，用于依据指定时间窗口与预设采集速率，确定目标分层。

显示数据提取单元500，用于从预设缓存数据中的目标分层的缓存数据中，提取显示数据。

本实施例提供的数据处理装置，在获取到采用预设采集速率采集到的原始数据之后，基于极值抽样与分层缓存机制，得到数据量不同的N层缓存数据，并在接收到数据请求后，确定相应的目标分层，再对目标分层的缓存数据进行显示数据的提取，得到数据量较少的显示数据，从而在不丢失原始数据信号特征的前提下，有效降低了显示数据的数据量，有效提高了数据实时监控的性能。

请参阅图6，图6为本发明实施例提供的数据处理装置的另一种结构示意图。

如图6所示，本实施例的数据处理装置，除了包括前述实施例中的原始数据获取单元100、数据极值抽样单元200、数据请求接收单元300、目标分层确定单元400与显示数据提取单元500外，还包括：

缓存数据存储单元600，用于在对原始数据进行极值抽样，得到预设缓存数据之后，将预设缓存数据中的各层缓存数据，分别存储至不同的数据存储对象中。

缓存数据存储单元600，可具体用于：当第i层缓存数据的数据量达到第i数据量阈值时，将第i层缓存数据存储至第i数据存储对象中。

其中，第i数据量阈值为第i层对应的数据量阈值；第i数据存储对象为第i层对应的数据存储对象，0≤i≤N-1。

一示例中，数据极值抽样单元200还可具体用于：

将原始数据添加至第0层缓存空间，作为第0层缓存数据；依据预设抽样比例q，对第n层缓存数据进行极值抽样，得到第n+1层缓存数据。

其中，依据预设抽样比例q，对第n层缓存数据进行极值抽样，得到第n+1层缓存数据可包括：

a1、从第n层缓存数据的每2f个数据中，分别提取出相应的最大数据P_max与最小数据P_min，其中，f＝1/q；

a2、记录P_max在第n层缓存数据中的位置序号L_max，以及，P_min在第n层缓存数据中的位置序号L_min；

a3、根据L_max与L_min的大小关系，将P_max与P_min依次添加至第n+1层缓存空间，作为第n+1层缓存数据。

具体地，当L_max＜L_min时，先将P_max添加至第n+1层缓存空间，再将P_min添加至第n+1层缓存空间，作为第n+1层缓存数据；当L_max≥L_min时，先将P_min添加至第n+1层缓存空间，再将P_max添加至第n+1层缓存空间，作为第n+1层缓存数据。

一示例中，目标分层确定单元400还可具体用于：

根据指定时间窗口与预设采集速率，确定原始数据的数据量；根据原始数据的数据量与预设抽样比例q，确定目标分层的层号。

一示例中，显示数据获取单元500还可具体用于：

读取预设缓存数据中目标分层的缓存数据；

当目标分层的缓存数据的数据量大于显示数据量阈值时，对目标分层的缓存数据进行极值抽样，获得数据量不大于显示数据量阈值的显示数据；

当目标分层的缓存数据的数据量不大于显示数据量阈值时，将目标分层的缓存数据确定为显示数据。

本实施例提供的数据处理装置，在获取到采用预设采集速率采集到的原始数据之后，基于极值抽样与分层缓存机制，得到数据量不同的N层缓存数据，并将N层缓存数据中的各层缓存数据，分别存储至不同的数据存储对象中，实现了N层缓存数据的分别存储，缓解了各层缓存空间的缓存压力，保证了各层数据的完整性，并且，数据存储对象与层号相对应，从而提高了数据读取的便利性，为显示数据的获取提供了充分的数据支持。

本发明实施例提供的数据处理装置，包括处理器和存储器，上述原始数据获取单元100、数据极值抽样单元200、数据请求接收单元300、目标分层确定单元400与显示数据提取单元500、缓存数据存储单元600等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来解决现有的数据处理方案，无法在不丢失原始数据信号特征的前提下降低显示数据的数据量的技术问题。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现前述的数据处理方法的步骤。

本发明实施例提供了一种处理器，处理器用于运行程序，其中，程序运行时执行前述的数据处理方法的步骤。

本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现前述的数据处理方法的步骤。

本发明中的设备可以是服务器、PC、PAD、手机等。

本发明还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有前述的数据处理方法的步骤的程序。

最后，还需要说明的是，在本文中，诸如第一和第一等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备执行本发明各个实施例或者实施例的某些部分所述的方法，其中，计算机设备可以包括个人计算机，服务器，或者网络设备等。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：

获取采用预设采集速率采集到的原始数据；

对所述原始数据进行极值抽样，得到预设缓存数据；其中，所述预设缓存数据包括N层缓存数据，第0层缓存数据为所述原始数据，第n+1层缓存数据为通过对第n层缓存数据进行极值抽样而得到的数据，1≤n+1≤N-1，N为预设层数；

接收数据请求，所述数据请求中携带有指定时间窗口；

依据所述指定时间窗口与所述预设采集速率，确定原始数据的数据量；

根据所述原始数据的数据量与预设抽样比例，确定目标分层的层号；

从所述预设缓存数据中的所述目标分层的缓存数据中，提取显示数据；

其中，当所述目标分层的缓存数据的数据量大于显示数据量阈值时，对所述目标分层的缓存数据进行极值抽样，获得数据量不大于显示数据量阈值的显示数据；当所述目标分层的缓存数据的数据量不大于显示数据量阈值时，将目标分层的缓存数据确定为显示数据，或者从所述目标分层对应的数据存储对象中读取相应的缓存数据作为显示数据，使得最终获取到的显示数据的数据量等于显示数据量阈值。

2.如权利要求1所述的方法，其特征在于，所述对所述原始数据进行极值抽样，得到预设缓存数据包括：

将所述原始数据添加至第0层缓存空间，作为所述第0层缓存数据；

依据预设抽样比例q，对所述第n层缓存数据进行极值抽样，得到所述第n+1层缓存数据。

3.如权利要求2所述的方法，其特征在于，所述依据预设抽样比例q，对所述第n层缓存数据进行极值抽样，得到所述第n+1层缓存数据包括：

从所述第n层缓存数据的每2f个数据中，分别提取出相应的最大数据Pmax与最小数据Pmin，其中，f＝1/q；

记录所述Pmax在所述第n层缓存数据中的位置序号Lmax，以及，所述Pmin在所述第n层缓存数据中的位置序号Lmin；

根据所述Lmax与所述Lmin的大小关系，将所述Pmax与所述Pmin依次添加至第n+1层缓存空间，作为所述第n+1层缓存数据。

4.如权利要求3所述的方法，其特征在于，所述根据所述Lmax与所述Lmin的大小关系，将所述Pmax与所述Pmin依次添加至第n+1层缓存空间，作为所述第n+1层缓存数据包括：

当Lmax＜Lmin时，先将所述Pmax添加至第n+1层缓存空间，再将所述Pmin添加至第n+1层缓存空间，作为所述第n+1层缓存数据；

当Lmax≥Lmin时，先将所述Pmin添加至第n+1层缓存空间，再将所述Pmax添加至第n+1层缓存空间，作为所述第n+1层缓存数据。

5.如权利要求1所述的方法，其特征在于，在所述对所述原始数据进行极值抽样，得到预设缓存数据之后，所述方法还包括：

将所述预设缓存数据中的各层缓存数据，分别存储至不同的数据存储对象中。

6.如权利要求5所述的方法，其特征在于，所述将所述预设缓存数据中的各层缓存数据，分别存储至不同的数据存储对象中包括：

当第i层缓存数据的数据量达到第i数据量阈值时，将所述第i层缓存数据存储至第i数据存储对象中；

其中，所述第i数据量阈值为第i层对应的数据量阈值；所述第i数据存储对象为第i层对应的数据存储对象，0≤i≤N-1。

7.如权利要求2所述的方法，其特征在于，所述依据所述指定时间窗口与所述预设采集速率，确定目标分层包括：

根据所述指定时间窗口与所述预设采集速率，确定所述原始数据的数据量；

根据所述原始数据的数据量与所述预设抽样比例q，确定目标分层的层号。

8.如权利要求1所述的方法，其特征在于，所述从所述预设缓存数据中的所述目标分层的缓存数据中，提取显示数据包括：

读取所述预设缓存数据中所述目标分层的缓存数据；

当所述目标分层的缓存数据的数据量大于显示数据量阈值时，对所述目标分层的缓存数据进行极值抽样，获得数据量不大于所述显示数据量阈值的显示数据。

9.如权利要求8所述的方法，其特征在于，在所述读取所述预设缓存数据中所述目标分层的缓存数据之后，所述方法还包括：

当所述目标分层的缓存数据的数据量不大于所述显示数据量阈值时，将所述目标分层的缓存数据确定为显示数据，或者从所述目标分层对应的数据存储对象中读取相应的缓存数据作为显示数据，使得最终获取到的显示数据的数据量等于显示数据量阈值。

10.一种数据处理装置，其特征在于，所述装置包括：

原始数据获取单元，用于获取采用预设采集速率采集到的原始数据；

数据极值抽样单元，用于对所述原始数据进行极值抽样，得到预设缓存数据；其中，所述预设缓存数据包括N层缓存数据，第0层缓存数据为所述原始数据，第n+1层缓存数据为通过对第n层缓存数据进行极值抽样而得到的数据，1≤n+1≤N-1，N为预设层数；

数据请求接收单元，用于接收数据请求，所述数据请求中携带有指定时间窗口；

目标分层确定单元，用于依据所述指定时间窗口与所述预设采集速率，确定原始数据的数据量；

根据所述原始数据的数据量与预设抽样比例，确定目标分层的层号；

显示数据提取单元，用于从所述预设缓存数据中的所述目标分层的缓存数据中，提取显示数据；

其中，当所述目标分层的缓存数据的数据量大于显示数据量阈值时，对所述目标分层的缓存数据进行极值抽样，获得数据量不大于显示数据量阈值的显示数据；当所述目标分层的缓存数据的数据量不大于显示数据量阈值时，将目标分层的缓存数据确定为显示数据，或者从所述目标分层对应的数据存储对象中读取相应的缓存数据作为显示数据，使得最终获取到的显示数据的数据量等于显示数据量阈值。

Images