CN110659285A

CN110659285A - 试验数据分析方法、装置、计算机设备和存储介质

Info

Publication number: CN110659285A
Application number: CN201910805690.0A
Authority: CN
Inventors: 邢小伟
Original assignee: Beijing Huatian Haifeng Technology Co Ltd
Current assignee: Beijing Huatian Haifeng Technology Co Ltd
Priority date: 2019-08-29
Filing date: 2019-08-29
Publication date: 2020-01-07
Anticipated expiration: 2039-08-29
Also published as: CN110659285B

Abstract

本申请涉及一种试验数据分析方法、装置、计算机设备和存储介质。所述方法包括：获取试验数据包，试验数据包括多条试验数据，将试验数据包推送至在线显示窗口中进行展示，当在线显示窗口中选定窗口的试验数据大于第一阈值时，将试验数据包分为多个数据段，其中数据段中包含的试验数据小于第一阈值，提取数据段的特征值，将特征值显示在指定窗口进行试验数据分析。采用本方法能够实现对差大量试验数据进行预览分析。

Description

试验数据分析方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种试验数据分析方法、装置、计算机设备和存储介质。

背景技术

随着计算机技术的发展，对于实验数据分析，提供了非常多的分析工具和分析手段。在某些高精度的试验场景下，需要布置大量高精度传感器进行数据采集，这些高精度传感器的采样频率一般被设置为1ms～10ms，单个高精度传感器每秒采集的数据最多可达1000条，另外，因场景复杂，需要各方面协调的事宜较多，导致传感器的开启时间长，一般需要两个小时以上，因此，在试验过程中，一般可以产生多大1000万条数据。

传统的数据查询分析，需要将所有的数据提取到内存中，收到内存大小的影响，超过10万条数据的加载和显式均存在较大的延迟，因此对于1000万条数据的直接遍历分析是不可能的，从而制约了试验数据的分析。

发明内容

基于此，有必要针对上述技术问题，提供一种能够对超大量试验数据进行分析的试验数据分析方法、装置、计算机设备和存储介质。

一种试验数据分析方法，所述方法包括：

获取试验数据包；所述试验数据包括多条试验数据；

将所述试验数据包推送至在线显示窗口中进行展示；

当所述在线显示窗口中选定窗口的所述试验数据大于第一阈值时，将所述试验数据包分为多个数据段；其中所述数据段中包含的所述试验数据小于所述第一阈值；

提取所述数据段的特征值，将所述特征值显示在所述指定窗口进行试验数据分析。

在其中一个实施例中，还包括：当所述在线显示窗口中选定窗口的所述试验数据小于第一阈值时，将所述试验数据显示在所述指定窗口中进行试验数据分析。

在其中一个实施例中，还包括：提取所述数据段的特征值，根据各个所述数据段的特征值，生成多个数据段的特征值对应的可视化图表和/或各个数据段的特征值对应的可视化图表；将所述可视化图表显示在所述指定窗口中进行试验数据分析。

在其中一个实施例中，还包括：当接收到所述指定窗口的缩小指令进行所述指定窗口缩小，直到所述指定窗口中的试验数据小于第二阈值时；获取缩小后所述指定窗口中的特征值对应试验数据，将所述试验数据替换所述特征值在缩小后所述指定窗口中进行显示。

在其中一个实施例中，还包括：所述特征值包括：最大值、最小值和/或平均值；提取所述数据段中的最大值、最小值和/或平均值。

在其中一个实施例中，还包括：对所述试验数据包进行解密，并且将所述试验数据包中的每一条试验数据保存为一个文本；将所述试验数据对应的文本推送至在线显式窗口中进行展示。

在其中一个实施例中，还包括：通过预先设置的底层函数计算所述试验数据包中所述试验数据的数量，对所述试验数据包中每一条所述试验数据进行定位；根据所述试验数据的定位结果，对所述试验数据包分为多个数据段。

一种试验数据分析装置，所述装置包括：

数据获取模块，用于获取试验数据包；所述试验数据包括多条试验数据；

推送模块，用于将所述试验数据包推送至在线显示窗口中进行展示；

判断模块，用于当所述在线显示窗口中选定窗口的所述试验数据大于第一阈值时，将所述试验数据包分为多个数据段；其中所述数据段中包含的所述试验数据小于所述第一阈值；

分析模块，用于提取所述数据段的特征值，将所述特征值显示在所述指定窗口进行试验数据分析。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取试验数据包；所述试验数据包括多条试验数据；

将所述试验数据包推送至在线显示窗口中进行展示；

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取试验数据包；所述试验数据包括多条试验数据；

将所述试验数据包推送至在线显示窗口中进行展示；

上述试验数据分析方法、装置、计算机设备和存储介质，通过将试验数据包推送至在线显示窗口中进行展示，并且对在线显式窗口中选定窗口中的试验数据量进行判断，即当试验数据大于第一阈值时，将实验数据包分为多个数据段，从而提取各个数据段的特征值，从而有效减小选定窗口中显示的数据，通过不遗漏每个数据段的信息量，从而可以快速对试验数据进行分析。

附图说明

图1为一个实施例中试验数据分析方法的应用场景图；

图2为一个实施例中试验数据分析方法的流程示意图；

图3为一个实施例中试验数据分析装置的结构框图；

图4为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的试验数据分析方法，可以应用于如图1所示的应用环境中。其中，传感器102与终端104通过网络/有线接口进行通信。其中，传感器102可以但不限于是各种温度传感器、陀螺仪、湿度传感器等，终端104可以但不限于个人计算机、智能手机、平板电脑以及智能可穿戴设备等。

具体的，在复杂试验场景下，布置了多个传感器102，均与终端104进行连接，多个传感器102从试验场景下采集数据，并将采集到的数据发送到终端104中，终端104将传感器102发送的数据存储在数据库中，在进行试验数据分析时，终端104从数据库中提取一个或多个传感器102对应的试验数据包，并且开启在线显式窗口对应的内存空间，在线显示窗口中设定选定窗口，其中选定窗口的大小可以设置，因此，其中包含的试验数据是根据其大小进行变化的，通过计算选定窗口中的试验数据是否大于第一阈值，若是，则在底层计算出各个数据段的特征值，然后将特征值推送至内存空间中，从而在选定窗口中进行显示时，只需显示各个数据段的特征值，从而减少内存的压力。

值得说明的是，本实施例中传感器102采集的试验数据需要发送给终端104，因此传感器102与终端104通过有线接口连接也不限于通过各种存储介质进行数据的转移。

在一个实施例中，如图2所示，提供了一种试验数据分析方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：

步骤202，获取试验数据包。

试验数据包是进行试验时所采集的数据，一般而言，一个传感器采集的数据保存为一个试验数据包，在终端中，以试验数据包的形式存储每一个传感器采集的试验数据。

试验数据包中包括多条试验数据，一般而言，在高精度的试验中，单个传感器采集的试验数据是千万级别的，因此，试验数据包大大超过了30M左右，目前没有软件可以对如此大的数据包进行预览与数据截取。

本步骤中，值得说明的是，便于试验分析，每一条试验数据均保存了其对应的时间信息，因此，试验数据包中试验数据是按照时间顺序进行排序的。

步骤204，将试验数据包推送至在线显示窗口中进行展示。

在线显式窗口是一种计算机程序，可以对推送的数据进行显示，本步骤中，在线显示窗口可以但不限于网页浏览器、可视化软件等。

在线显示窗口在对试验数据包进行显示时，需要下发在线显式窗口打开试验数据包的指令，然后将试验数据包推送至内存中，在线显式窗口通过与内存的数据交互，完成试验数据包的显示。

然而，试验数据包较大，试验数据条目多，无法快速推送至内存中，从而导致在线显式窗口卡死。

步骤206，当在线显示窗口中选定窗口的试验数据大于第一阈值时，将试验数据包分为多个数据段。

选定窗口为在线显式窗口中的一个窗口，选定窗口可以设置窗口大小，窗口越大，其中包含的试验数据量越大，窗口越小，其包含的试验数据量越小。当选定窗口最大时，其包含整个试验数据包中的试验数据。

数据段指的是一段连续的试验数据，由于试验数据包是一段按照时间排序的试验数据，因此，可以根据数据量，将试验数据包分为多个数据段，每一段均包含一段连续的试验数据，值得说明的是，数据段中包含的试验数据的数量的可以不同，也可以相同。

第一阈值是终端中预先设置的，可以根据经验值设置第一阈值，也可以通过人工智能算法进行计算，得到最佳的第一阈值。

值得说明的是，进行阈值判断以及数据分段均是在终端的计算机底层执行的，无需占用较大的内存资源。

步骤208，提取数据段的特征值，将特征值显示在指定窗口进行试验数据分析。

特征值指的是能够反映当前数据段整体变化趋势或者特征的值，特征值的提取可以采用多种方式，例如：最大值、最小值、均值、均方值、归一值等。

提取数据段的特征值是在计算机底层执行的，然后将特征值推送至内存中，在指定窗口中进行显示，从而便于数据分析。

上述试验数据分析方法中，通过将试验数据包推送至在线显示窗口中进行展示，并且对在线显式窗口中选定窗口中的试验数据量进行判断，即当试验数据大于第一阈值时，将实验数据包分为多个数据段，从而提取各个数据段的特征值，从而有效减小选定窗口中显示的数据，通过不遗漏每个数据段的信息量，从而可以快速对试验数据进行分析。

在其中一个实施例中，当在线显示窗口中选定窗口的试验数据小于第一阈值时，将试验数据显示在指定窗口中进行试验数据分析。本实施例中，由于试验数据较少，可以在指定窗口中显示全部的试验数据，从而便于对每个试验数据进行分析。

在另一个实施例中，可以获取到指定窗口中的试验数据，另存为文件，从而便于进一步分析。

在其中一个实施例中，对于试验数据分析，具体可以：提取数据段的特征值，根据各个数据段的特征值，生成多个数据段的特征值对应的可视化图表和/或各个数据段的特征值对应的可视化图表，将可视化图表显示在指定窗口中进行试验数据分析。本实施例中，在进行数据分析时，是将特征值在指定窗口中进行可视化图表显示，由于可视化图表的直观特性，便于用户的直接分析。

在一个具体实施例中，当用户需要对一个具体可视化图表进行查看时，可以对指定窗口的大小进行设置，终端当接收到指定窗口的缩小指令进行指定窗口缩小，知道指定窗口中的试验数据小于第二阈值时，获取缩小后指定窗口中的特征值对应的试验数据，将时延数据替换特征值在缩小后的指定窗口中进行显示。本实施例中，第二阈值小于第一阈值，因此，可以在用户需要查看特征值对应的数据时，可以查看特征值对应的试验数据，方便进行试验数据分析。

在另一个具体的实施例中，特征值包括最大值、最小值、平均值等中的一个或者多个，具体根据具体需求而定，例如：选择最大值和最小值为特征值，因此，获取该数据段中试验数据的最大值和最小值作为特征值，特征值用于代表该数据段，因此提取数据段的特征值，即获取数据段的最大值和最小值。本实施例中，由于最大值和最小值分别可以反映试验过程中的情况，可以通过提取特征值表示整段数据。

在其中一个实施例中，在将试验数据包推送至在线实现窗口中进行展示时，具体可以对试验数据包进行解密，并且将试验数据包中的每一条试验数据保存为一个文本，将试验数据对应的文本推送至在线显式窗口中进行展示。本实施例中，在进行展示前，将试验数据保存为一条条文本，便于对指定窗口中试验数据的数量进行计算，同一也便于进一步根据一个个文本生成可视化图表。

在其中一个实施例中，由于本发明实施例中试验数据数量的计算，均是在计算机底层实现的，因此设置了底层函数，计算试验数据包中试验数据的数量，对试验数据包中每一条试验数据进行定位，根据定位结果，对试验数据包分为多个数据段。

具体的，在对试验数据包分为多个数据段之后，可以通过各个试验数据的定位，检验数据段数据是否完整，例如，数据段1有1万条试验数据，通过数据段1中试验数据的定位，可以检测数据段1中是否是1万条数据，从而避免数据的缺失，另外，可以通过检测每个数据段中包含的最大值和最小值对应的试验数据，通过记录最大值和最小值之间的试验数据的数量，也可以防止因数据波动导致试验数据遗漏。

应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图3所示，提供了一种试验数据分析装置，包括：数据获取模块302、推送模块304、判断模块306和分析模块308，其中：

数据获取模块302，用于获取试验数据包；所述试验数据包括多条试验数据；

推送模块304，用于将所述试验数据包推送至在线显示窗口中进行展示；

判断模块306，用于当所述在线显示窗口中选定窗口的所述试验数据大于第一阈值时，将所述试验数据包分为多个数据段；其中所述数据段中包含的所述试验数据小于所述第一阈值；

分析模块308，用于提取所述数据段的特征值，将所述特征值显示在所述指定窗口进行试验数据分析。

在其中一个实施例中，判断模块306还用于当所述在线显示窗口中选定窗口的所述试验数据小于第一阈值时，将所述试验数据显示在所述指定窗口中进行试验数据分析。

在其中一个实施例中，分析模块308还用于提取所述数据段的特征值，根据各个所述数据段的特征值，生成多个数据段的特征值对应的可视化图表和/或各个数据段的特征值对应的可视化图表；将所述可视化图表显示在所述指定窗口中进行试验数据分析。

在其中一个实施例中，分析模块308还用于当接收到所述指定窗口的缩小指令进行所述指定窗口缩小，直到所述指定窗口中的试验数据小于第二阈值时；获取缩小后所述指定窗口中的特征值对应试验数据，将所述试验数据替换所述特征值在缩小后所述指定窗口中进行显示。

在其中一个实施例中，特征值包括：最大值、最小值和/或平均值；分析模块308还用于提取所述数据段中的最大值、最小值和/或平均值。

在其中一个实施例中，推送模块304还用于对所述试验数据包进行解密，并且将所述试验数据包中的每一条试验数据保存为一个文本；将所述试验数据对应的文本推送至在线显式窗口中进行展示。

在其中一个实施例中，判断模块306还用于通过预先设置的底层函数计算所述试验数据包中所述试验数据的数量，对所述试验数据包中每一条所述试验数据进行定位；根据所述试验数据的定位结果，对所述试验数据包分为多个数据段。

关于试验数据分析装置的具体限定可以参见上文中对于试验数据分析方法的限定，在此不再赘述。上述试验数据分析装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储传感器发送的试验数据包。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种试验数据分析方法。

本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中的各个步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中的各个步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种试验数据分析方法，所述方法包括：

获取试验数据包；所述试验数据包括多条试验数据；

将所述试验数据包推送至在线显示窗口中进行展示；

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述在线显示窗口中选定窗口的所述试验数据小于第一阈值时，将所述试验数据显示在所述指定窗口中进行试验数据分析。

3.根据权利要求1所述的方法，其特征在于，提取所述数据段的特征值，将所述特征值显示在所述指定窗口进行试验数据分析，包括：

提取所述数据段的特征值，根据各个所述数据段的特征值，生成多个数据段的特征值对应的可视化图表和/或各个数据段的特征值对应的可视化图表；

将所述可视化图表显示在所述指定窗口中进行试验数据分析。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

当接收到所述指定窗口的缩小指令进行所述指定窗口缩小，直到所述指定窗口中的试验数据小于第二阈值时；

获取缩小后所述指定窗口中的特征值对应试验数据，将所述试验数据替换所述特征值在缩小后所述指定窗口中进行显示。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述特征值包括：最大值、最小值和/或平均值；

所述提取所述数据段的特征值，包括：

提取所述数据段中的最大值、最小值和/或平均值。

6.根据权利要求1至4任一项所述的方法，其特征在于，将所述试验数据包推送至在线显示窗口中进行展示，包括：

对所述试验数据包进行解密，并且将所述试验数据包中的每一条试验数据保存为一个文本；

将所述试验数据对应的文本推送至在线显式窗口中进行展示。

7.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：

通过预先设置的底层函数计算所述试验数据包中所述试验数据的数量，对所述试验数据包中每一条所述试验数据进行定位；

根据所述试验数据的定位结果，对所述试验数据包分为多个数据段。

8.一种试验数据分析装置，其特征在于，所述装置包括：

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。