CN107766424B - 一种数据探索管理方法、系统、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种数据探索管理方法，获取用户所输入的数据，数据包括数据内容、探索变量；获取用户所选择的预存储流程，通过预存储流程对数据进行数据探索；获取预存储流程的操作、方法和流程程序代码，生成并保存输出程序代码；运行输出程序代码，得到并保存运行结果，显示预存储流程、输出程序代码和运行结果。本发明还公开了一种数据探索管理系统、电子设备和计算机可读存储介质。本发明通过对数据探索过程的科学管理，保证了数据探索过程的可重复性，以及数据探索过程的操作和方法的实时调用、共享和复用。

Description

一种数据探索管理方法、系统、电子设备及存储介质

技术领域

本发明涉及一种电子信息技术领域，尤其涉及一种数据探索管理方法、系统、电子设备及存储介质。

背景技术

随着科学技术的快速发展、海量科学数据的不断产生，以数据为基础进行的数据探索与科技创新越来越多。

数据种类多、数量大、更新快，这对数据探索提出了更高的要求，数据探索不仅要看最终结果，还要看整个过程中的数据轨迹。目前，数据探索过程往往需要多个方法组合使用，研究人员根据知识和经验，选定一个方法，然后编写该方法的程序代码，继而运行程序代码并得到结果，之后根据结果再选定下一个方法，直至得到最终结果、不再选定下一个方法为止。

由此可见，目前数据探索过程因人而异，中间环节缺少必要的管理，数据探索过程可重复性差，整个过程和结果的可靠性无法检验和审核。同时，由于数据探索过程缺乏完整的操作信息和方法信息，使得研究人员不能将同样的操作和方法用于新的研究，或把初始数据放到其他的操作和方法之中，研究这些变化会导致什么新的结果。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种数据探索管理方法，实现数据探索过程的科学管理，保证数据探索过程的可重复性，以及数据探索过程的操作和方法的实时调用、共享和复用。

本发明的目的之二在于提供一种数据探索管理系统，实现数据探索过程的科学管理，保证数据探索过程的可重复性，以及数据探索过程的操作和方法的实时调用、共享和复用。

本发明的目的之三在于提供一种电子设备，实现数据探索过程的科学管理，保证数据探索过程的可重复性，以及数据探索过程的操作和方法的实时调用、共享和复用。

本发明的目的之四在于提供一种计算机可读存储介质，实现数据探索过程的科学管理，保证数据探索过程的可重复性，以及数据探索过程的操作和方法的实时调用、共享和复用。

本发明的目的之一采用如下技术方案实现：

一种数据探索管理方法，包括以下步骤：

获取数据，获取用户所输入的数据，数据包括数据内容、探索变量；

选择预存储流程，获取用户所选择的预存储流程，通过预存储流程对数据进行数据探索；

生成程序代码，获取预存储流程的操作、方法和流程程序代码，生成并保存程序代码；

运行程序代码，运行输出程序代码，得到并保存运行结果。

进一步地，还包括以下步骤：

显示结果，显示预存储流程、输出程序代码和运行结果。

进一步地，数据内容包括数据库、数据表、数据文件。

进一步地，预存储流程包括节点、路径、方法和流程程序代码，节点和路径组成操作，方法包括预存储方法，流程程序代码用于执行预存储流程。

进一步地，预存储方法包括统计学方法和方法程序代码，方法程序代码用于执行预存储方法。

进一步地，流程程序代码调用方法程序代码，生成输出程序代码。

本发明的目的之二采用如下技术方案实现：

一种数据探索管理系统，包括预存储方法模块、预存储流程模块、数据获取模块、流程选择模块、程序代码生成模块、程序代码运行模块、结果显示模块；预存储方法模块与预存储流程模块连接，预存储流程模块、数据获取模块与流程选择模块连接，流程选择模块与程序代码生成模块连接，程序代码生成模块与程序代码运行模块连接，程序代码运行模块与结果显示模块连接；

数据获取模块获取用户所输入的数据，流程选择模块根据数据，获取预存储流程模块内的预存储流程，预存储流程模块根据预存储流程，获取预存储方法模块内的预存储方法和方法程序代码，流程选择模块获取用户所选择的预存储流程，程序代码生成模块生成并保存输出程序代码，程序代码运行模块运行输出程序代码，得到并保存运行结果，结果显示模块显示预存储流程、输出程序代码和运行结果。

本发明的目的之三采用如下技术方案实现：

一种电子设备，包括：处理器；

存储器；以及程序，其中程序被存储在存储器中，并且被配置成由处理器执行，程序包括用于执行上述的一种数据探索管理方法。

本发明的目的之四采用如下技术方案实现：

一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行上述的一种数据探索管理方法。

相比现有技术，本发明的有益效果在于：

本发明提供了一种数据探索管理方法，还涉及了一种数据探索管理系统、电子设备和计算机可读存储介质；通过选择预储存流程，获取预存储流程的操作、方法和流程程序代码，生成并保存输出程序代码，运行输出程序代码，得到并保存运行结果，显示预存储流程、输出程序代码和运行结果，实现了数据探索过程的科学管理，保证了数据探索过程的可重复性，以及数据探索过程的操作和方法的实时调用、共享和复用。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明的一种数据探索管理方法的流程图；

图2为本发明的一个数据探索的流程图；

图3为本发明的第一实施例的流程图；

图4为本发明的第一实施例中的两样本均数比较流程的流程图；

图5为本发明的一种数据探索管理系统的模块连接图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

如图1-2所示，一种数据探索管理方法，包括以下步骤：

获取数据，获取用户所输入的数据，数据包括数据内容、探索变量；

选择预存储流程，获取用户所选择的预存储流程，通过预存储流程对数据进行数据探索；

生成程序代码，获取预存储流程的操作、方法和流程程序代码，生成并保存输出程序代码；

运行程序代码，运行输出程序代码，得到并保存运行结果；

显示结果，显示预存储流程、输出程序代码和运行结果。

其中，数据内容包括数据库、数据表、数据文件，同时，数据内容供程序代码调用。

其中，关于选择预存储流程的说明如下：系统提供了一个供用户选择的流程选择界面，用户在流程选择界面选择要执行的预存储流程，从而获取用户所选择的预存储流程，通过预存储流程对数据进行数据探索。

其中，预存储流程包括节点、路径、方法和流程程序代码，节点和路径组成操作，方法包括预存储方法，流程程序代码用于执行预存储流程；预存储方法包括统计学方法和方法程序代码，方法程序代码用于执行预存储方法。

其中，流程程序代码调用方法程序代码，生成输出程序代码。

步骤选择预存储流程和步骤生成程序代码构建了一个标准化的探索过程，对于一个数据探索，需要的流程有多个，每个流程使用的方法有多个；如图2所示的，假设该数据探索选择进行三个流程，为A流程、B流程和C流程，其中A流程使用a1方法、a2方法和a3方法；即在进行步骤选择预存储流程和步骤生成程序代码时，预存储流程包括A流程、B流程和C流程，当进行该数据探索时，选择这三个预存储流程，则自动获取A流程中的a1方法、a2方法和a3方法，以及方法程序代码、流程程序代码，从而生成A流程的输出程序代码。

本发明的第一实施例用于科研数据探索，如图3、图4所示，进行高血压科研数据探索的步骤如下：

获取数据，获取用户所输入的高血压病人组和正常对照组的收缩压和舒张压数据内容和探索变量；

选择预存储流程，获取用户所选择的两样本均数比较流程，通过该流程对数据进行数据探索；

生成程序代码，获取两样本均数比较流程的操作、方法和流程程序代码，生成并保存相应的输出程序代码；

运行程序代码，运行两样本均数比较流程的输出程序代码，得到并保存相应的运行结果。

保存结果，显示两样本均数比较流程、相应的输出程序代码和相应的运行结果。

如图4所示，在进行探索高血压科研数据探索时，两样本均数比较流程的具体步骤如下：

正态性检验：判断数据内容的样本量是否大于5000，若是，数据内容进行Kolmogorov-Smirnov检验，输出正态性检验结果，否则数据内容进行Shapiro-Wilk检验，输出正态性检验结果；

方差齐性检验：若正态性检验结果为数据内容符合正态分布，数据内容进行F检验，输出方差齐性结果，否则，数据内容进行Wilcoxon秩和检验；

均数比较：若方差齐性结果为符合方差齐性，所述数据内容进行t检验，否则进行Welch近似t检验。

综上所述，对于两样本均数比较流程来说，高血压病人组和正常对照组的收缩压和舒张压数据，在符合正态分布和方差齐性时，使用t检验；在符合正态分布但不符合方差齐性时，使用Welch近似t检验；在不符合正态分布时，使用Wilcoxon秩和检验。

结合上述，对于本实施例来说，对于两样本均数比较流程所用到的预存储方法包括：Kolmogorov-Smirnov检验、Shapiro-Wilk检验、Wilcoxon秩和检验、F检验、Welch近似t检验和t检验。

在本实施例中，为了便于说明，只举例了两样本均数比较流程，在实际探索过程中，关于高血压科研数据探索还需要进行的流程还有很多，比如选择两样本率比较流程，获取两样本率比较流程的操作、方法和流程程序代码，生成并保存相应的输出程序代码，运行相应的输出程序代码，得到并保存相应的运行结果，显示两样本率比较流程、相应的输出程序代码和相应的运行结果，用于比较高血压病人组和正常对照组的率是否存在差异。

本发明的第二实施例用于健康数据探索，在第一实施例的基础上，将第一实施例中关于高血压科研数据探索的流程、方法等改成相应的健康数据探索的流程、方法，从而供用户做健康数据的探索研究。

本发明的第三实施例用于教育数据探索，在第一实施例的基础上，将第一实施例中关于高血压科研数据探索的流程、方法等改成相应的教育数据探索的流程、方法，从而供用户做教育数据的探索研究。

一种数据探索管理系统，包括预存储方法模块、预存储流程模块、数据获取模块、流程选择模块、程序代码生成模块、程序代码运行模块、结果显示模块；预存储方法模块与预存储流程模块连接，预存储流程模块、数据获取模块与流程选择模块连接，流程选择模块与程序代码生成模块连接，程序代码生成模块与程序代码运行模块连接，程序代码运行模块与结果显示模块连接。

其中，数据获取模块获取用户所输入的数据，流程选择模块根据数据，获取预存储流程模块内的预存储流程，预存储流程模块根据预存储流程，获取预存储方法模块内的预存储方法和方法程序代码，流程选择模块获取用户所选择的预存储流程，程序代码生成模块生成并保存输出程序代码，程序代码运行模块运行输出程序代码，得到并保存运行结果，结果显示模块显示预存储流程、输出程序代码和运行结果。

一种电子设备，包括：处理器；存储器；以及程序，其中程序被存储在存储器中，并且被配置成由处理器执行，程序包括用于执行上述的一种数据探索管理方法；一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行上述的一种数据探索管理方法。

本发明通过选择预储存流程，获取预存储流程的操作、方法和流程程序代码，生成并保存输出程序代码，运行输出程序代码，得到并保存运行结果，显示预存储流程、输出程序代码和运行结果，实现了数据探索过程的科学管理，保证了数据探索过程的可重复性，以及数据探索过程的操作和方法的实时调用、共享和复用。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (6)

1.一种数据探索管理方法，其特征在于包括以下步骤：

获取数据，获取用户所输入的数据，所述数据包括数据内容、探索变量；

选择预存储流程，获取用户所选择的预存储流程，通过所述预存储流程对所述数据进行数据探索；

生成程序代码，获取所述预存储流程的操作、方法和流程程序代码，生成并保存输出程序代码；

运行程序代码，运行所述输出程序代码，得到并保存运行结果；

所述预存储流程包括节点、路径、方法和流程程序代码，所述节点和路径组成操作，所述方法包括预存储方法，所述流程程序代码用于执行预存储流程；

所述预存储方法包括统计学方法和方法程序代码，所述方法程序代码用于执行预存储方法；

所述流程程序代码调用所述方法程序代码，生成输出程序代码。

2.如权利要求1所述的一种数据探索管理方法，其特征在于：还包括以下步骤：

显示结果，显示预存储流程、输出程序代码和运行结果。

3.如权利要求1所述的一种数据探索管理方法，其特征在于：所述数据内容包括数据库、数据表、数据文件。

4.一种数据探索管理系统，其特征在于：包括预存储方法模块、预存储流程模块、数据获取模块、流程选择模块、程序代码生成模块、程序代码运行模块、结果显示模块；所述预存储方法模块与所述预存储流程模块连接，所述预存储流程模块、所述数据获取模块与所述流程选择模块连接，所述流程选择模块与所述程序代码生成模块连接，所述程序代码生成模块与所述程序代码运行模块连接，所述程序代码运行模块与所述结果显示模块连接；

所述数据获取模块获取用户所输入的数据，所述流程选择模块根据所述数据，获取所述预存储流程模块内的预存储流程，所述预存储流程模块根据所述预存储流程，获取所述预存储方法模块内的预存储方法和方法程序代码，所述流程选择模块获取用户所选择的预存储流程，所述程序代码生成模块生成并保存输出程序代码，所述程序代码运行模块运行输出程序代码，得到并保存运行结果，所述结果显示模块显示预存储流程、输出程序代码和所述运行结果。

5.一种电子设备，其特征在于包括：处理器；

存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序包括用于执行权利要求1-3任意一项所述的方法。

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行如权利要求1-3任意一项所述的方法。

Images