CN107885965A - 一种数据探索发现方法、系统、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种数据探索发现方法，其包括以下步骤：获取当前数据的特征点，得到特征点集合；获取与特征点匹配的可用预存储流程，得到可用预存储流程集合；获取用户已用于当前数据的已用预存储流程，得到已用预存储流程集合；可用预存储流程集合减去已用预存储流程集合，得到新发现预存储流程集合，新发现预存储流程集合包括新发现预存储流程；获取新发现预存储流程的流程程序代码，流程程序代码调用方法程序代码，生成并保存输出程序代码。通过本发明的发现方法，研究人员无需拥有大量的专业知识和耗费大量的时间和精力，即可找到合适的操作和方法来进行数据探索，从而引导用户主动发现，给用户创造更多的发现机会。

Description

一种数据探索发现方法、系统、电子设备及存储介质

技术领域

本发明涉及一种电子信息技术领域，尤其涉及一种数据探索发现方法、系统、电子设备及存储介质。

背景技术

随着科学技术的发展，数据的规模发生了爆炸性的增长，大量的数据被长期保存，人们有可能从这些数据中突然发现一些意外的现象或规律。

而要得到这些发现，往往需要研究人员把这些数据放到各种不同的操作和方法之中，查看这些变化会产生什么新的结果，进而判断这些结果是否为新的发现。

这种发现过程存在着以下问题。首先，这些数据应该放到何种操作和方法之中，这需要研究人员拥有大量的专业知识才能做出判断；其次，面对大量的操作和方法，研究人员需要耗费大量的时间和精力进行查阅和筛选，而且还很容易遗漏一些合适的操作和方法，即这种发现过程具有一定的局限性，需要研究人员拥有大量的专业知识，以及耗费大量的时间和精力，从而得到和执行各种合适的操作和方法。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种数据探索发现方法，根据当前数据的特征点，提供和执行各种合适的操作和方法，引导用户主动发现，给用户创造更多的发现机会。

本发明的目的之二在于提供一种数据探索发现系统，根据当前数据的特征点，提供和执行各种合适的操作和方法，引导用户主动发现，给用户创造更多的发现机会。

本发明的目的之三在于提供一种电子设备，根据当前数据的特征点，提供和执行各种合适的操作和方法，引导用户主动发现，给用户创造更多的发现机会。

本发明的目的之四在于提供一种计算机可读存储介质，根据当前数据的特征点，提供和执行各种合适的操作和方法，引导用户主动发现，给用户创造更多的发现机会。

本发明的目的之一采用如下技术方案实现：

一种数据探索发现方法，包括以下步骤：

获取特征点，获取当前数据的特征点，得到特征点集合；

获取可用预存储流程，获取与特征点匹配的可用预存储流程，得到可用预存储流程集合；

获取已用预存储流程，获取用户已用于当前数据的已用预存储流程，得到已用预存储流程集合；

得到新发现预存储流程，可用预存储流程集合减去已用预存储流程集合，得到新发现预存储流程集合，新发现预存储流程集合包括新发现预存储流程；

生成程序代码，获取新发现预存储流程的流程程序代码，流程程序代码调用方法程序代码，生成并保存输出程序代码。

进一步地，还包括以下步骤：

运行程序代码，调用当前数据，运行输出程序代码，得到并保存运行结果。

显示结果，显示新发现预存储流程、输出程序代码和运行结果。

进一步地，步骤获取可用预存储流程具体包括如下步骤：

获取第一可用预存储流程，获取与特征点匹配的第一可用预存储流程，得到第一可用预存储流程集合；

获取第二可用预存储流程，获取与特征点匹配的历史数据，根据历史数据获取第二可用预存储流程，得到第二可用预存储流程集合；

合并可用预存储流程，合并第一可用预存储流程集合、第二可用预存储流程集合，得到可用预存储流程集合。

进一步地，新发现预存储流程包括节点、路径、方法和流程程序代码，节点和路径组成操作，方法包括预存储方法，流程程序代码用于执行预存储流程。

进一步地，预存储方法包括统计学方法和方法程序代码，方法程序代码用于执行预存储方法。

本发明的目的之二采用如下技术方案实现：

一种数据探索发现系统，包括预存储方法模块、预存储流程模块、特征点获取模块、数据获取模块、新发现流程获取模块、程序代码生成模块；预存储方法模块与预存储流程模块连接，特征点获取模块与数据获取模块连接，新发现流程获取模块与预存储流程模块、特征点获取模块、数据获取模块、程序代码生成模块连接；

特征点获取模块获取当前数据的特征点，数据获取模块根据特征点，获取历史数据，新发现流程获取模块根据特征点、历史数据获取可用预存储流程，以及已用于当前数据的已用预存储流程，进而得到新发现预存储流程，预存储流程模块根据新发现预存储流程，获取预存储方法模块内的预存储方法和方法程序代码，程序代码生成模块获取新发现预存储流程，生成并保存输出程序代码。

进一步地，还包括程序代码运行模块、结果显示模块，程序代码运行模块调用当前数据，运行输出程序代码，得到并保存运行结果；结果显示模块显示新发现预存储流程、输出程序代码和运行结果。

进一步地，结果显示模块的显示界面包括新发现流程图标、程序代码图标、运行结果图标，新发现流程图标用于跳转至新发现预存储流程界面，程序代码图标用于跳转至输出程序代码界面，运行结果图标用于跳转至运行结果界面。

本发明的目的之三采用如下技术方案实现：

一种电子设备，包括：处理器；

存储器；以及程序，其中程序被存储在存储器中，并且被配置成由处理器执行，程序包括用于执行上述的一种数据探索发现方法。

本发明的目的之四采用如下技术方案实现：

一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行上述的一种数据探索发现方法。

相比现有技术，本发明的有益效果在于：

一种数据探索发现方法，还涉及一种数据探索发现系统、一种电子设备及一种计算机可读存储介质，通过当前数据的特征点，获取可用预存储流程和已用预存储流程，从而得到用户所需要的新发现预存储流程，在将当前数据放入新发现预存储流程之中，执行新发现预存储流程的操作和方法之后，得到运行结果；通过本发明的发现方法，由系统自动匹配找到合适的操作和方法来进行数据探索，研究人员无需拥有大量的专业知识和耗费大量的时间和精力，整个发现过程相较于之前的发现过程，更为简单、省时和全面，从而引导用户主动发现，给用户创造更多的发现机会。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明的一种数据探索发现方法的流程图；

图2为本发明的获取可用预存储流程的流程图；

图3为本发明的第一实施例的流程图；

图4为本发明的第一实施例中的两样本均数比较流程的流程图；

图5为本发明的第一实施例中的两样本生存时间比较流程的流程图；

图6为本发明的一种数据探索发现系统的模块连接图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

如图1-2所示，一种数据探索发现方法，包括以下步骤：

获取特征点，获取当前数据的特征点，得到特征点集合；

获取可用预存储流程，获取与特征点匹配的可用预存储流程，得到可用预存储流程集合；

获取已用预存储流程，获取用户已用于当前数据的已用预存储流程，得到已用预存储流程集合；

得到新发现预存储流程，可用预存储流程集合减去已用预存储流程集合，得到新发现预存储流程集合，新发现预存储流程集合包括新发现预存储流程；

生成程序代码，获取新发现预存储流程的流程程序代码，流程程序代码调用方法程序代码，生成并保存输出程序代码；

运行程序代码，调用当前数据，运行输出程序代码，得到并保存运行结果；

显示结果，显示新发现预存储流程、输出程序代码和运行结果。

如图2所示，对于步骤获取可用预存储流程，具体包括如下步骤：

获取第一可用预存储流程，获取与特征点匹配的第一可用预存储流程，得到第一可用预存储流程集合；

获取第二可用预存储流程，获取与特征点匹配的历史数据，根据历史数据获取第二可用预存储流程，得到第二可用预存储流程集合；

合并可用预存储流程，合并第一可用预存储流程集合、第二可用预存储流程集合，得到可用预存储流程集合。

对于步骤获取第二可用预存储流程的说明如下：历史数据是指过去使用的数据，当前用户或其他用户在过去对其数据进行数据探索时，所使用的预存储流程即为第二可用预存储流程。

其中，新发现预存储流程包括节点、路径、方法和流程程序代码，节点和路径组成操作，方法包括预存储方法，流程程序代码用于执行预存储流程；预存储方法包括统计学方法和方法程序代码，方法程序代码用于执行预存储方法。

本发明的第一实施例用于科研数据探索发现，如图3-5所示，在进行科研数据探索发现时的步骤如下：

获取特征点，获取当前数据的特征点为“离散型数据”、“生存时间数据”，得到当前数据的特征点集合P＝{“离散型数据”,“生存时间数据”}。

获取第一可用预存储流程，获取与特征点匹配的可用预存储流程，其中，特征点“离散型数据”匹配“两样本率比较流程”，特征点“生存时间数据”匹配“两样本生存时间比较流程”，得到第一可用预存储流程集合F1＝{“两样本率比较流程”，“两样本生存时间比较流程”}；

获取第二可用预存储流程，获取与特征点匹配的历史数据，其中，获取特征点“生存时间数据”匹配的历史数据，该历史数据所使用过的预存储流程有“两样本均数比较流程”、“两样本生存时间比较流程”，得到第二可用预存储流程集合F2＝{“两样本均数比较流程”，“两样本生存时间比较流程”}；

合并可用预存储流程，合并第一可用预存储流程集合F1、第二可用预存储流程集合F2，得到可用预存储流程集合F12＝{“两样本率比较流程”，“两样本生存时间比较流程”，“两样本均数比较流程”}；

获取已用预存储流程，获取用户已用于当前数据的已用预存储流程“两样本率比较流程”，得到已用预存储流程集合F3＝{“两样本率比较流程”}；

得到新发现预存储流程，可用预存储流程集合F12减去已用预存储流程集合F3，得到新发现预存储流程集合F＝F12-F3＝{“两样本率比较流程”，“两样本生存时间比较流程”，“两样本均数比较流程”}-{“两样本率比较流程”}＝{“两样本生存时间比较流程”，“两样本均数比较流程”}，即新发现预存储流程为“两样本生存时间比较流程”、“两样本均数比较流程”；

生成程序代码，获取“两样本生存时间比较流程”、“两样本均数比较流程”的预存储流程和流程程序代码，流程程序代码调用方法程序代码，生成并保存输出程序代码；

运行程序代码，运行输出程序代码，得到并保存运行结果；

显示结果，显示新发现预存储流程、输出程序代码和运行结果。

关于上述的“两样本生存时间比较流程”、“两样本均数比较流程”，在本实施例中，如图4所示，两样本均数比较流程的具体步骤如下：

正态性检验：判断数据内容的样本量是否大于5000，若是，数据内容进行Kolmogorov-Smirnov检验，输出正态性检验结果，否则数据内容进行Shapiro-Wilk检验，输出正态性检验结果；

方差齐性检验：若正态性检验结果为数据内容符合正态分布，数据内容进行F检验，输出方差齐性结果，否则，数据内容进行Wilcoxon秩和检验；

均数比较：若方差齐性结果为符合方差齐性，所述数据内容进行t检验，否则进行Welch近似t检验。

即，对用户数据进行数据探索时，在符合正态分布和方差齐性时，使用t检验；在符合正态分布但不符合方差齐性时，使用Welch近似t检验；在不符合正态分布时，使用Wilcoxon秩和检验。

如图5所示，两样本生存时间比较流程的具体步骤如下：

比较分析：用Kaplan-Meier法计算各组生存率和绘制各组生存曲线，然后用Log-Rank检验比较各组有无差别。

影响因素分析：单因素Cox回归模型得到变量是否有统计学意义，多因素Cox回归模型得到变量是否有统计学意义。

综上所述，对于本实施例来说，两样本均数比较流程所用到的预存储方法包括：Kolmogorov-Smirnov检验、Shapiro-Wilk检验、Wilcoxon秩和检验、F检验、Welch近似t检验和t检验；两样本生存时间比较流程所用到的预存储方法包括：Kaplan-Meier法、Log-Rank检验、单因素Cox回归模型、多因素Cox回归模型。

本发明的第二实施例用于健康数据探索发现，在第一实施例的基础上，将第一实施例中关于科研数据探索的流程、方法等改成相应的健康数据探索的流程、方法，从而供用户做健康数据的探索发现。

本发明的第三实施例用于教育数据探索发现，在第一实施例的基础上，将第一实施例中关于科研数据探索的流程、方法等改成相应的教育数据探索的流程、方法，从而供用户做教育数据的探索发现。

如图6所示，一种数据探索发现系统，包括预存储方法模块、预存储流程模块、特征点获取模块、数据获取模块、新发现流程获取模块、程序代码生成模块、程序代码运行模块、结果显示模块；预存储方法模块与预存储流程模块连接，特征点获取模块与数据获取模块连接，新发现流程获取模块与预存储流程模块、特征点获取模块、数据获取模块、程序代码生成模块连接，程序代码生成模块与程序代码运行模块连接，程序代码运行模块与结果显示模块连接。

其中，特征点获取模块获取当前数据的特征点，数据获取模块根据特征点，获取历史数据，新发现流程获取模块根据特征点、历史数据获取可用预存储流程，以及已用于当前数据的已用预存储流程，进而得到新发现预存储流程，预存储流程模块根据新发现预存储流程，获取预存储方法模块内的预存储方法和方法程序代码，程序代码生成模块获取新发现预存储流程，生成并保存输出程序代码，程序代码运行模块调用当前数据，运行输出程序代码，得到并保存运行结果，结果显示模块显示新发现预存储流程、输出程序代码和运行结果。

同时，结果显示模块的显示界面包括新发现流程图标、程序代码图标、运行结果图标，新发现流程图标用于跳转至新发现预存储流程界面，程序代码图标用于跳转至输出程序代码界面，运行结果图标用于跳转至运行结果界面。

对于用户而言，在使用本系统时，用户输入数据后，就可以通过显示界面查看结果，通过点击新发现流程图标查看新发现预存储流程，通过点击程序代码图标查看输出程序代码，通过点击运行结果图标查看运行结果。

一种电子设备，其特征在于包括：处理器；存储器；以及程序，其中程序被存储在存储器中，并且被配置成由处理器执行，程序包括用于执行上述的一种数据探索发现方法；一种计算机可读存储介质，其上存储有计算机程序，其特征在于：计算机程序被处理器执行上述的一种数据探索发现方法。

一种数据探索发现方法，还涉及一种数据探索发现系统、一种电子设备及一种计算机可读存储介质，通过当前数据的特征点，获取可用预存储流程和已用预存储流程，从而得到用户所需要的新发现预存储流程，在将当前数据放入新发现预存储流程之中，执行新发现预存储流程的操作和方法之后，得到运行结果；通过本发明的发现方法，由系统自动匹配找到合适的操作和方法来进行数据探索，研究人员无需拥有大量的专业知识和耗费大量的时间和精力，整个发现过程相较于之前的发现过程，更为简单、省时和全面，从而引导用户主动发现，给用户创造更多的发现机会。

以上，仅为本发明的较佳实施例而已，并非对本发明作任何形式上的限制；凡本行业的普通技术人员均可按说明书附图所示和以上而顺畅地实施本发明；但是,凡熟悉本专业的技术人员在不脱离本发明技术方案范围内，利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时,凡依据本发明的实质技术对以上实施例所作的任何等同变化的更动、修饰与演变等，均仍属于本发明的技术方案的保护范围之内。

Claims (10)

1.一种数据探索发现方法，其特征在于包括以下步骤：

获取特征点，获取当前数据的特征点，得到特征点集合；

获取可用预存储流程，获取与所述特征点匹配的可用预存储流程，得到可用预存储流程集合；

获取已用预存储流程，获取用户已用于当前数据的已用预存储流程，得到已用预存储流程集合；

得到新发现预存储流程，所述可用预存储流程集合减去所述已用预存储流程集合，得到新发现预存储流程集合，所述新发现预存储流程集合包括新发现预存储流程；

生成程序代码，获取所述新发现预存储流程的流程程序代码，所述流程程序代码调用方法程序代码，生成并保存输出程序代码。

2.如权利要求1所述的一种数据探索发现方法，其特征在于，还包括以下步骤：

运行程序代码，调用所述当前数据，运行所述输出程序代码，得到并保存运行结果；

显示结果，显示所述新发现预存储流程、所述输出程序代码和所述运行结果。

3.如权利要求1所述的一种数据探索发现方法，其特征在于，所述步骤获取可用预存储流程具体包括如下步骤：

获取第一可用预存储流程，获取与所述特征点匹配的第一可用预存储流程，得到第一可用预存储流程集合；

获取第二可用预存储流程，获取与所述特征点匹配的历史数据，根据所述历史数据获取第二可用预存储流程，得到第二可用预存储流程集合；

合并可用预存储流程，合并所述第一可用预存储流程集合、所述第二可用预存储流程集合，得到可用预存储流程集合。

4.如权利要求1所述的一种数据探索发现方法，其特征在于：所述新发现预存储流程包括节点、路径、方法和流程程序代码，所述节点和路径组成操作，所述方法包括预存储方法，所述流程程序代码用于执行预存储流程。

5.如权利要求4所述的一种数据探索发现方法，其特征在于：所述预存储方法包括统计学方法和方法程序代码，所述方法程序代码用于执行预存储方法。

6.一种数据探索发现系统，其特征在于：包括预存储方法模块、预存储流程模块、特征点获取模块、数据获取模块、新发现流程获取模块、程序代码生成模块；所述预存储方法模块与所述预存储流程模块连接，所述特征点获取模块与所述数据获取模块连接，所述新发现流程获取模块与所述预存储流程模块、所述特征点获取模块、所述数据获取模块、所述程序代码生成模块连接；

所述特征点获取模块获取当前数据的特征点，所述数据获取模块根据所述特征点，获取历史数据，所述新发现流程获取模块根据所述特征点、所述历史数据获取可用预存储流程，以及已用于当前数据的已用预存储流程，进而得到新发现预存储流程，所述预存储流程模块根据所述新发现预存储流程，获取所述预存储方法模块内的预存储方法和方法程序代码，所述程序代码生成模块获取所述新发现预存储流程，生成并保存输出程序代码。

7.如权利要求6所述的一种数据探索发现系统，其特征在于：还包括程序代码运行模块、结果显示模块，所述程序代码运行模块调用所述当前数据，运行所述输出程序代码，得到并保存运行结果；所述结果显示模块显示所述新发现预存储流程、所述输出程序代码和所述运行结果。

8.如权利要求7所述的一种数据探索发现系统，其特征在于：所述结果显示模块的显示界面包括新发现流程图标、程序代码图标、运行结果图标，所述新发现流程图标用于跳转至新发现预存储流程界面，所述程序代码图标用于跳转至输出程序代码界面，所述运行结果图标用于跳转至运行结果界面。

9.一种电子设备，其特征在于包括：处理器；

存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序包括用于执行权利要求1-5任意一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行如权利要求1-5任意一项所述的方法。