CN110362585B

CN110362585B - 数据分析方法、装置，存储介质及电子设备

Info

Publication number: CN110362585B
Application number: CN201910533705.2A
Authority: CN
Inventors: 肖健; 刘作坤
Original assignee: Neusoft Corp
Current assignee: Neusoft Corp
Priority date: 2019-06-19
Filing date: 2019-06-19
Publication date: 2021-11-26
Anticipated expiration: 2039-06-19
Also published as: CN110362585A

Abstract

本公开涉及一种数据分析方法、装置，存储介质及电子设备，所述数据分析方法包括：建立数据表中的字段与表单的业务模型之间的关联关系；响应于所述数据表发生的数据变更，根据所述关联关系对与所述数据表中发生数据变更的字段相关联的业务模型进行标记；在满足预设的数据分析触发条件时，对已标记的业务模型对应的数据表进行数据分析，得到数据分析结果；根据所述数据分析结果更新中间表中已有的对应于所述已标记业务模型的数据分析结果，所述中间表用于存储每一所述业务模型的数据分析结果。

Description

数据分析方法、装置，存储介质及电子设备

技术领域

本公开涉及数据分析处理领域，尤其涉及一种数据分析方法、装置，存储介质及电子设备。

背景技术

本部分旨在为权利要求中陈述的本发明的实施方式提供背景或上下文，因此，此处的描述不因为包括在本部分中就承认是现有技术。

数据分析是指用适当的统计分析方法对收集到的大量数据进行分析，从而从繁杂的数据中提取出有用的信息并形成结论的过程。在实际的应用场景中，通过数据分析来对目标数据进行概括和研究能够帮助人们更直观的了解目标的状态，以便做出合理的判断和决策。

相关技术中，在数据量较大或数据出现变化时，用户往往需要等待较长的时间才能获取到数据分析结果，导致用户的体验较差。

发明内容

为克服相关技术中存在的问题，本公开提供一种数据分析方法、装置，存储介质及电子设备，用以解决相关技术中，用户获取数据分析结果的过程耗时较长的问题。

根据本公开实施例的第一方面，提供一种数据分析方法，包括：

建立数据表中的字段与表单的业务模型之间的关联关系；

响应于所述数据表发生的数据变更，根据所述关联关系对与所述数据表中发生数据变更的字段相关联的业务模型进行标记；

在满足预设的数据分析触发条件时，对已标记的业务模型对应的数据表进行数据分析，得到数据分析结果；

根据所述数据分析结果更新中间表中已有的对应于所述已标记业务模型的数据分析结果，所述中间表用于存储每一所述业务模型的数据分析结果。

可选地，所述建立数据表中的字段与表单的业务模型之间的关联关系包括：

从每一所述业务模型对应的数据表中提取与该业务模型对应的信息素，所述信息素包括所述数据表的标识以及所述数据表中计算所述业务模型所需要的字段；

将每一所述业务模型对应的信息素作为树形构建算法的输入，所述树形构建算法包括：按交集获取出两两业务模型对应的信息素中相同的信息素，将获取出的信息素生成信息素集合作为所述两两业务模型分别的父节点；

递归调用所述树形构建算法，将上一次调用所述树形构建算法得到的信息素集合作为所述树形构建算法的输入，直至没有新的父节点出现，得到节点关系树；

所述根据所述关联关系对所述数据表中与发生数据变更的字段相关联的业务模型进行标记包括：

以发生数据变更的字段对应的目标信息素为起点深度遍历所述节点关系树，并将遍历到的业务模型进行标记。

可选地，所述在满足预设的数据分析触发条件时，对已标记的业务模型对应的数据表进行数据分析，得到数据分析结果，包括：

在接收到数据分析请求时，对已标记的业务模型对应的数据表进行数据分析，得到数据分析结果；

所述方法还包括：

根据所述数据分析请求，从所述中间表中，获取每一所述业务模型的数据分析结果进行渲染展示。

可选地，所述方法还包括：在根据所述数据分析结果更新中间表中已有的对应所述已标记业务模型的数据分析结果之后，取消所述业务模型的标记。

根据本公开实施例的第二方面，提供一种数据分析装置，包括：

创建模块，用于建立数据表中的字段与表单的业务模型之间的关联关系；

第一标记模块，用于响应于所述数据表发生的数据变更，根据所述关联关系对与所述数据表中发生数据变更的字段相关联的业务模型进行标记；

计算模块，用于在满足预设的数据分析触发条件时，对已标记的业务模型对应的数据表进行数据分析，得到数据分析结果；

更新模块，用于根据所述数据分析结果更新中间表中已有的对应于所述已标记业务模型的数据分析结果，所述中间表用于存储每一所述业务模型的数据分析结果。

可选地，所述创建模块包括：

提取子模块，用于从每一所述业务模型对应的数据表中提取与该业务模型对应的信息素，所述信息素包括所述数据表的标识以及所述数据表中计算所述业务模型所需要的字段；

第一执行子模块，用于将每一所述业务模型对应的信息素作为树形构建算法的输入，所述树形构建算法包括：按交集获取出两两业务模型对应的信息素中相同的信息素，将获取出的信息素生成信息素集合作为所述两两业务模型分别的父节点；

第二执行子模块，用于递归调用所述树形构建算法，将上一次调用所述树形构建算法得到的信息素集合作为所述树形构建算法的输入，直至没有新的父节点出现，得到节点关系树；

所述第一标记模块包括：

遍历子模块，用于以发生数据变更的字段对应的目标信息素为起点深度遍历所述节点关系树；

标记子模块，用于将所述遍历子模块遍历到的业务模型进行标记。

可选地，所述计算模块包括：

计算子模块，用于在接收到数据分析请求时，对已标记的业务模型对应的数据表进行数据分析，得到数据分析结果；

所述装置还包括：

显示模块，用于根据所述数据分析请求，从所述中间表中，获取每一所述业务模型的数据分析结果进行渲染展示。

可选地，所述装置还包括：

第二标记模块，用于在所述更新模块根据所述数据分析结果更新中间表中已有的对应所述已标记业务模型的数据分析结果之后，取消所述业务模型的标记。

根据本公开实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开第一方面所提供的数据分析方法的步骤。

根据本公开实施例的第四方面，提供一种电子设备，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一方面所提供的数据分析方法的步骤。

采用上述技术方案，至少可以包括以下有益效果：

通过建立数据表中的字段与表单的业务模型之间的关联关系，在所述数据表发生数据变更时，能够通过所述数据表中发生数据变更的字段快速定位并标记到与所述字段相关联的业务模型。同时，也通过设置中间表的方式来对每一业务模型的数据分析结果进行了存储。这样，在数据分析条件触发时，就可以只对已标记的业务模型所对应的数据表进行数据分析并将得到数据分析结果更新至所述中间表，相对于相关技术中在数据发生变动之后对所有业务模型进行重新计算的方式，节省了计算量，也减少了获取数据分析结果的时间。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是根据一示例性实施例示出的一种数据分析方法的流程图。

图2是根据一示例性实施例示出的一种数据分析方法的流程图。

图3是根据一示例性实施例示出的一种节点关系树的示意图。

图4是根据一示例性实施例示出的一种数据分析装置的框图。

图5是根据一示例性实施例示出的一种数据分析装置的框图。

图6是根据一示例性实施例示出的另一种数据分析装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

介绍本公开所提供的数据分析方法、装置，存储介质及电子设备之前，首先对本公开的应用场景进行介绍。本公开所提供的实施例可以应用在各种数据分析统计场合，例如在企业管理系统中根据每一员工当月的相关数据分析统计各部门当月的业绩、出勤状态、费用等等。

图1是根据一示例性实施例示出的一种数据分析方法的流程图，如图1所示，所述数据分析方法包括：

S11，建立数据表中的字段与表单的业务模型之间的关联关系。

其中，所述表单可以是一种面向用户的统计分析结果的形式，其可以以表格、网页界面等形式呈现。所述表单可以对应于多个不同的业务模型，即所述表单可以根据所述多个不同的业务模型分别的数据分析结果来生成。此外，不难理解的，在计算不同业务模型的数据分析结果时，业务模型之间可以存在耦合关系。也就是说，同一数据表或是同一数据表中的某一字段可以应用在多个不同业务模型数据分析结果的计算中，在具体实施时，可以根据这样的耦合关系建立数据表中的字段与各个业务模型之间的关联关系。

S12，响应于所述数据表发生的数据变更，根据所述关联关系对与所述数据表中发生数据变更的字段相关联的业务模型进行标记。

也就是说，当某一数据表发生数据变更之后，可以根据已建立的所述数据表中的字段与业务模型之间的关联关系，将所述数据变更可能影响到的业务模型进行标记。这样，在后续的数据分析过程中，就可以根据业务模型是否处于标记状态来针对性的对业务模型的数据分析结果进行计算和更新，从而减少计算量。

S13，在满足预设的数据分析触发条件时，对已标记的业务模型对应的数据表进行数据分析，得到数据分析结果。

其中，所述预设的数据分析触发条件可以是系统预先设定的也可以是人为触发的，所述业务模型的数据分析结果也可以在系统开始运行时由系统预先进行一次初始化计算并作为初始数据分析结果存储。示例地，所述数据分析触发条件可以是系统预设的，系统可以按照固定的频率定期对每一所述已标记的业务模型进行数据分析(如每小时、一天、一月等)，并将分析得到的数据分析结果更新至已存储的初始数据分析结果中。这样，在接收到用户触发的数据分析结果查询指令时，可以根据所述查询指令确定并获取已存储的相关业务模型的数据分析结果为用户展示，从而降低响应时间。所述数据分析触发条件也可以是由用户触发的，在接收到用户的查询指令之后，对相关的已标记的业务模型进行数据分析并将分析得到的数据分析结果更新至已存储的初始数据分析结果中。此外，本领域技术人员也应当知晓，为了缩短响应时间并提升用户的使用体验，在具体实施时，所述数据分析触发条件也可以以系统预设频率自动计算并结合用户触发的方式来实现，本公开对此不做限定。

S14，根据所述数据分析结果更新中间表中已有的对应于所述已标记业务模型的数据分析结果，所述中间表用于存储每一所述业务模型的数据分析结果。

采用上述方法，能够达到以下技术效果：

示例地，在具体实施中，可以在系统初始化时获取计算每一业务模型的数据分析结果所需要的表字段，并建立所述表字段与业务模型之间的对应关系进行存储。在数据表出现更改时，可以响应所述数据表的更改，将数据变更状态定位到具体的某些字段，通过查询已存储的表字段与业务模型之间的对应关系，来确定并标记此次数据更改将会影响到的业务模型。最终在展示某一表单所对应的数据分析结果时(所述表单的数据分析结果可以由多个不同的业务模型分别的数据分析结果来确定)，系统只需要重新计算处于标记状态的业务模型的数据分析结果，针对未标记的业务模型可以直接调用中间表中预先计算并存储的数据分析结果即可。相对于相关技术中，在展示某一表单所对应的数据分析结果时对所有业务模型进行重新计算的方式，节省了计算量，也缩短了系统响应时间。

图2是根据一示例性实施例示出的一种数据分析方法的流程图。参照图2，所述方法包括：

S21，从每一业务模型对应的数据表中提取与该业务模型对应的信息素，所述信息素包括所述数据表的标识以及所述数据表中计算所述业务模型所需要的字段。也就是说，可以从每一业务模型对应的数据表中提取计算所述业务模型所需要的最小字段单元，将每一个提取出的所述字段以及所述字段所属的数据表的标识作为一个信息素。

S22，将每一所述业务模型对应的信息素作为树形构建算法的输入，所述树形构建算法包括：按交集获取出两两业务模型对应的信息素中相同的信息素，将获取出的信息素生成信息素集合作为所述两两业务模型分别的父节点。

在一种可能的实施方式中，所述将每一所述业务模型对应的信息素作为树形构建算法的输入之前，还可以将所述业务模型以及获取到的与所述业务模型相关联的信息素进行哈希顺序排序。从而提升在获取两两业务模型对应的信息素中相同的信息素时的效率。

此外值得说明的是，在按交集获取两两业务模型对应的信息素中相同的信息素时，也并非需要将不同业务模型所对应的信息素提取出来并生成信息素集合。在具体实施过程中，也可以仅仅获取不同业务模型所对应的信息素的特征信息，以所述特征信息来表征对应的信息素，在这种情况下，所述信息素集合可以是由对应信息素的特征信息所构成的集合。此外，在获取不同业务模型对应的信息素中相同的信息素时，针对不同的业务模型按所述树形构建算法所生成的多个信息素集合中可能存在相同的信息素集合(即包括了完全相同的信息素)，在这种情况下可以将所述相同的信息素集合同时作为其涉及到的多个业务模型的公共父节点。

S23，递归调用所述树形构建算法，将上一次调用所述树形构建算法得到的信息素集合作为所述树形构建算法的输入，直至没有新的父节点出现，得到节点关系树。

示例地，参照图3所示出的一种节点关系树示意图，所述业务模型1、业务模型2、以及业务模型3在通过所述树形构建算法之后，根据所述三个业务模型之间的耦合关系，生成了信息素集合12、信息素集合13、信息素集合23。通过递归调用所述树形构建算法，将信息素集合12、信息素集合13、信息素集合23作为所述树形构建算法的输入之后，得到了相同的信息素集合123作为所述信息素集合12、信息素集合13、信息素集合23的公共父节点，从而得到节点关系树。

S24，响应于所述数据表发生的数据变更，以发生数据变更的字段对应的目标信息素为起点深度遍历所述节点关系树，并将遍历到的业务模型进行标记。

示例地，参照图3所示出的一种节点关系树示意图，在所述信息素集合123包括的任一信息素发生更改时，通过反向遍历所述节点关系树，可以将业务模型1、业务模型2以及业务模型3进行标记；在信息素集合12中的某一信息素(该信息素不存在于信息素集合13，也不存在于信息素集合23)发生变更时，通过反向遍历所述节点关系树，可以将业务模型1、业务模型2进行标记。也就是说，通过以发生数据变更的字段对应的目标信息素为起点深度遍历所述节点关系树，并将遍历到的业务模型进行标记的方式，在某一数据表中的某一字段发生更改时，可以快速的将与所述字段相关联的业务模型进行标记，以便于后续的分析处理。

S25，在满足预设的数据分析触发条件时，对已标记的业务模型对应的数据表进行数据分析，得到数据分析结果。

仍以图3进行举例说明，若业务模型1、业务模型2存在标记，业务模型3不存在标记，则在满足预设的数据分析触发条件，根据与业务模型1关联的数据表，对业务模型1进行数据分析，根据与业务模型2关联的数据表，对业务模型2进行数据分析，由于业务模型3不存在标记，表明与该业务模型3关联的字段未发生变更，无需更新业务模型3的数据分析结果。

S26，根据所述数据分析结果更新中间表中已有的对应于所述已标记业务模型的数据分析结果，所述中间表用于存储每一所述业务模型的数据分析结果。

这样，通过对每一业务模型对应的数据表中提取与该业务模型对应的信息素，并通过树形构建算法将所述信息素和业务模型生成节点关系树的方式，在某一数据表中的某一字段发生更改时，可以通过遍历所述节点关系树的方式快速的将与所述字段相关联的业务模型进行标记，以便于后续的分析处理。

在一种可能的实施方式中，所述在满足预设的数据分析触发条件时，对已标记的业务模型对应的数据表进行数据分析，得到数据分析结果，包括：

所述方法还包括：

示例地，系统可以在初始化时可以对每一业务模型进行数据分析结果并将所述数据分析结果存储至中间表，在接收到用户触发生成的数据分析请求时，系统可以对处于标记状态的业务模型对应的数据表进行数据分析，得到数据分析结果，并根据所述数据分析结果更新中间表中已有的对应于所述已标记业务模型的数据分析结果。随后系统可以根据所述数据分析请求，从所述中间表中，获取每一所述业务模型的数据分析结果进行渲染展示。

也就是说，所述系统在响应数据分析请求时，只需要重新对处于标记状态的业务模型所对应的数据表进行重新分析，针对非标记状态的业务模型，可以直接获取中间表中已计算完成的数据分析结果进行渲染显示。通过这样的方式，减少了系统在响应数据分析请求时的后台计算量，最终提升了系统的响应速度。

在另一种可能的实施方式中，所述方法还包括：在根据所述数据分析结果更新中间表中已有的对应所述已标记业务模型的数据分析结果之后，取消所述业务模型的标记。也就是说，每次完成对业务模型的数据分析结果更新后，将业务模型的标记取消，以便后续在数据表的字段数据再次发生变更时，再次对关联的业务模型进行标记，以重复执行图1或图2所示出的方法步骤，实现针对每一次的字段数据变更，更新该字段关联的业务模型的数据分析结果。

图4是根据一示例性实施例示出的一种数据分析装置的框图，如图4所示，所述数据分析装置400包括：

创建模块401，用于建立数据表中的字段与表单的业务模型之间的关联关系；

第一标记模块402，用于响应于所述数据表发生的数据变更，根据所述关联关系对与所述数据表中发生数据变更的字段相关联的业务模型进行标记；

计算模块403，用于在满足预设的数据分析触发条件时，对已标记的业务模型对应的数据表进行数据分析，得到数据分析结果；

更新模块404，用于根据所述数据分析结果更新中间表中已有的对应于所述已标记业务模型的数据分析结果，所述中间表用于存储每一所述业务模型的数据分析结果。

采用上述装置，可以包括如下技术效果：

通过创建模块建立数据表中的字段与表单的业务模型之间的关联关系，在所述数据表发生数据变更时，能够通过所述数据表中发生数据变更的字段由第一标记模块快速定位并标记与所述字段相关联的业务模型。同时，也通过设置中间表的方式来对每一业务模型的数据分析结果进行了存储。这样，在数据分析条件触发时，就可以只对已标记的业务模型所对应的数据表进行数据分析并将得到数据分析结果由更新模块更新至所述中间表，相对于相关技术中在数据发生变动之后对所有业务模型进行重新计算的方式，节省了计算量，也减少了获取数据分析结果的时间。

图5是根据一示例性实施例示出的一种数据分析装置800的框图，参照图5，所述装置在图4的基础上，所述创建模块401包括：

提取子模块4011，用于从每一所述业务模型对应的数据表中提取与该业务模型对应的信息素，所述信息素包括所述数据表的标识以及所述数据表中计算所述业务模型所需要的字段；

第一执行子模块4012，用于将每一所述业务模型对应的信息素作为树形构建算法的输入，所述树形构建算法包括：按交集获取出两两业务模型对应的信息素中相同的信息素，将获取出的信息素生成信息素集合作为所述两两业务模型分别的父节点；

第二执行子模块4013，用于递归调用所述树形构建算法，将上一次调用所述树形构建算法得到的信息素集合作为所述树形构建算法的输入，直至没有新的父节点出现，得到节点关系树；

所述第一标记模块402包括：

遍历子模块4021，用于以发生数据变更的字段对应的目标信息素为起点深度遍历所述节点关系树；

标记子模块4022，用于将所述遍历子模块遍历到的业务模型进行标记。

可选地，所述计算模块403包括：

所述装置400还包括：

采用所述数据分析装置，系统在响应数据分析请求时，只需要重新对处于标记状态的业务模型所对应的数据表进行重新分析，针对非标记状态的业务模型，可以直接获取中间表中已计算完成的数据分析结果进行渲染显示即可。通过这样的方式，减少了系统在响应数据分析请求时的后台计算量，也提升了系统的响应速度。

在一种可能的实施方式中，所述装置400还包括：

第二标记模块，用于在所述更新模块404根据所述数据分析结果更新中间表中已有的对应所述已标记业务模型的数据分析结果之后，取消所述业务模型的标记。

值得注意的是，以上实施例仅为示例，其所需要的装置可能是非必需的，例如，在具体实施时，所述第二标记模块和所述第一标记模块可以是独立的两个装置，也可以是同一个装置，本公开对此不做限定。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本公开还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的数据分析方法的步骤。

本公开还提供一种电子设备，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现本公开提供的数据分析方法的步骤。

图6是根据一示例性实施例示出的一种电子设备600的框图。例如，电子设备600可以被提供为一服务器。参照图6，电子设备600包括处理器622，其数量可以为一个或多个，以及存储器632，用于存储可由处理器622执行的计算机程序。存储器632中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器622可以被配置为执行该计算机程序，以执行上述的数据分析方法。

另外，电子设备600还可以包括电源组件626和通信组件650，该电源组件626可以被配置为执行电子设备600的电源管理，该通信组件650可以被配置为实现电子设备600的通信，例如，有线或无线通信。此外，该电子设备600还可以包括输入/输出(I/O)接口658。电子设备600可以操作基于存储在存储器632的操作系统，例如Windows ServerTM，Mac OSXTM，UnixTM，LinuxTM等等。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的数据分析方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器632，上述程序指令可由电子设备600的处理器622执行以完成上述的数据分析方法。

在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的数据分析方法的代码部分。

本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims

1.一种数据分析方法，其特征在于，包括：

建立数据表中的字段与表单的业务模型之间的关联关系；

根据所述数据分析结果更新中间表中已有的对应于所述已标记业务模型的数据分析结果，所述中间表用于存储每一所述业务模型的数据分析结果；

所述建立数据表中的字段与表单的业务模型之间的关联关系包括：

2.根据权利要求1所述的方法，其特征在于，所述在满足预设的数据分析触发条件时，对已标记的业务模型对应的数据表进行数据分析，得到数据分析结果，包括：

所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：在根据所述数据分析结果更新中间表中已有的对应所述已标记业务模型的数据分析结果之后，取消所述业务模型的标记。

4.一种数据分析装置，其特征在于，包括：

更新模块，用于根据所述数据分析结果更新中间表中已有的对应于所述已标记业务模型的数据分析结果，所述中间表用于存储每一所述业务模型的数据分析结果；

所述创建模块包括：

所述第一标记模块包括：

5.根据权利要求4所述的装置，其特征在于，所述计算模块包括：

所述装置还包括：

6.根据权利要求4所述的装置，其特征在于，所述装置还包括：

7.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1至3中任一项所述方法的步骤。

8.一种电子设备，其特征在于，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1至3中任一项所述方法的步骤。