CN108932300A - 一种无限迭代的过滤分析方法、设备及存储介质 - Google Patents

Abstract

本发明涉及大数据领域，针对现有技术存在的问题，本发明提供一种无限迭代的过滤分析方法、设备及存储介质。本发明中对初始节点对应的原始数据，分别输入m个过滤条件，进行数据的查询过滤，并保存n个第一级节点对应的路线过滤参数；m大于等于n；基于上述任意一个第一级节点的路线过滤参数，重新输入r个过滤条件，形成s个第一级节点的子节点，即s个第二级节点；并保存s个第二级节点对应的路线过滤参数；重复上述过程，进行过滤条件设置，进行无限迭代，形成上一级的x个的子节点，即x个第y级节点，并保存x个第y级节点及对应的路线过滤参数值，直到到找到相关数据，并形成p条过滤路线。

Description

一种无限迭代的过滤分析方法、设备及存储介质

技术领域

本发明涉及大数据领域，尤其是一种无限迭代的过滤分析方法、设备及存储介质。

背景技术

随着互联网大数据时代的到来，在电商，互联网金融，企业服务，教育，旅游，医疗，物流等各大领域发生了翻天覆地的变化。海量用户被导入到各大信息化系统中。面向大数据的全局检索过滤分析在各种需求场景得以体现。人们通常做法是通过关键字在原始数据中进行全文检索得到与之匹配的信息集合。但是在一些高端需求场景里面临如下问题：

1.基于原始数据进行过滤，多次分析需要循环输入条件查询。通过特定过滤条件，将数亿，甚至百亿、千亿级数据源一步步缩减至几百万或者几十万、几万、甚至更小范围的数据集合。

2.基于原始数据进行过滤，面对大数据情况下，效率低，响应慢。

3.不容易形成步骤化、模型化的分析过滤思路。

4.作为单一过滤结果集，不便于形成对比分析和关联交互操作。

发明内容

本发明所要解决的技术问题是：针对现有技术存在的问题，提供一种无限迭代的过滤分析方法、设备及存储介质。选择一个需要分析过滤的数据集合，进行一次查询过滤，基于当前数据结果，再次输入查询条件进行过滤，如此反复，达到无限迭代过滤的效果。进一步的，通过图形化路线过滤分析，直观有效的展示出迭代过滤的全过程。

本发明采用的技术方案如下：

一种无限迭代的过滤分析方法包括：

对初始节点对应的原始数据，分别输入m个过滤条件，进行数据的查询过滤，并保存n个第一级节点对应的路线过滤参数；m大于等于n；n大于等于1；

基于上述任意一个第一级节点的路线过滤参数，重新输入r个过滤条件，形成s个第一级节点的子节点，即s个第二级节点；并保存s个第二级节点对应的路线过滤参数；r大于等于s， s大于等1；

重复上述过程，进行过滤条件设置，进行无限迭代，形成上一级的x个的子节点，即x个第y级节点，并保存x个第y级节点及对应的路线过滤参数值，直到到找到相关数据，并形成p条过滤路线。

进一步的，所说m个过滤条件中有至少一个与其他过滤条件重合时，则m大于n；当m个过滤条件完全不同时，则m等于n；r个过滤条件中有至少一个与其他过滤条件重合时，则r大于s；当r个过滤条件完全不同时，则r等于s。

进一步的，所述的方法还包括从保存的p条过滤路线中任意节点z的路线过滤参数中进行查询，得到该节点z路线过滤参数的相关信息。

进一步的，所述的方法还包括用户在查询后，需要继续过滤时，基于p条过滤路线中的任意节点z，输入新的过滤条件，进行再次迭代过滤，系统将自动保存过滤条件，形成该条过滤路线以及对应的路线过滤参数，并将其添加到相应的过滤路线中。

进一步的，于所述保存路线过滤参数是通过全局结构体方式实现。

进一步的，根据所述的方法还包括加载已经保存的全局结构体，进行数据路线图显示。

一种存储介质，其中存储有多条指令，所述指令适用于由处理器加载并执行任意一项所述的方法的步骤。

一种无限迭代的过滤分析设备包括处理器，适于实现各指令；以及存储设备，适于存储多条指令，所述指令适于由处理器加载并执行上述任意一项所述的方法。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1.基于当前过滤结果的无限迭代查询，将海量数据缩减至易分析范围。

2.解决了每次过滤需要在原始数据中过滤的问题，迭代过滤是从上一次结果中进行，大大提高了响应速度。如图1所述。

3.自动存储过滤步骤，形成多分支的过滤分析路线。

4.路线化分析思路，支持任意步骤回归查询和二次迭代过滤，并保存。

5.相比过去在原始数据中过滤，越往后进行，所需要的条件愈发复杂，不够清晰。现在每一个步骤对应一个过滤条件和结果，通过结果及时发现输入的过滤条件的准确性，作到及时修正或重新迭代过滤。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是本发明原理图。

图2是本发明实施例示意图

图3是本发明具体实施例示意图。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

该方法包括：

一种无限迭代的过滤分析方法包括：

步骤1：对初始节点对应的原始数据，分别输入m个过滤条件，进行数据的查询过滤，并保存n个第一级子节点对应的路线过滤参数；m大于等于n；n大于等于1；

步骤2：基于上述任意一个第一级子节点的路线过滤参数，重新输入r个过滤条件，形成s个第一级子节点的子节点，即s个第二级子节点；并保存s个节点对应的路线过滤参数；r大于等于s， s大于等1；

步骤3：重复上述过程，进行过滤条件设置，进行无限迭代，形成上一级的x个的子节点，即x个第y级子节点，并保存x个子节点及对应的路线过滤参数值，直到到找到相关数据，并形成p条过滤路线。

步骤4：从保存的路线过滤参数中，选取任意节点查看历史过滤数据。

步骤5：基于步骤4，可进行二次迭代过滤；即,重新输入过滤条件进行一次迭代查询，生成新的路线分支，并保存。

步骤6：全局保存路线以及路线中包含的路线过滤参数。

步骤7：加载已经保存的路线过滤参数和路线，可以还原分析场景，持久化工作状态。

其中，步骤2中，基于上述任意一个第一级子节点的路线过滤参数，重新输入r个过滤条件，形成s个第一级子节点的子节点具体过程是：

对某一节点的数据进行过滤处理时，对该节点需要过滤的数据输入不同的过滤条件，形成该节点的下一个节点；同时在该节点位置记录该节点路线过滤参数，以及在下一界点记录对该节点对应的下一级节点的路线过滤参数；路线过滤参数记录过程分为：

其中第一级节点，即起始节点的路线过滤参数：节点编号以及原始数据；

起始节点之外的其他节点的线路过滤参数至少包括：该节点的过滤条件、节点编号、该节点过滤后的数据、以及该节点与下一级节点上下级关系。

实施例一：

1、如图2，节点*-***中，横杠前面数字表示原始数据的第几层级节点，横杠后边数字表示该节点的节点编号；例如7-014表示，数字7表示该节点是原始数据的第7层级节点，即该层级节点表示当前节点是原始数据经过7次过滤得到的节点；数字014表示当前节点编号是014，是用户操作的第14次过滤。

2、路线图形成过程：图2中原始节点通过节点1-001表示，原始节点通过两个不同过滤条件，形成两个第二级节点，通过节点2-002，节点2-003表示；

两个第二级节点中节点2-002通过两个不同过滤条件，形成两个第三级节点，分别通过3-004，3-005表示；两个第二级节点中节点2-003通过一个过滤条件形成一个第三级节点3-006；以此类推，形成29个过滤条件，有17个节点；

其中图2种输出某些过滤条件，形成如图3的路线图，例如1-001中输入被过滤数据是地球，过滤条件是中国或泰国；则分别在节点2-003过滤后的数据为泰国，2-002过滤后的数据为中国，以此输入各种过滤条件，最后可以得到玉溪地方对应的线路图，即地球、中国、云南、玉溪这个过滤条件的对应的路线。

3、路线图过滤条件的算法如下：如果某一个节点位于两个不同线路中，那么该节点里面就包括两个完全相同过滤条件；若某一节点位于三个不同线路中，则该节点就包括三个完全相同过滤条件； 例如2-002分别用于线路1和线路2，则2-002节点包括两个相同的过滤表达式。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (8)

1.一种无限迭代的过滤分析方法，其特征在于包括：

对初始节点对应的原始数据，分别输入m个过滤条件，进行数据的查询过滤，并保存n个第一级节点对应的路线过滤参数；m大于等于n；n大于等于1；

基于上述任意一个第一级节点的路线过滤参数，重新输入r个过滤条件，形成s个第一级节点的子节点，即s个第二级节点；并保存s个第二级节点对应的路线过滤参数；r大于等于s， s大于等1；

重复上述过程，进行过滤条件设置，进行无限迭代，形成上一级的x个的子节点，即x个第y级节点，并保存x个第y级节点及对应的路线过滤参数值，直到到找到相关数据，并形成p条过滤路线。

2.根据权利要求1所述的方法，其特征在于所说m个过滤条件中有至少一个与其他过滤条件重合时，则m大于n；当m个过滤条件完全不同时，则m等于n；r个过滤条件中有至少一个与其他过滤条件重合时，则r大于s；当r个过滤条件完全不同时，则r等于s。

3.根据权利要求1或2所述的方法，其特征在于还包括从保存的p条过滤路线中任意节点z的路线过滤参数中进行查询，得到该节点z路线过滤参数的相关信息。

4.根据权利要求3所述的方法，其特征在于还包括用户在查询后，需要继续过滤时，基于p条过滤路线中的任意节点z，输入新的过滤条件，进行再次迭代过滤，系统将自动保存过滤条件，形成该条过滤路线以及对应的路线过滤参数，并将其添加到相应的过滤路线中。

5.根据权利要求1、2或4所述的方法，其特征在于所述保存路线过滤参数是通过全局结构体方式实现。

6.根据权利要求5所述的方法，其特征在于还包括加载已经保存的全局结构体，进行数据路线图显示。

7.一种存储介质，其中存储有多条指令，所述指令适用于由处理器加载并执行如权利要求1至6任意一项所述的方法的步骤。

8.一种无限迭代的过滤分析设备，其特征在于包括处理器，适于实现各指令；以及存储设备，适于存储多条指令，所述指令适于由处理器加载并执行上述权利要求1至6任意一项所述的方法。