CN108664579B - 海量数据实时筛选分析方法、系统及存储介质 - Google Patents

Abstract

本发明公开了一种海量数据实时筛选分析方法、系统及存储介质，所述方法包括：构建基本条件数据库，并进行压缩存储；根据筛选条件结合基本条件数据库，确定本地缓存数据中的可用数据；结合可用数据在操作端进行逻辑运算，并对中间运算结果进行存储；显示最终的逻辑运算结果。本发明通过将数据筛选过程从服务器端转移至浏览器端，合理利用浏览器的自带缓存，明显解决了计算时间，同时，减少了服务器的运算量，提升了计算速度，从而也降低了服务器的运维成本。

Description

海量数据实时筛选分析方法、系统及存储介质

技术领域

本发明涉及数据处理技术领域，具体的说，是涉及一种海量数据实时筛选分析方法、系统及存储介质。

背景技术

随着社会信息化的日益发展，大数据、数据筛选已逐渐成为公知，但如何提高对海量数据的筛选及分析的速度仍是本领域技术人员难以攻克的难关。

现有对海量数据进行筛选分析的方案主要有两种：

一种方案是采用数据库针对原始数据进行处理，如图1，以对海量用户实时筛选为例，首先分析所有筛选条件，选择满足条件的用户数量最少的条件，通过数据库索引获得用户列表，最后再逐个判断是否满足剩下的条件。这种筛选方式主要由服务器进行筛选运算，且针对每一个筛选条件，均需要对所有用户进行搜索计算，即在进行复合条件筛选时，其需要对用户进行多次重复筛选，这就难免需要大量的计算，并耗费较多的计算时间。

另一种方案是使用BitSet方法处理，如图2，同样以对海量用户实时筛选为例，采用离线任务将各条件下的用户列表记录成压缩BitSet格式，根据用户的请求调取对应的BitSet进行逻辑运算。这种方式的缺陷在于，分析师调整筛选条件后，需要重新计算整个任务，不能有效的缓存中间计算结果并对中间计算结果加以利用，也在一定程度上影响了计算速度。

综上，上述两种方案的计算过程均给服务器带来较大的计算压力，这同时也间接的提高了服务器的运行成本。

发明内容

本发明的第一目的是提供一种海量数据实时筛选分析方法、系统及存储介质，该方法通过将数据筛选过程从服务器端转移至浏览器端，合理利用浏览器的自带缓存，明显解决了计算时间，同时，减少了服务器的运算量，提升了计算速度，从而也降低了服务器的运维成本。本发明的第二目的，是提供一种海量数据实时筛选系统，该系统用于执行上述方法的步骤。本发明的第三目的，是提供一种存储介质，该存储介质上存储有执行上述筛选分析方法的计算机程序。

为了实现上述目的，本发明的一个方面，提供了一种海量数据实时筛选分析方法，该方法包括如下步骤：

构建基本条件数据库，对基本条件数据库进行压缩后存储至云空间，并对基本条件数据库中每项数据对应的数据列表进行本地缓存；

根据筛选条件提取基本条件数据库及本地缓存数据中的可用数据；

在操作端对可用数据进行筛选，获取中间运算结果及筛选结果；

对中间运算结果进行存储，并显示筛选结果。

需要说明的是，如果在上述计算过程完成前，用户更改了筛选条件，则取消现有的不必要的计算过程，返回至“根据筛选条件结合基本条件数据库，确定本地缓存数据中的可用数据”处，即根据新的筛选条件，重新进行分析。

作为一种优选的技术方案，所述构建基本条件数据库，对基本条件数据库进行压缩存储，并对基本条件数据库中每项数据对应的数据列表进行本地缓存具体为：汇总所有的基本条件及现有的基本条件集合得到基本条件数据库，并将基本条件数据库记录为压缩文件，存储至云空间，并将基本条件数据库中的每项数据对应的数据列表缓存至本地操作端。此处优选的，将基本条件数据库记录为BitSet格式文件，并存储至通用云空间，这一操作一般在离线状态下进行。需要说明的是：BitSet格式是一种压缩存储的集合格式，只能存储符合某些条件的数据集合的索引信息而非数据本身，可以快速完成集合的交集、并集和差集等运算，从而计算出符合复杂筛选条件的数据集合。

作为一种优选的技术方案，所述根据筛选条件提取基本条件数据库及本地缓存数据中的可用数据具体为：提取基本条件数据库中属于筛选条件子集的最大基本条件集合，并根据所述最大基本条件集合确定需提取的剩余基本条件，再在本地缓存中提取所述最大基本条件集合和剩余基本条件各自对应的数据列表。

作为一种优选的技术方案，所述剩余基本条件为构成筛选条件与所述最大基本条件集合的差集的基本条件。

作为一种优选的技术方案，所述在操作端对可用数据进行筛选，获取中间运算结果及筛选结果具体为：确定可用数据中符合筛选条件的所有数据列表，将容量最小的数据列表作为筛选结果，并将该最小的数据列表及其他数据列表作为中间运算结果。

作为一种优选的技术方案，所述对中间运算结果进行存储，并显示筛选结果具体为：将中间运算结果缓存至操作端，将筛选结果通过操作端进行显示。

作为一种优选的技术方案，所述操作端根据预设需求将筛选结果转换为图表或分页列表的形式进行显示。

为了实现上述目的，本发明的另一个方面，提供一种海量数据实时筛选分析系统，包括：

基本条件压缩存储模块，构建基本条件数据库，对基本条件数据库进行压缩存储，并对基本条件数据库中每项数据对应的数据列表进行本地缓存；

数据提取模块，根据筛选条件提取基本条件数据库及本地缓存数据中的可用数据；

数据筛选模块，在操作端对可用数据进行筛选，获取中间运算结果及筛选结果；

数据显示及缓存模块，对中间运算结果进行存储，并显示筛选结果。

作为一种优选的技术方案，所述数据显示及缓存模块为浏览器或搜索引擎。

为了实现上述目的，本发明的再一个方面，提供一种存储介质，该存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述海量数据实时筛选分析方法的步骤。

与现有技术相比，本发明的有益效果为：

1)本发明合理的利用了浏览器自带的缓存，显著节约了通过筛选条件进行数据搜索的时间；并通过缓存筛选运算过程的中间运算结果，扩充了缓存数据量，进一步为筛选数据缩短了时间；

2)本发明将数据计算过程从服务端转移到操作端(浏览器)端，利用操作端本身的计算能力对数据进行筛选，减少了服务器的运算压力，进而提高了运算速度，也降低了服务器的运维成本。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的限定。

图1是现有技术中给予数据库的传统数据筛选方法；

图2是现有BitSet的传统数据筛选方法；

图3是本发明实施例一所述方法的流程图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

下面以一次针对海量数据的实时筛选分析过程为例，详述本发明的技术方案，如图1所示，该分析过程包括如下步骤：

S01：构建基本条件数据库，对基本条件数据库进行压缩后存储至云空间，并对基本条件数据库中每项数据对应的数据列表进行本地缓存；

汇总所有的基本条件及现有的基本条件集合得到基本条件数据库，并将基本条件数据库记录为BitSet格式的压缩文件，存储至通用云空间，这一操作一般在离线状态下进行。需要说明的是：BitSet格式是一种压缩存储的集合格式，只能存储符合某些条件的数据集合的索引信息而非数据本身，可以快速完成集合的交集、并集和差集等运算，从而计算出符合复杂筛选条件的数据集合。此外，本实施例采用基于RLE的压缩BitSet算法，减少传输量，并有效提高计算性能，将计算过程压缩到毫秒级；在其他的实施例中，也可采用WAH、EWAH等对齐技术，可以进一步改进BitSet的计算性能，但会略微增加传输和缓存的开销；还有一些实施例中，采用emscripten等技术，可有效利用浏览器对WebAssembly等技术的支持，进一步改进BitSet的计算性能；本发明对此不作限定。

S02：根据筛选条件提取基本条件数据库及本地缓存数据中的可用数据；

具体的，提取基本条件数据库中属于筛选条件子集的最大基本条件集合，并根据该最大基本条件集合确定需提取的剩余基本条件，再在本地缓存中提取上述最大基本条件集合和剩余基本条件各自对应的数据列表。

S03：在操作端对可用数据进行筛选，获取中间运算结果及筛选结果；

具体的，直接在浏览器进行BitSet逻辑运算，确定可用数据中符合筛选条件的所有数据列表，将容量最小的数据列表作为筛选结果，并将该最小的数据列表及其他数据列表作为中间运算结果；

其中，中间运算结果包括：本次逻辑运算过程中出现的新的基本条件集合及其对应的数据列表。保存中间运算结果的目的在于便于下一次计算时的重复利用，进一步节省计算时间；

S04：对中间运算结果进行存储，并显示筛选结果。

将运算过程中出现的新的基本条件集合更新至基本条件数据库中进行压缩存储，并将筛选条件及新的基本条件集合各自对应的数据列表缓存至操作端，本实施例中，使用ServiceWorker提供的Cache API管理浏览器缓存，实现在浏览器端主动填写缓存；同时，将最终运算结果发送至显示界面，并根据需求将运算结果转换为图标或分页列表进行显示。

需要说明的是：本实施例采用独立的Worker完成计算，若上述计算完成前，数据更改了筛选条件，则取消现有的计算过程，则取消现有的不必要的计算过程，直接返回至步骤S02重新开始执行。此外，对于非浏览器端应用，可使用线程代替Worker，使用基于LRU算法的缓存算法代替浏览器缓存，本发明对此不作限定。

为进一步解释本发明的技术方案，下面以一次海量用户实时筛选分析案例为例，详细阐述本发明的技术方案，具体的：

案例背景：以对在某网站采购运动器材的用户群进行分析为例，该网站销售所有种类的运动器材，包括：篮球器材、足球器材、乒乓球器材、羽毛球器材、棒球器材、橄榄球器材……因此，篮球器材、足球器材、乒乓球器材、羽毛球器材、棒球器材等各个运动器材分别作为一个基本条件，将现有运动器材的不同集合作为基本条件集合，如包括“篮球器材和足球器材”的基本条件集合1、包括“篮球器材、足球器材、乒乓球器材”的基本条件集合2、包括“篮球器材、足球器材、乒乓球器材、羽毛球器材”的基本条件集合3等，上述基本条件集合来源于该网站的搜索记录及购买记录，若在该网站以往的统计数据中分析过用户的购买记录，如搜索过购买篮球器材、足球器材的用户，那么这一搜索条件对应一个用户群，即“篮球器材、足球器材”为基本条件集合，对应的这一用户群即为这一基本条件集合对应的用户列表。

本实施例中，筛选条件为“篮球器材、足球器材、乒乓球器材、棒球器材”，即：需要筛选买过上述四种器材的用户，筛选过程如下：

将上述基本条件“篮球器材、足球器材、乒乓球器材、羽毛球器材、棒球器材……”及现有的基本条件集合“基本条件集合1、基本条件集合2、基本条件集合3……”进行汇总得到基本条件数据库，将该基本条件数据库记录为BitSet格式文件，存储至服务器端，并将该基本条件数据库中每项数据对应的用户列表缓存至本地浏览器；

根据筛选条件“篮球器材、足球器材、乒乓球器材、棒球器材、羽毛球器材、橄榄球器材”提取基本条件数据库及本地缓存数据中的可用数据，具体为：首先提取基本条件数据库中的可用数据，即：搜索上述筛选条件在基本条件数据库中的最大子集，通过检索发现基本条件集合3为最大子集，则在基本条件数据库中提取的可用数据包括基本条件集合3、棒球器材以及橄榄球器材；下一步根据在本地浏览器缓存中查找上述可用数据分别对应的用户列表1、用户列表2及用户列表3。

在浏览器端进行筛选，获取中间运算结果及筛选结果的过程为：首先取基本条件集合3及棒球器材所对应的用户列表的交集，得到“篮球器材、足球器材、乒乓球器材、羽毛球器材及棒球器材”这一基本条件集合n(n＝现有基本条件数据库中已有基本条件集合的数量+1)所对应的用户列表n；再取基本条件集合n与橄榄球器材所对应的用户列表的交集，得到“篮球器材、足球器材、乒乓球器材、羽毛球器材、棒球器材及橄榄球器材”这一基本条件集合n+1所对应的用户列表n+1，其中，用户列表n+1即为筛选条件对应的筛选结果，而用户列表n和用户列表n+1均作为中间运算结果。

对中间运算结果进行存储，并显示筛选结果具体为：将基本条件集合n和基本条件集合n+1存储至基本条件数据库内并压缩存储至云空间，将上述中间运算结果缓存至浏览器。

上述筛选分析方法合理的利用了浏览器自带的缓存，显著节约了通过筛选条件进行数据搜索的时间；并通过缓存筛选运算过程的中间运算结果，扩充了缓存数据量，进一步为筛选数据缩短了时间；

此外，上述方法中，将数据计算过程从服务端转移到操作端(浏览器)端，利用操作端本身的计算能力对数据进行筛选，减少了服务器的运算压力，提高了运算速度，也降低了服务器的运维成本。

实施例二：

下面结合本发明所述的海量数据实时筛选分析系统，该系统应用于实现上述的海量数据实时筛选分析方法，其工作流程为：

首先根据基本条件及现有的基本条件集合构建基本条件数据库，通过基本条件压缩缓存模块对基本条件数据库记录为压缩BitSet格式文件，并存储到通用云空间/服务器，并对基本条件数据库中每项数据对应的数据列表进行本地缓存；

数据提取模块根据筛选条件提取基本条件数据库及本地缓存数据中的可用数据；

数据筛选模块，在操作端对可用数据进行筛选，获取中间运算结果及筛选结果；具体的，数据筛选模块根据筛选条件，首先检查云空间的基本条件数据库，确定基本条件数据库内的可用基本条件和基本条件集合，再在操作端提取上述基本条件和基本条件集合分别对应的数据列表；

数据显示及缓存模块，对上述数据提取过程中的中间运算结果缓存至浏览器或搜索引擎，并将最终运算结果从Worker(浏览器)发送到页面，浏览器根据需求将筛选得到的数据转换为图表或分页列表进行展示。

实施例三：

一种存储介质，该存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述分析方法的步骤。

上述采用三个实施例分别对海量数据实时筛选方法、系统及存储介质进行了详细介绍，本领域内的技术人员应明白，本发明的实施例可提供为方法、装置或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

当然，这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令还可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

此外，需要说明的是：

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (7)

1.一种海量数据实时筛选分析方法，其特征在于，包括如下步骤：

构建基本条件数据库，对基本条件数据库进行压缩后存储至云空间，并对基本条件数据库中每项数据对应的数据列表进行本地缓存；所述对基本条件数据库进行压缩后存储至云空间包括：采用基于RLE的压缩BitSet算法，将基本条件数据库记录为BitSet格式的压缩文件，存储至通用云空间；

根据筛选条件提取基本条件数据库及本地缓存数据中的可用数据；

在浏览器端对可用数据进行筛选，获取中间运算结果及筛选结果；所述在浏览器端对可用数据进行筛选，获取中间运算结果及筛选结果具体为：确定可用数据中符合筛选条件的所有数据列表，将容量最小的数据列表作为筛选结果，并将该最小的数据列表及其他数据列表作为中间运算结果；

对中间运算结果进行存储，并显示筛选结果；

所述构建基本条件数据库，对基本条件数据库进行压缩后存储至云空间，并对基本条件数据库中每项数据对应的数据列表进行本地缓存具体为：汇总所有的基本条件及现有的基本条件集合得到基本条件数据库，并将基本条件数据库记录为压缩文件，存储至云空间，并将基本条件数据库中的每项数据对应的数据列表缓存至本地浏览器端；

所述根据筛选条件提取基本条件数据库及本地缓存数据中的可用数据具体为：提取基本条件数据库中属于筛选条件子集的最大基本条件集合，并根据所述最大基本条件集合确定需提取的剩余基本条件，再在本地缓存中提取所述最大基本条件集合和剩余基本条件各自对应的数据列表。

2.根据权利要求1所述的一种海量数据实时筛选分析方法，其特征在于，所述剩余基本条件为构成筛选条件与所述最大基本条件集合的差集的基本条件。

3.根据权利要求1所述的一种海量数据实时筛选分析方法，其特征在于，所述对中间运算结果进行存储，并显示筛选结果具体为：将中间运算结果缓存至浏览器端，将筛选结果通过浏览器端进行显示。

4.根据权利要求3所述的一种海量数据实时筛选分析方法，其特征在于，所述浏览器端根据预设需求将筛选结果转换为图表或分页列表的形式进行显示。

5.一种海量数据实时筛选分析系统，应用权利要求1所述的海量数据实时筛选分析方法，其特征在于，包括：

基本条件压缩存储模块，构建基本条件数据库，对基本条件数据库进行压缩后存储至云空间，并对基本条件数据库中每项数据对应的数据列表进行本地缓存；所述对基本条件数据库进行压缩后存储至云空间包括：采用基于RLE的压缩BitSet算法，将基本条件数据库记录为BitSet格式的压缩文件，存储至通用云空间；

所述构建基本条件数据库，对基本条件数据库进行压缩后存储至云空间，并对基本条件数据库中每项数据对应的数据列表进行本地缓存具体为：汇总所有的基本条件及现有的基本条件集合得到基本条件数据库，并将基本条件数据库记录为压缩文件，存储至云空间，并将基本条件数据库中的每项数据对应的数据列表缓存至本地浏览器端；

数据提取模块，根据筛选条件提取基本条件数据库及本地缓存数据中的可用数据；

所述根据筛选条件提取基本条件数据库及本地缓存数据中的可用数据具体为：提取基本条件数据库中属于筛选条件子集的最大基本条件集合，并根据所述最大基本条件集合确定需提取的剩余基本条件，再在本地缓存中提取所述最大基本条件集合和剩余基本条件各自对应的数据列表；

数据筛选模块，在浏览器端对可用数据进行筛选，获取中间运算结果及筛选结果；所述在浏览器端对可用数据进行筛选，获取中间运算结果及筛选结果具体为：确定可用数据中符合筛选条件的所有数据列表，将容量最小的数据列表作为筛选结果，并将该最小的数据列表及其他数据列表作为中间运算结果；

数据显示及缓存模块，对中间运算结果进行存储，并显示筛选结果。

6.根据权利要求5所述的一种海量数据实时筛选分析系统，其特征在于，所述数据显示及缓存模块为浏览器或搜索引擎。

7.一种存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-4中任一项所述的海量数据实时筛选分析方法的步骤。

Images