CN107944058A - 基于网页版的大数据量结构化数据筛选和过滤的实现方法 - Google Patents
基于网页版的大数据量结构化数据筛选和过滤的实现方法 Download PDFInfo
- Publication number
- CN107944058A CN107944058A CN201711475519.5A CN201711475519A CN107944058A CN 107944058 A CN107944058 A CN 107944058A CN 201711475519 A CN201711475519 A CN 201711475519A CN 107944058 A CN107944058 A CN 107944058A
- Authority
- CN
- China
- Prior art keywords
- data
- screening
- big data
- search engine
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/3332—Query translation
- G06F16/3334—Selection or weighting of terms from queries, including natural language queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/335—Filtering based on additional data, e.g. user or group profiles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种基于网页版的大数据量结构化数据筛选和过滤的实现方法，具体步骤如下：设置自定义筛选范围值的个数；前端传递查询条件至后端大数据搜索引擎；大数据搜索引擎搜索数据；通过前端交互，向大数据搜索引擎发送请求，获取选中数据项筛选值；与前端交互，渲染筛选值，通过选中筛选值，搜索指定的结果集数据范围；与前端交互，通过设置过滤条件，搜索指定过滤范围内的结果集数据。本发明具有可以大幅度提升数据处理的性能，并且保证数据的完整性等优点。
Description
技术领域
本发明涉及数据应用领域，具体来说是一种基于网页版的大数据量结构化数据筛选和过滤的实现方法。
背景技术
目前主流数据筛选过滤技术都是基于web浏览器端实现，其实现方式为服务器端将数据一次性传递给前端，通过前端技术实现对数据筛选过滤，其优点对数据的处理逻辑清晰简单，便于实现且技术发展也相对成熟，但是由于前端筛选过滤在数据量上的局限性，以及大数据量在浏览器端的呈现性能问题，只能处理较小数据量的数据，如何实现处理大数据量的数据已成为当前重要的研究方向之一。
发明内容
针对于现有技术所存在的在基于大数据量的筛选和过滤处理方面不足的缺陷，提供一种基于网页版的大数据量结构化数据筛选和过滤的实现方法。
为实现上述目的，本发明采用的技术方案是：一种基于网页版的大数据量结构化数据筛选和过滤的实现方法，具体步骤如下：
(1)、设置自定义筛选范围值的个数；
(2)、前端传递查询条件至后端大数据搜索引擎；
(3)、大数据搜索引擎搜索数据；
(4)、通过前端交互，向大数据搜索引擎发送请求，获取选中数据项筛选值；
(5)、与前端交互，渲染筛选值，通过选中筛选值，搜索指定的结果集数据范围；
(6)、与前端交互，通过设置过滤条件，搜索指定过滤范围内的结果集数据。
作为优选，所述的步骤(1)中，设置自定义筛选范围值的个数的具体方法如下：
以配置项的方式将自定义范围值的个数以初始化参数的方式添加到系统配置文件中，保证后端程序在处理过程中能获取到这个参数。
作为优选，所述的步骤(2)中，前端传递查询条件至后端大数据搜索引擎的具体方法为：
(2.1)、收集用户在页面操作的查询条件内容；
(2.2)、校验条件内容的合法性；
(2.3)、对查询条件做二次封装，生成基于大数据搜索引擎的查询条件；
(2.4)、通过HTTP协议RESET的请求方式将二次处理后的查询条件传递给后端数据搜索引擎。
作为优选，所述的步骤(3)中，大数据搜索引擎搜索数据的具体方法为：
(3.1)、大数据搜索引擎解析查询条件；
(3.2)、根据解析后的查询条件，执行搜索操作。
作为优选，所述的步骤(4)中，通过前端交互，向大数据搜索引擎发送请求，获取选中数据项筛选值,采用如下方法：
(4.1)、在步骤(2)中生成基于大数据搜索引擎的查询条件的基础上，再增加一个需要获取筛选值数据项的标识，然后执行步骤(4)；
(4.2)、大数据搜索在当前搜索结果的数据基础上通过数据的权重比例从高至低的排序方式，对数据进行排序，然后根据步骤(1)中配置的自定义筛选范围值的个数，返回对应相对数量的筛选值。
作为优选，所述的步骤(5)中，通过前端交互，向大数据搜索引擎发送请求，获取选中数据项筛选值，前端自定义展现形式，通过选中筛选值，搜索指定的结果集数据。
作为优选，所述的步骤(6)中，通过前端交互，可设置查询结果集的数据范围，执行步骤(3)，直至返回查询结果。
本发明相比现有技术具有以下优点：
本发明所述的一种基于网页版的大数据量结构化数据筛选和过滤的实现方法提供对大数量的结构化数据根据不同维度进行筛选和过滤分析，筛选范围值可按照数据值的权重比例从高至低降序排序，并且支持自定义筛选范围值的个数，通过与前端筛选过滤效果对比，此方法在性能上有显著的提升，以及对数据完整性也有很好的支持，在基于大数据量的数据筛选过滤处理上，可以大幅度提升数据处理的性能，并且保证数据的完整性。
附图说明
图1是本发明一种基于网页版的大数据量结构化数据筛选和过滤的实现方法的流程图；
图2是本发明一种基于网页版的大数据量结构化数据筛选和过滤的实现方法中的数据筛选流程图；
图3是本发明一种基于网页版的大数据量结构化数据筛选和过滤的实现方法中数据过滤流程图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：
实施例1
参照图1，本发明公开了一种基于网页版的大数据量结构化数据筛选和过滤的实现方法，系统初始化首先需要配置自定义的筛选个数参数，然后用户执行数据查询操作，系统自动生成查询条件，并将生成的查询条件发送至大数据搜素引擎，大数据搜索引擎接收到查询条件后，解析查询条件搜索数据，并将查询结果数据返回，web端应用程序接受到后端大数据搜索引擎返回的数据进行渲染展示，用户根据呈现的数据可选择执行筛选和过滤操作。
实施例2
参照图2，执行筛选操作，通过与后端数据搜索呢引擎交互，获取目标数据项的筛选值并在浏览器渲染，用户通过在浏览器页面选中目标数据项的筛选值，执行筛选操作，系统自动生成查询条件并发送至大数据搜索引擎，大数据搜索引擎解析查询条件搜索数据，并将查询结果数据返回，web端应用程序渲染筛选后的结果集数据。
实施例3
参照图3，执行过滤操作，用户通过在浏览器页面设置目标数据项的过滤范围，执行筛选操作，系统自动生成查询条件并发送至大数据搜索引擎，大数据搜索引擎解析查询条件搜索数据，并将查询结果数据返回，web端应用程序过滤选后的结果集数据。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。
Claims (7)
1.一种基于网页版的大数据量结构化数据筛选和过滤的实现方法，其特征在于：具体步骤如下：
(1)、设置自定义筛选范围值的个数；
(2)、前端传递查询条件至后端大数据搜索引擎；
(3)、大数据搜索引擎搜索数据；
(4)、通过前端交互，向大数据搜索引擎发送请求，获取选中数据项筛选值；
(5)、与前端交互，渲染筛选值，通过选中筛选值，搜索指定的结果集数据范围；
(6)、与前端交互，通过设置过滤条件，搜索指定过滤范围内的结果集数据。
2.根据权利要求1所述的一种基于网页版的大数据量结构化数据筛选和过滤的实现方法，其特征在于：所述的步骤(1)中，设置自定义筛选范围值的个数的具体方法如下：
以配置项的方式将自定义范围值的个数以初始化参数的方式添加到系统配置文件中，保证后端程序在处理过程中能获取到这个参数。
3.根据权利要求1所述的一种基于网页版的大数据量结构化数据筛选和过滤的实现方法，其特征在于：所述的步骤(2)中，前端传递查询条件至后端大数据搜索引擎的具体方法为：
(2.1)、收集用户在页面操作的查询条件内容；
(2.2)、校验条件内容的合法性；
(2.3)、对查询条件做二次封装，生成基于大数据搜索引擎的查询条件；
(2.4)、通过HTTP协议RESET的请求方式将二次处理后的查询条件传递给后端数据搜索引擎。
4.根据权利要求1所述的一种基于网页版的大数据量结构化数据筛选和过滤的实现方法，其特征在于：所述的步骤(3)中，大数据搜索引擎搜索数据的具体方法为：
(3.1)、大数据搜索引擎解析查询条件；
(3.2)、根据解析后的查询条件，执行搜索操作。
5.根据权利要求1所述的一种基于网页版的大数据量结构化数据筛选和过滤的实现方法，其特征在于：所述的步骤(4)中，通过前端交互，向大数据搜索引擎发送请求，获取选中数据项筛选值,采用如下方法：
(4.1)、在步骤(2)中生成基于大数据搜索引擎的查询条件的基础上，再增加一个需要获取筛选值数据项的标识，然后执行步骤(4)；
(4.2)、大数据搜索在当前搜索结果的数据基础上通过数据的权重比例从高至低的排序方式，对数据进行排序，然后根据步骤(1)中配置的自定义筛选范围值的个数，返回对应相对数量的筛选值。
6.根据权利要求1所述的一种基于网页版的大数据量结构化数据筛选和过滤的实现方法，其特征在于：所述的步骤(5)中，通过前端交互，向大数据搜索引擎发送请求，获取选中数据项筛选值，前端自定义展现形式，通过选中筛选值，搜索指定的结果集数据。
7.根据权利要求1所述的一种基于网页版的大数据量结构化数据筛选和过滤的实现方法，其特征在于：所述的步骤(6)中，通过前端交互，可设置查询结果集的数据范围，执行步骤(3)，直至返回查询结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711475519.5A CN107944058A (zh) | 2017-12-29 | 2017-12-29 | 基于网页版的大数据量结构化数据筛选和过滤的实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711475519.5A CN107944058A (zh) | 2017-12-29 | 2017-12-29 | 基于网页版的大数据量结构化数据筛选和过滤的实现方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107944058A true CN107944058A (zh) | 2018-04-20 |
Family
ID=61937000
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711475519.5A Pending CN107944058A (zh) | 2017-12-29 | 2017-12-29 | 基于网页版的大数据量结构化数据筛选和过滤的实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107944058A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104462461A (zh) * | 2014-12-16 | 2015-03-25 | 用友软件股份有限公司 | 对表单进行排查空值处理的方法及装置 |
| CN106649770A (zh) * | 2016-12-27 | 2017-05-10 | 北京启明星辰信息安全技术有限公司 | 一种大数据查询方法及系统 |
-
2017
- 2017-12-29 CN CN201711475519.5A patent/CN107944058A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104462461A (zh) * | 2014-12-16 | 2015-03-25 | 用友软件股份有限公司 | 对表单进行排查空值处理的方法及装置 |
| CN106649770A (zh) * | 2016-12-27 | 2017-05-10 | 北京启明星辰信息安全技术有限公司 | 一种大数据查询方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102222187B (zh) | 基于域名构造特征的挂马网页检测方法 | |
| CN104133820B (zh) | 内容推荐方法及内容推荐装置 | |
| CN104244035B (zh) | 基于多层聚类的网络视频流分类方法 | |
| CN104750704B (zh) | 一种网页url地址分类识别方法及装置 | |
| CN104794193B (zh) | 一种有效链接获取的网页增量抓取方法 | |
| CN104111836A (zh) | 一种网络采集处理异步加载数据的方法 | |
| CN101370024A (zh) | 信息的分布式采集方法及系统 | |
| CN103024793B (zh) | 通信业务质量评估体系的构建方法及系统 | |
| CN110399546B (zh) | 基于网络爬虫的链接去重方法、装置、设备及存储介质 | |
| CN102323955A (zh) | 私有云搜索系统及其实现方法 | |
| CN104615627A (zh) | 一种基于微博平台的事件舆情信息提取方法及系统 | |
| WO2015003664A1 (zh) | 一种下载处理方法、装置、服务器及客户端设备 | |
| CN107154974A (zh) | 一种智能网络购物方法及系统 | |
| CN102937973B (zh) | 一种生成用于信息呈现的呈现配置信息的方法和设备 | |
| CN107944058A (zh) | 基于网页版的大数据量结构化数据筛选和过滤的实现方法 | |
| CN103957154B (zh) | 网络数据包url过滤方法 | |
| CN108664492A (zh) | 一种向用户推送内容的方法、装置、电子设备和存储介质 | |
| CN106681892B (zh) | 页面数据的处理方法和装置 | |
| CN105162780A (zh) | 一种url过滤地址设置方法及系统 | |
| CN103902441A (zh) | 一种用于对移动web应用进行测试处理的方法与设备 | |
| CN104753934A (zh) | 将未知协议多通信方数据流分离为点对点数据流的方法 | |
| CN107181778B (zh) | 一种数据分流方法及装置 | |
| CN103399937B (zh) | 一种基于coreseek查询分页的方法及装置 | |
| CN103514206A (zh) | 确定与目标推广对象相对应的推广配置信息的方法与设备 | |
| CN104951609B (zh) | 一种处理门级网表中的同步逻辑结构的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180420 |
|
| RJ01 | Rejection of invention patent application after publication |