CN107391721A - 一种数据筛选方法及系统 - Google Patents
一种数据筛选方法及系统 Download PDFInfo
- Publication number
- CN107391721A CN107391721A CN201710640924.1A CN201710640924A CN107391721A CN 107391721 A CN107391721 A CN 107391721A CN 201710640924 A CN201710640924 A CN 201710640924A CN 107391721 A CN107391721 A CN 107391721A
- Authority
- CN
- China
- Prior art keywords
- screening
- transaction record
- screening conditions
- conditions
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种数据筛选方法及系统，该方法包括：将接收到的交易记录存入交易记录源集合中；根据用户输入的至少两个筛选条件分别对所述交易记录源集合进行筛选，得到至少两个交易记录筛选集合，从至少两个所述交易记录筛选集合中筛选出符合所有筛选条件的交易记录组成的最终筛选集合；将所述最终筛选集合中的交易记录发送到所述客户端进行显示。根据不同的筛选条件对源数据集合进行筛选，得到每个筛选条件对应的数据筛选集合，通过对不同的筛选条件对应的数据筛选集合进行比对，筛选出符合所有筛选条件的最终筛选集合，避免用户修改某一个筛选条件时，需要全部重新筛选和加载的问题，提高重复调整筛选条件时，数据处理的效率。
Description
技术领域
本发明涉及数据传输技术领域，特别涉及一种数据筛选方法及系统。
背景技术
大数据环境下数据量快速的积累，要想分析出海量数据所蕴含的价值，筛选出有价值的数据十分重要。而数据筛选在整个数据处理流程中处于至关重要的地位。数据筛选的目的是为了提高之前收集存储的相关数据的可用性，更利于后期数据分析。数据筛选包括数据抽取、数据清理、数据加载三个部分。现有技术多数采取网络请求方式请求数据，不管如何筛选，都是通过传参的方式就过滤条件传给服务器，让服务器去做数据处理的操作，操作完后把数据返回客户端展示，多重筛选的情况下，修改一个参数就需要全部重新筛选和加载，这样的处理方式就比较浪费流量，耗时较多，浪费服务器资源。
发明内容
本发明所要解决的技术问题是目前在数据传输过程中，向服务器发送数据请求指令后每更改一个请求参数，都需要根据所有的筛选条件进行重新筛选和加载过程，这样处理方式耗费了大量资源。
本发明解决上述技术问题的技术方案如下：一种数据筛选方法，包括以下步骤：
将接收到的交易记录存入交易记录源集合中；
根据用户输入的至少两个筛选条件分别对所述交易记录源集合进行筛选，得到至少两个交易记录筛选集合，其中，一个所述交易记录筛选集合包括符合一个所述筛选条件的交易记录；
从至少两个所述交易记录筛选集合中筛选出符合所有筛选条件的交易记录组成的最终筛选集合；
将所述最终筛选集合中的交易记录发送到所述客户端进行显示。
本发明的有益效果是：根据不同的筛选条件对源数据集合进行筛选，得到每个筛选条件对应的数据筛选集合，并将筛选条件和对应得到的数据筛选集合进行存储，通过对不同的筛选条件对应的数据筛选集合进行比对，筛选出符合所有筛选条件的最终筛选集合，将不同的筛选条件分别对源数据进行筛选得到对应的数据筛选集合，避免用户修改某一个筛选条件时，都需要根据所有的筛选条件进行重新筛选和加载的问题，提高重复调整筛选条件时，数据处理的效率。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述筛选条件包括：交易记录金额范围、交易记录剩余天数范围和交易记录承兑人身份范围。
进一步，所述方法还包括：
将筛选条件和与筛选条件相对应的交易记录筛选集合对应存储在数据库中；
则，根据用户输入的至少两个筛选条件分别对所述交易记录源集合进行筛选，得到至少两个交易记录筛选集合，具体包括：
将至少两个所述筛选条件分别与预存储的筛选条件进行比对，判断至少两个所述筛选条件与预存储的筛选条件是否一致；
当至少两个所述筛选条件中的第一筛选条件与预存储的筛选条件不一致时，通过所述第一筛选条件对所述交易记录源集合进行筛选，得到符合所述第一筛选条件的交易记录组成的交易记录筛选集合；
当至少两个所述筛选条件中的第二筛选条件与预存储的筛选条件一致时，从所述数据库中获取与所述第二筛选条件相对应的交易记录筛选集合。
采用上述进一步方案的有益效果是：将筛选条件与预存储的筛选条件进行比对，判断两者是否一致，一致时，从数据库中快速获取该筛选条件对应的数据筛选集合，不一致时，通过筛选条件对源数据进行筛选得到对应该筛选条件的数据筛选集合，并将该筛选条件对应数据筛选集合进行存储，方便再次出现该筛选条件时快速根据该筛选条件对应的数据筛选集合。
进一步，将接收到的交易记录存入交易记录源集合中，具体包括：按接收到的交易记录的顺序生成标记ID对接收到的交易记录进行标记；
将标记后的交易记录存入交易记录源集合中。
采用上述进一步方案的有益效果是：在接收过程中对交易记录进行一个标记，方便系统根据标记找到对应的交易记录，避免数据丢失。
进一步，从至少两个所述交易记录筛选集合中筛选出符合所有筛选条件的交易记录组成的最终筛选集合，具体包括：
从至少两个所述交易记录筛选集合中筛选出具有相同标记ID的交易记录组成的所述最终筛选集合。
采用上述进一步方案的有益效果是：通过对交易记录筛选集合中的交易记录的标记ID进行比对，得到所有筛选条件对应的交易记录筛选集合中具有相同标记ID的交易记录，即得到符合所有筛选条件的交易记录组成的最终筛选集合，提高数据的获取效率。
本发明还提供实现上述方法的一种数据筛选系统，包括：客户端和服务器；所述客户端包括：录入模块，服务器包括：筛选处理器、交易记录源集合和筛选反馈模块；
所述录入模块，用于接收用户输入的至少两个筛选条件，并发送到服务器；
所述交易记录源集合，用于存储接收到的交易记录；
所述筛选处理器，用于接收所述至少两个筛选条件，并通过所述至少两个筛选条件分别对所述交易记录源集合进行筛选，得到至少两个交易记录筛选集合，其中，一个所述交易记录筛选集合包括符合一个所述筛选条件的交易记录；
所述筛选处理器，还用于从至少两个所述交易记录筛选集合中筛选出符合所有筛选条件的交易记录组成的最终筛选集合；
所述筛选反馈模块，用于将所述最终筛选集合中的交易记录发送到所述客户端进行显示。
进一步，所述录入模块，具体用于，接收用户录入的交易记录金额范围、交易记录剩余天数范围和交易记录承兑人身份范围。
进一步，所述服务器还包括：数据库；所述筛选处理器，还用于将筛选条件和与筛选条件相对应的交易记录筛选集合对应存储在所述数据库中；
所述筛选处理器，具体用于，将至少两个所述筛选条件分别与预存储的筛选条件进行比对，判断至少两个所述筛选条件与预存储的筛选条件是否一致；
当至少两个所述筛选条件中的第一筛选条件与预存储的筛选条件不一致时，通过所述第一筛选条件对所述交易记录源集合进行筛选，得到符合所述第一筛选条件的交易记录组成的交易记录筛选集合；
当至少两个所述筛选条件中的第二筛选条件与预存储的筛选条件一致时，从所述数据库中获取与所述第二筛选条件相对应的交易记录筛选集合。
进一步，所述服务器还包括：标记模块，按接收到的交易记录的顺序生成标记ID对接收到的交易记录进行标记。
进一步，所述筛选处理器，具体用于，从至少两个所述交易记录筛选集合中筛选出具有相同标记ID的交易记录组成的所述最终筛选集合。
附图说明
图1为本发明实施例提供的一种数据筛选方法流程示意图；
图2为本发明另一实施例提供的一种数据筛选方法流程示意图其一；
图3为本发明另一实施例提供的一种数据筛选方法流程示意图其二；
图4为本发明实施例提供的一种数据筛选系统结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，一种数据筛选方法，包括以下步骤：
将接收到的交易记录存入交易记录源集合中；
根据用户输入的至少两个筛选条件分别对交易记录源集合进行筛选，得到至少两个交易记录筛选集合，其中，一个交易记录筛选集合包括符合一个筛选条件的交易记录；
从至少两个交易记录筛选集合中筛选出符合所有筛选条件的交易记录组成的最终筛选集合；
将最终筛选集合中的交易记录发送到客户端进行显示。
上述实施例中，将所有接收到的交易记录存入交易记录源集合中，接收用户录入的筛选条件，通过每条筛选条件分别对交易记录源集合进行筛选，得到与筛选条件数量相同的数据筛选集合，通过对所有的数据筛选集合进行比对，筛选出符合所有筛选条件的交易记录组成的最终筛选集合，而后将最终筛选集中中符合所有筛选条件的交易记录发送到客户端中进行显示。
如图2所示，一种数据筛选方法流程示意图其一，包括以下步骤：
将接收到的交易记录存入交易记录源集合中；
将至少两个筛选条件分别与预存储的筛选条件进行比对，判断至少两个筛选条件与预存储的筛选条件是否一致；
当至少两个筛选条件中的第一筛选条件与预存储的筛选条件不一致时，通过第一筛选条件对交易记录源集合进行筛选，得到符合第一筛选条件的交易记录组成的交易记录筛选集合；
当至少两个筛选条件中的第二筛选条件与预存储的筛选条件一致时，从数据库中获取与第二筛选条件相对应的交易记录筛选集合；
将筛选条件和与筛选条件相对应的交易记录筛选集合对应存储在数据库中；
从至少两个交易记录筛选集合中筛选出符合所有筛选条件的交易记录组成的最终筛选集合；
将最终筛选集合中的交易记录发送到客户端进行显示。
上述实施例中，将筛选条件与预存储的筛选条件进行比对，判断两者是否一致，一致时，从数据库中快速获取该筛选条件对应的数据筛选集合，不一致时，通过筛选条件对源数据进行筛选得到对应该筛选条件的数据筛选集合，并将该筛选条件对应数据筛选集合进行存储，方便再次出现该筛选条件时快速根据该筛选条件对应的数据筛选集合
如图3所示，一种数据筛选方法流程示意图其二，包括以下步骤：
按接收到的交易记录的顺序生成标记ID对接收到的交易记录进行标记；
将标记后的交易记录存入交易记录源集合中；
根据用户输入的至少两个筛选条件分别对交易记录源集合进行筛选，得到至少两个交易记录筛选集合，其中，一个交易记录筛选集合包括符合一个筛选条件的交易记录；
从至少两个交易记录筛选集合中筛选出具有相同标记ID的交易记录组成的最终筛选集合；
将最终筛选集合中的交易记录发送到客户端进行显示。
上述实施例中，通过对交易记录筛选集合中的交易记录的标记ID进行比对，得到所有筛选条件对应的交易记录筛选集合中具有相同标记ID的交易记录，即得到符合所有筛选条件的交易记录组成的最终筛选集合，提高数据的获取效率。
如图4所示，本发明还提供实现上述方法的一种数据筛选系统，包括：客户端和服务器；客户端包括：录入模块，服务器包括：筛选处理器、交易记录源集合和筛选反馈模块；
录入模块，用于接收用户输入的至少两个筛选条件，并发送到服务器；
交易记录源集合，用于存储接收到的交易记录；
筛选处理器，用于接收至少两个筛选条件，并通过至少两个筛选条件分别对交易记录源集合进行筛选，得到至少两个交易记录筛选集合，其中，一个交易记录筛选集合包括符合一个筛选条件的交易记录；
筛选处理器，还用于从至少两个交易记录筛选集合中筛选出符合所有筛选条件的交易记录组成的最终筛选集合；
筛选反馈模块，用于将最终筛选集合中的交易记录发送到客户端进行显示。
优选的，录入模块，具体用于，接收用户录入的交易记录金额范围、交易记录剩余天数范围和交易记录承兑人身份范围。
优选的，服务器还包括：数据库；筛选处理器，还用于将筛选条件和与筛选条件相对应的交易记录筛选集合对应存储在数据库中；
筛选处理器，具体用于，将至少两个筛选条件分别与预存储的筛选条件进行比对，判断至少两个筛选条件与预存储的筛选条件是否一致；
当至少两个筛选条件中的第一筛选条件与预存储的筛选条件不一致时，通过第一筛选条件对交易记录源集合进行筛选，得到符合第一筛选条件的交易记录组成的交易记录筛选集合；
当至少两个筛选条件中的第二筛选条件与预存储的筛选条件一致时，从数据库中获取与第二筛选条件相对应的交易记录筛选集合。
优选的，服务器还包括：标记模块，按接收到的交易记录的顺序生成标记ID对接收到的交易记录进行标记。
优选的，筛选处理器，具体用于，从至少两个交易记录筛选集合中筛选出具有相同标记ID的交易记录组成的最终筛选集合。
以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种数据筛选方法，其特征在于，包括以下步骤：
将接收到的交易记录存入交易记录源集合中；
根据用户输入的至少两个筛选条件分别对所述交易记录源集合进行筛选，得到至少两个交易记录筛选集合，其中，一个所述交易记录筛选集合包括符合一个所述筛选条件的交易记录；
从至少两个所述交易记录筛选集合中筛选出符合所有筛选条件的交易记录组成的最终筛选集合；
将所述最终筛选集合中的交易记录发送到所述客户端进行显示。
2.根据权利要求1所述的一种数据筛选方法，其特征在于，所述筛选条件包括：交易记录金额范围、交易记录剩余天数范围和交易记录承兑人身份范围。
3.根据权利要求1所述的一种数据筛选方法，其特征在于，所述方法还包括：
将筛选条件和与筛选条件相对应的交易记录筛选集合对应存储在数据库中；
则，根据用户输入的至少两个筛选条件分别对所述交易记录源集合进行筛选，得到至少两个交易记录筛选集合，具体包括：
将至少两个所述筛选条件分别与预存储的筛选条件进行比对，判断至少两个所述筛选条件与预存储的筛选条件是否一致；
当至少两个所述筛选条件中的第一筛选条件与预存储的筛选条件不一致时，通过所述第一筛选条件对所述交易记录源集合进行筛选，得到符合所述第一筛选条件的交易记录组成的交易记录筛选集合；
当至少两个所述筛选条件中的第二筛选条件与预存储的筛选条件一致时，从所述数据库中获取与所述第二筛选条件相对应的交易记录筛选集合。
4.根据权利要求1所述的一种数据筛选方法，其特征在于，将接收到的交易记录存入交易记录源集合中，具体包括：
按接收到的交易记录的顺序生成标记ID对接收到的交易记录进行标记；
将标记后的交易记录存入交易记录源集合中。
5.根据权利要求4所述的一种数据筛选方法，其特征在于，从至少两个所述交易记录筛选集合中筛选出符合所有筛选条件的交易记录组成的最终筛选集合，具体包括：
从至少两个所述交易记录筛选集合中筛选出具有相同标记ID的交易记录组成的所述最终筛选集合。
6.一种数据筛选系统，其特征在于，包括：客户端和服务器；所述客户端包括：录入模块，服务器包括：筛选处理器、交易记录源集合和筛选反馈模块；
所述录入模块，用于接收用户输入的至少两个筛选条件，并发送到服务器；
所述交易记录源集合，用于存储接收到的交易记录；
所述筛选处理器，用于接收所述至少两个筛选条件，并通过所述至少两个筛选条件分别对所述交易记录源集合进行筛选，得到至少两个交易记录筛选集合，其中，一个所述交易记录筛选集合包括符合一个所述筛选条件的交易记录；
所述筛选处理器，还用于从至少两个所述交易记录筛选集合中筛选出符合所有筛选条件的交易记录组成的最终筛选集合；
所述筛选反馈模块，用于将所述最终筛选集合中的交易记录发送到所述客户端进行显示。
7.根据权利要求6所述的一种数据筛选系统，其特征在于，所述录入模块，具体用于，接收用户录入的交易记录金额范围、交易记录剩余天数范围和交易记录承兑人身份范围。
8.根据权利要求6所述的一种数据筛选系统，其特征在于，所述服务器还包括：数据库；所述筛选处理器，还用于将筛选条件和与筛选条件相对应的交易记录筛选集合对应存储在所述数据库中；
所述筛选处理器，具体用于，将至少两个所述筛选条件分别与预存储的筛选条件进行比对，判断至少两个所述筛选条件与预存储的筛选条件是否一致；
当至少两个所述筛选条件中的第一筛选条件与预存储的筛选条件不一致时，通过所述第一筛选条件对所述交易记录源集合进行筛选，得到符合所述第一筛选条件的交易记录组成的交易记录筛选集合；
当至少两个所述筛选条件中的第二筛选条件与预存储的筛选条件一致时，从所述数据库中获取与所述第二筛选条件相对应的交易记录筛选集合。
9.根据权利要求6所述的一种数据筛选系统，其特征在于，所述服务器还包括：标记模块，按接收到的交易记录的顺序生成标记ID对接收到的交易记录进行标记。
10.根据权利要求9所述的一种数据筛选系统，其特征在于，所述筛选处理器，具体用于，从至少两个所述交易记录筛选集合中筛选出具有相同标记ID的交易记录组成的所述最终筛选集合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710640924.1A CN107391721A (zh) | 2017-07-31 | 2017-07-31 | 一种数据筛选方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710640924.1A CN107391721A (zh) | 2017-07-31 | 2017-07-31 | 一种数据筛选方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107391721A true CN107391721A (zh) | 2017-11-24 |
Family
ID=60343297
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710640924.1A Withdrawn CN107391721A (zh) | 2017-07-31 | 2017-07-31 | 一种数据筛选方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107391721A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108573430A (zh) * | 2018-03-14 | 2018-09-25 | 北京经纬信息技术公司 | 一种数据处理方法、装置及计算机可读存储介质 |
| CN110109938A (zh) * | 2017-12-20 | 2019-08-09 | 北京国双科技有限公司 | 一种数据筛选方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102023977A (zh) * | 2009-09-21 | 2011-04-20 | 陈俊 | 一种数据筛选方法、数据筛选系统及其应用 |
| CN102542009A (zh) * | 2011-12-14 | 2012-07-04 | 中兴通讯股份有限公司 | 数据查询方法及装置 |
| CN104657387A (zh) * | 2013-11-22 | 2015-05-27 | 华为技术有限公司 | 一种数据查询方法及装置 |
| CN106610999A (zh) * | 2015-10-26 | 2017-05-03 | 北大方正集团有限公司 | 查询处理方法和装置 |
-
2017
- 2017-07-31 CN CN201710640924.1A patent/CN107391721A/zh not_active Withdrawn
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102023977A (zh) * | 2009-09-21 | 2011-04-20 | 陈俊 | 一种数据筛选方法、数据筛选系统及其应用 |
| CN102542009A (zh) * | 2011-12-14 | 2012-07-04 | 中兴通讯股份有限公司 | 数据查询方法及装置 |
| CN104657387A (zh) * | 2013-11-22 | 2015-05-27 | 华为技术有限公司 | 一种数据查询方法及装置 |
| CN106610999A (zh) * | 2015-10-26 | 2017-05-03 | 北大方正集团有限公司 | 查询处理方法和装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110109938A (zh) * | 2017-12-20 | 2019-08-09 | 北京国双科技有限公司 | 一种数据筛选方法及装置 |
| CN110109938B (zh) * | 2017-12-20 | 2021-04-30 | 北京国双科技有限公司 | 一种数据筛选方法及装置 |
| CN108573430A (zh) * | 2018-03-14 | 2018-09-25 | 北京经纬信息技术公司 | 一种数据处理方法、装置及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101917482B (zh) | 一种信息推送方法及信息推送服务器 | |
| CN104168303B (zh) | 一种展示网络直播间的方法和装置 | |
| CN108847989A (zh) | 基于微服务架构的日志处理方法、业务服务系统以及电子设备 | |
| CN103095475B (zh) | 多模通信设备的巡检方法和系统 | |
| CN110263105A (zh) | 查询处理方法、查询处理系统、服务器和计算机可读介质 | |
| CN106886492A (zh) | 基于数据回放的测试方法和测试装置 | |
| CN104965784B (zh) | 自动测试方法及装置 | |
| CN109636309A (zh) | 任务处理方法及装置、电子设备及存储介质 | |
| CN107818431A (zh) | 一种提供订单轨迹数据的方法和系统 | |
| CN107391721A (zh) | 一种数据筛选方法及系统 | |
| CN105912636A (zh) | 一种基于Map/Reduce的ETL数据处理方法和装置 | |
| CN107295082A (zh) | 软件运行处理方法、装置及系统 | |
| CN107967488A (zh) | 一种服务器的分类方法及分类系统 | |
| CN108073720B (zh) | 应用于大数据系统的数据质量管理系统及方法 | |
| CN110059981A (zh) | 信任度评估方法、装置及终端设备 | |
| CN106156170B (zh) | 舆情分析方法及装置 | |
| US20120016823A1 (en) | Data compression method for a classifier | |
| CN108268357A (zh) | 实时数据处理方法和装置 | |
| CN105681287A (zh) | 基于筛选规则的用户服务分配筛选方法 | |
| CN103888481B (zh) | 一种局域网dhcp数据包过滤方法 | |
| CN106230741A (zh) | 一种对报文进行限速的方法和装置 | |
| CN111767215B (zh) | 一种区块链持续集成测试方法、装置及系统 | |
| CN106790258A (zh) | 一种服务器筛选网络请求的方法及系统 | |
| CN109905436A (zh) | 根因事件的确定方法、装置及存储介质 | |
| CN106326424A (zh) | 报表处理方法、装置和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20171124 |