CN104331452B - 一种处理脏数据的方法及系统 - Google Patents

一种处理脏数据的方法及系统 Download PDF

Info

Publication number
CN104331452B
CN104331452B CN201410598457.7A CN201410598457A CN104331452B CN 104331452 B CN104331452 B CN 104331452B CN 201410598457 A CN201410598457 A CN 201410598457A CN 104331452 B CN104331452 B CN 104331452B
Authority
CN
China
Prior art keywords
data
dirty
record
client
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410598457.7A
Other languages
English (en)
Other versions
CN104331452A (zh
Inventor
张劲松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Si Tech Information Technology Co Ltd
Original Assignee
Beijing Si Tech Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Si Tech Information Technology Co Ltd filed Critical Beijing Si Tech Information Technology Co Ltd
Priority to CN201410598457.7A priority Critical patent/CN104331452B/zh
Publication of CN104331452A publication Critical patent/CN104331452A/zh
Application granted granted Critical
Publication of CN104331452B publication Critical patent/CN104331452B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results

Abstract

本发明涉及一种处理脏数据的方法及系统，包括以下步骤：客户端根据用户输入的检索信息生成检索请求并将检索请求发送给处理中心和数据库；数据库将查询到的所有相关的数据记录发送给处理中心；处理中心将所有数据记录分别与状态库中的数据信息进行验证对比，逐个判断每一数据记录是否为脏数据，如果存在脏数据，标记所有为脏数据的数据记录，并将被标记为脏数据的数据记录进行清除，如果不存在脏数据，返回所有相关的数据记录给客户端；处理中心向数据库发送检索请求，从数据库中重新获取所有相关的数据记录，清除脏数据直到将所有请求的数据记录返回。本发明能避免处理复杂SQL语句所带来的时间消耗，而且还能提高系统的数据交换效率，提高用户的体验度。

Description

一种处理脏数据的方法及系统
技术领域
本发明涉及一种数据交互方法，特别涉及一种处理脏数据的方法及系统。
背景技术
前端与服务器之间的数据交互是B/S系统核心业务之一，高效、快速、实时的进行数据交互是系统长期的目标。传统的处理脏数据的方式是通过复杂的SQL语句，执行效率低下，查询速度缓慢，特别是数据量越大，那么查询速度下降越快，极大影响了用户操作时间，并且降低用户体验度，带来不必要的麻烦。随着互联网行业的发展、对于用户体验的重视程度加强，传统的数据查询方式已经无法满足当今系统的需要，特别是由于脏数据的存在，给查询有效数据带来了一定的麻烦。
发明内容
本发明所要解决的技术问题是提供一种能够加快检索数据的速度的处理脏数据的方法及系统。
本发明解决上述技术问题的技术方案如下：一种处理脏数据的方法，包括以下步骤：
步骤1：数据库获取状态库中的数据信息并以数据记录的形式存储获取的数据信息；
步骤2：客户端根据用户输入的检索信息生成检索请求，所述检索请求中包括待查询的关键字，客户端将检索请求发送给处理中心和数据库；
步骤3：数据库根据检索请求查询与关键字有关的所有的数据记录，并将查询到的所有相关的数据记录发送给处理中心；
步骤4：处理中心将接收到的所有数据记录分别与状态库中的数据信息进行验证对比，并根据对比结果，逐个判断每一数据记录是否为脏数据，如果存在脏数据，标记所有为脏数据的数据记录，并将被标记为脏数据的数据记录进行清除，如果不存在脏数据，返回所有相关的数据记录给客户端；
步骤5：处理中心向数据库发送检索请求，请求从数据库中重新获取所有相关的数据记录，执行步骤3；
步骤6：结束。
本发明的有益效果是：本发明打破了传统处理脏数据的困难，从复杂的SQL语句中解放出来，只需编写普通的SQL语句，通过处理中心，就能得到想要的有效数据；不仅能避免处理复杂SQL语句所带来的时间消耗，而且还能提高系统的数据交换效率，提高用户的体验度。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，客户端对所有相关的数据记录进行实时回显展示到页面中。
进一步，所述状态库用于存储数据信息的实际状态或阶段状态。
进一步，所述检索请求中还包括用于表示待返回给客户端的数据记录的数量的信息。
进一步，如果不存在脏数据时，所述步骤4中还包括，当达到检索请求中请求返回的数据记录的数量时，返回所有相关的数据记录给客户端。
进一步，一种处理脏数据的系统，包括客户端，数据库和处理中心；
所述数据库，用于获取状态库中的数据信息并以数据记录的形式存储获取的数据信息；根据检索请求查询与关键字有关的所有的数据记录，并将查询到的所有相关的数据记录发送给处理中心；
所述客户端，用于根据用户输入的检索信息生成检索请求，所述检索请求中包括待查询的关键字，将检索请求发送给处理中心和数据库；
所述处理中心，用于将接收到的所有数据记录分别与状态库中的数据信息进行验证对比，并根据对比结果，逐个判断每一数据记录是否为脏数据，如果存在脏数据，标记所有为脏数据的数据记录，并将被标记为脏数据的数据记录进行清除，如果不存在脏数据，返回所有相关的数据记录给客户端；向数据库发送检索请求，请求从数据库中重新获取所有相关的数据记录。
进一步，客户端对所有相关的数据记录进行实时回显展示到页面中。
进一步，所述状态库用于存储数据信息的实际状态或阶段状态。
进一步，所述检索请求中还包括用于表示待返回给客户端的数据记录的数量的信息。
进一步，如果不存在脏数据时，所述处理中心还用于，当达到检索请求中请求返回的数据记录的数量时，返回所有相关的数据记录给客户端。
附图说明
图1为本发明方法步骤流程图；
图2为本发明装置结构图。
附图中，各标号所代表的部件列表如下：
1、客户端，2、数据库，3、处理中心。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，为本发明方法步骤流程图；图2为本发明装置结构图。
实施例1
一种处理脏数据的方法，包括以下步骤：
步骤1：数据库获取状态库中的数据信息并以数据记录的形式存储获取的数据信息；
步骤2：客户端根据用户输入的检索信息生成检索请求，所述检索请求中包括待查询的关键字，客户端将检索请求发送给处理中心和数据库；
步骤3：数据库根据检索请求查询与关键字有关的所有的数据记录，并将查询到的所有相关的数据记录发送给处理中心；
步骤4：处理中心将接收到的所有数据记录分别与状态库中的数据信息进行验证对比，并根据对比结果，逐个判断每一数据记录是否为脏数据，如果存在脏数据，标记所有为脏数据的数据记录，并将被标记为脏数据的数据记录进行清除，如果不存在脏数据，返回所有相关的数据记录给客户端；
步骤5：处理中心向数据库发送检索请求，请求从数据库中重新获取所有相关的数据记录，执行步骤3；
步骤6：结束。
客户端对所有相关的数据记录进行实时回显展示到页面中。所述状态库用于存储数据信息的实际状态或阶段状态。
所述检索请求中还包括用于表示待返回给客户端的数据记录的数量的信息。
如果不存在脏数据时，所述步骤4中还包括，当达到检索请求中请求返回的数据记录的数量时，返回所有相关的数据记录给客户端。
一种处理脏数据的系统，包括客户端1，数据库2和处理中心3；
所述数据库2，用于获取状态库中的数据信息并以数据记录的形式存储获取的数据信息；根据检索请求查询与关键字有关的所有的数据记录，并将查询到的所有相关的数据记录发送给处理中心3；
所述客户端1，用于根据用户输入的检索信息生成检索请求，所述检索请求中包括待查询的关键字，将检索请求发送给处理中心3和数据库2；
所述处理中心3，用于将接收到的所有数据记录分别与状态库中的数据信息进行验证对比，并根据对比结果，逐个判断每一数据记录是否为脏数据，如果存在脏数据，标记所有为脏数据的数据记录，并将被标记为脏数据的数据记录进行清除，如果不存在脏数据，返回所有相关的数据记录给客户端1；向数据库2发送检索请求，请求从数据库2中重新获取所有相关的数据记录。
客户端1对所有相关的数据记录进行实时回显展示到页面中。
所述状态库用于存储数据信息的实际状态或阶段状态。
所述检索请求中还包括用于表示待返回给客户端的数据记录的数量的信息。
如果不存在脏数据时，所述处理中心3还用于，当达到检索请求中请求返回的数据记录的数量时，返回所有相关的数据记录给客户端1。
以下以公司查询为例，对本发明的方法进行具体阐述。
利用本发明的方法对数据进行标记，过滤，回填，其过程概括为：
1.前端检索：基于客户端，主要包含检索，通信和回显。用户在指定输入框输入"A4",前台监控到用户输入，实时访问数据库，并将返回的数据显示在页面中，用户在前端能通过PC、手机等任何客户端或者终端向系统中生成数据。
2.处理中心回补有效数据：服务器端接收到检索的"A4"后会通过程序在数据库中查询所有"A4"的记录，然后把数据传递给处理中心。处理中心接收到数据后，遍历所查询出的所有"A4"数据，并在记录数据本身实际状态或阶段状态的库中进行验证对比，并对脏数据进行标记，过滤；
3.然后再次查询数据库，重复上述操作，直到数据满足用户需求。根据用户前端所需检索出的数据数量，若处理完后的有效数据满足用户需求，那么就将数据提交给前台；如果不能满足用户需求，处理中心会继续查询数据库，重复上述操作进行补充，直到满足用户需求，再将数据提交给前台。若查完数据库都还不能满足用户需求，那么直接返回处理中心处理后的数据。
用户收到处理中心返回的有效数据，通过实时回显展示到页面中。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种处理脏数据的方法，其特征在于，包括以下步骤：
步骤1：数据库获取状态库中的数据信息并以数据记录的形式存储获取的数据信息；
步骤2：客户端根据用户输入的检索信息生成检索请求，所述检索请求中包括待查询的关键字，客户端将检索请求发送给处理中心和数据库；
步骤3：数据库根据检索请求查询与关键字有关的所有的数据记录，并将查询到的所有相关的数据记录发送给处理中心；
步骤4：处理中心将接收到的所有数据记录分别与状态库中的数据信息进行验证对比，并根据对比结果，逐个判断每一数据记录是否为脏数据，如果存在脏数据，标记所有为脏数据的数据记录，并将被标记为脏数据的数据记录进行清除，执行步骤5，如果不存在脏数据，返回所有相关的数据记录给客户端，执行步骤6；
步骤5：处理中心向数据库发送检索请求，请求从数据库中重新获取所有相关的数据记录，执行步骤3；
步骤6：结束。
2.根据权利要求1所述的处理脏数据的方法，其特征在于：客户端对所有相关的数据记录进行实时回显，展示到页面中。
3.根据权利要求1所述的处理脏数据的方法，其特征在于：所述状态库用于存储数据信息的实际状态或阶段状态。
4.根据权利要求1所述的处理脏数据的方法，其特征在于：所述检索请求中还包括用于表示待返回给客户端的数据记录的数量的信息。
5.根据权利要求4所述的处理脏数据的方法，其特征在于：如果不存在脏数据时，所述步骤4中还包括，当达到检索请求中请求返回的数据记录的数量时，返回所有相关的数据记录给客户端。
6.一种处理脏数据的系统，其特征在于：包括客户端(1)，数据库(2)和处理中心(3)；
所述客户端(1)，用于根据用户输入的检索信息生成检索请求，所述检索请求中包括待查询的关键字，将检索请求发送给处理中心(3)和数据库(2)；
所述数据库(2)，用于获取状态库中的数据信息并以数据记录的形式存储获取的数据信息；根据检索请求查询与关键字有关的所有的数据记录，并将查询到的所有相关的数据记录发送给处理中心(3)；
所述处理中心(3)，用于将接收到的所有数据记录分别与状态库中的数据信息进行验证对比，并根据对比结果，逐个判断每一数据记录是否为脏数据，如果存在脏数据，标记所有为脏数据的数据记录，并将被标记为脏数据的数据记录进行清除，如果不存在脏数据，返回所有相关的数据记录给客户端(1)；向数据库(2)发送检索请求，请求从数据库(2)中重新获取所有相关的数据记录。
7.根据权利要求6所述的处理脏数据的系统，其特征在于：客户端(1)对所有相关的数据记录进行实时回显，展示到页面中。
8.根据权利要求6所述的处理脏数据的系统，其特征在于：所述状态库用于存储数据信息的实际状态或阶段状态。
9.根据权利要求6所述的处理脏数据的系统，其特征在于：所述检索请求中还包括用于表示待返回给客户端的数据记录的数量的信息。
10.根据权利要求9所述的处理脏数据的系统，其特征在于：如果不存在脏数据时，所述处理中心(3)还用于，当达到检索请求中请求返回的数据记录的数量时，返回所有相关的数据记录给客户端(1)。
CN201410598457.7A 2014-10-30 2014-10-30 一种处理脏数据的方法及系统 Active CN104331452B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410598457.7A CN104331452B (zh) 2014-10-30 2014-10-30 一种处理脏数据的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410598457.7A CN104331452B (zh) 2014-10-30 2014-10-30 一种处理脏数据的方法及系统

Publications (2)

Publication Number Publication Date
CN104331452A CN104331452A (zh) 2015-02-04
CN104331452B true CN104331452B (zh) 2017-07-28

Family

ID=52406179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410598457.7A Active CN104331452B (zh) 2014-10-30 2014-10-30 一种处理脏数据的方法及系统

Country Status (1)

Country Link
CN (1) CN104331452B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106802903B (zh) * 2015-11-26 2020-07-28 中国直升机设计研究所 一种基于pdm系统数据库的产品数据筛选方法
CN106407345B (zh) * 2016-09-06 2020-07-14 阿里巴巴（中国）有限公司 一种脏数据更新方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7356651B2 (en) * 2004-01-30 2008-04-08 Piurata Technologies, Llc Data-aware cache state machine
CN102117318A (zh) * 2011-01-04 2011-07-06 江苏科技大学 一种企业信息化系统的数据处理方法
CN102193979A (zh) * 2011-03-25 2011-09-21 北京世纪互联工程技术服务有限公司 图形数据库非联机事务中查询数据的控制方法
CN102725752A (zh) * 2011-10-20 2012-10-10 华为技术有限公司 处理脏数据的方法及装置
CN103064894A (zh) * 2012-12-14 2013-04-24 北京思特奇信息技术股份有限公司 一种查询浏览器中检索内容的方法及装置
CN103593352A (zh) * 2012-08-15 2014-02-19 阿里巴巴集团控股有限公司 一种海量数据清洗方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7356651B2 (en) * 2004-01-30 2008-04-08 Piurata Technologies, Llc Data-aware cache state machine
CN102117318A (zh) * 2011-01-04 2011-07-06 江苏科技大学 一种企业信息化系统的数据处理方法
CN102193979A (zh) * 2011-03-25 2011-09-21 北京世纪互联工程技术服务有限公司 图形数据库非联机事务中查询数据的控制方法
CN102725752A (zh) * 2011-10-20 2012-10-10 华为技术有限公司 处理脏数据的方法及装置
CN103593352A (zh) * 2012-08-15 2014-02-19 阿里巴巴集团控股有限公司 一种海量数据清洗方法及装置
CN103064894A (zh) * 2012-12-14 2013-04-24 北京思特奇信息技术股份有限公司 一种查询浏览器中检索内容的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向时间敏感对象的垂直搜索引擎关键技术研究;吴羽;《中国博士学位论文全文数据库 经济与管理科学辑(月刊)》;20110715;第88页第5.3.3节 *

Also Published As

Publication number Publication date
CN104331452A (zh) 2015-02-04

Similar Documents

Publication Publication Date Title
CN101202966B (zh) 一种用户信息的收集方法、系统及设备
CN102737065B (zh) 数据的获取方法和装置
CN106294826B (zh) 一种集群数据实时查询方法及系统
CN107679931A (zh) 订单异步处理的方法、装置、存储介质及终端
CN108875042B (zh) 一种混合联机分析处理系统及数据查询方法
CN104090901B (zh) 一种对数据进行处理的方法、装置及服务器
CN104536965B (zh) 一种大数据条件下的数据查询展示系统及方法
CN105929976A (zh) 一种基于输入法的动态表情输入方法及其系统
CN106326499B (zh) 一种数据处理方法及装置
CN104579909B (zh) 一种用户信息的分类、用户分组信息的获取方法和设备
CN101556678A (zh) 一种批处理业务的处理方法、系统及业务处理控制设备
CN110737682A (zh) 一种缓存操作方法、装置、存储介质和电子设备
WO2016101811A1 (zh) 一种信息排序方法及装置
CN108509437A (zh) 一种ElasticSearch查询加速方法
US20200074509A1 (en) Business data promotion method, device, terminal and computer-readable storage medium
CN106101358A (zh) 一种联系人信息更新的方法及智能设备
CN101256598A (zh) 提高网络用户的满意度的方法和装置
CN112966081A (zh) 处理问答信息的方法、装置、设备和存储介质
CN110717801A (zh) 一种商品信息推送方法及装置
CN107145574A (zh) 数据库数据处理方法、装置及存储介质和电子设备
CN101694656A (zh) 搜索请求方法、搜索方法、设备及系统
CN104331452B (zh) 一种处理脏数据的方法及系统
CN107636655A (zh) 实时提供数据即服务（DaaS）的系统和方法
CN110928917A (zh) 一种目标用户的确定方法、装置、计算设备及介质
CN105404672A (zh) 网页数据存储和操作的系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant