CN106776984A - 一种分布式系统挖掘数据的清洗方法 - Google Patents
一种分布式系统挖掘数据的清洗方法 Download PDFInfo
- Publication number
- CN106776984A CN106776984A CN201611109433.6A CN201611109433A CN106776984A CN 106776984 A CN106776984 A CN 106776984A CN 201611109433 A CN201611109433 A CN 201611109433A CN 106776984 A CN106776984 A CN 106776984A
- Authority
- CN
- China
- Prior art keywords
- data
- node
- cleaning
- module
- load
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
Abstract
Description
Claims (4)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611109433.6A CN106776984B (zh) | 2016-12-02 | 2016-12-02 | 一种分布式系统挖掘数据的清洗方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611109433.6A CN106776984B (zh) | 2016-12-02 | 2016-12-02 | 一种分布式系统挖掘数据的清洗方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106776984A true CN106776984A (zh) | 2017-05-31 |
CN106776984B CN106776984B (zh) | 2018-09-25 |
Family
ID=58879187
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611109433.6A Active CN106776984B (zh) | 2016-12-02 | 2016-12-02 | 一种分布式系统挖掘数据的清洗方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106776984B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107239581A (zh) * | 2017-07-07 | 2017-10-10 | 小草数语(北京)科技有限公司 | 数据清洗方法及装置 |
CN109542360A (zh) * | 2018-12-03 | 2019-03-29 | 郑州云海信息技术有限公司 | 数据重删方法、装置、设备、系统及计算机可读存储介质 |
CN109639480A (zh) * | 2018-12-10 | 2019-04-16 | 北京京东金融科技控股有限公司 | 一种数据上报的系统和方法 |
CN109783314A (zh) * | 2018-12-26 | 2019-05-21 | 广州裕鼎信息科技有限公司 | It设备监控管理方法及服务器 |
CN110569238A (zh) * | 2019-09-12 | 2019-12-13 | 成都中科大旗软件股份有限公司 | 一种基于大数据的数据治理方法、系统、存储介质和服务端 |
CN112000486A (zh) * | 2020-09-11 | 2020-11-27 | 中国人民解放军国防科技大学 | 一种面向高性能计算机的海量计算节点资源监控管理方法 |
CN116882522A (zh) * | 2023-09-07 | 2023-10-13 | 湖南视觉伟业智能科技有限公司 | 一种分布式时空挖掘方法及系统 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7403942B1 (en) * | 2003-02-04 | 2008-07-22 | Seisint, Inc. | Method and system for processing data records |
US20100094910A1 (en) * | 2003-02-04 | 2010-04-15 | Seisint, Inc. | Method and system for linking and delinking data records |
CN102156659A (zh) * | 2011-03-28 | 2011-08-17 | 中国人民解放军国防科学技术大学 | 一种文件作业任务的调度方法及系统 |
CN103188161A (zh) * | 2011-12-30 | 2013-07-03 | 中国移动通信集团公司 | 分布式数据加载调度方法与系统 |
US20130281087A1 (en) * | 2006-12-21 | 2013-10-24 | Nokia Corporation | Managing subscriber information |
US20150134796A1 (en) * | 2013-11-11 | 2015-05-14 | Amazon Technologies, Inc. | Dynamic partitioning techniques for data streams |
CN105207818A (zh) * | 2015-09-23 | 2015-12-30 | 杭州数梦工场科技有限公司 | 一种节点的控制方法和装置 |
CN105279603A (zh) * | 2015-09-11 | 2016-01-27 | 福建师范大学 | 可动态配置的大数据分析系统及方法 |
CN105323111A (zh) * | 2015-11-17 | 2016-02-10 | 南京南瑞集团公司 | 一种运维自动化系统及方法 |
US9471585B1 (en) * | 2013-12-20 | 2016-10-18 | Amazon Technologies, Inc. | Decentralized de-duplication techniques for largescale data streams |
-
2016
- 2016-12-02 CN CN201611109433.6A patent/CN106776984B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7403942B1 (en) * | 2003-02-04 | 2008-07-22 | Seisint, Inc. | Method and system for processing data records |
US20100094910A1 (en) * | 2003-02-04 | 2010-04-15 | Seisint, Inc. | Method and system for linking and delinking data records |
US20130281087A1 (en) * | 2006-12-21 | 2013-10-24 | Nokia Corporation | Managing subscriber information |
CN102156659A (zh) * | 2011-03-28 | 2011-08-17 | 中国人民解放军国防科学技术大学 | 一种文件作业任务的调度方法及系统 |
CN103188161A (zh) * | 2011-12-30 | 2013-07-03 | 中国移动通信集团公司 | 分布式数据加载调度方法与系统 |
US20150134796A1 (en) * | 2013-11-11 | 2015-05-14 | Amazon Technologies, Inc. | Dynamic partitioning techniques for data streams |
US9471585B1 (en) * | 2013-12-20 | 2016-10-18 | Amazon Technologies, Inc. | Decentralized de-duplication techniques for largescale data streams |
CN105279603A (zh) * | 2015-09-11 | 2016-01-27 | 福建师范大学 | 可动态配置的大数据分析系统及方法 |
CN105207818A (zh) * | 2015-09-23 | 2015-12-30 | 杭州数梦工场科技有限公司 | 一种节点的控制方法和装置 |
CN105323111A (zh) * | 2015-11-17 | 2016-02-10 | 南京南瑞集团公司 | 一种运维自动化系统及方法 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107239581A (zh) * | 2017-07-07 | 2017-10-10 | 小草数语(北京)科技有限公司 | 数据清洗方法及装置 |
CN109542360A (zh) * | 2018-12-03 | 2019-03-29 | 郑州云海信息技术有限公司 | 数据重删方法、装置、设备、系统及计算机可读存储介质 |
CN109639480A (zh) * | 2018-12-10 | 2019-04-16 | 北京京东金融科技控股有限公司 | 一种数据上报的系统和方法 |
CN109783314A (zh) * | 2018-12-26 | 2019-05-21 | 广州裕鼎信息科技有限公司 | It设备监控管理方法及服务器 |
CN110569238A (zh) * | 2019-09-12 | 2019-12-13 | 成都中科大旗软件股份有限公司 | 一种基于大数据的数据治理方法、系统、存储介质和服务端 |
CN110569238B (zh) * | 2019-09-12 | 2023-03-24 | 成都中科大旗软件股份有限公司 | 一种基于大数据的数据治理方法、系统、存储介质和服务端 |
CN112000486A (zh) * | 2020-09-11 | 2020-11-27 | 中国人民解放军国防科技大学 | 一种面向高性能计算机的海量计算节点资源监控管理方法 |
CN112000486B (zh) * | 2020-09-11 | 2022-10-28 | 中国人民解放军国防科技大学 | 一种面向高性能计算机的海量计算节点资源监控管理方法 |
CN116882522A (zh) * | 2023-09-07 | 2023-10-13 | 湖南视觉伟业智能科技有限公司 | 一种分布式时空挖掘方法及系统 |
CN116882522B (zh) * | 2023-09-07 | 2023-11-28 | 湖南视觉伟业智能科技有限公司 | 一种分布式时空挖掘方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN106776984B (zh) | 2018-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106776984A (zh) | 一种分布式系统挖掘数据的清洗方法 | |
Vera-Baquero et al. | Real-time business activity monitoring and analysis of process performance on big-data domains | |
CN108334557B (zh) | 一种聚合数据分析方法、装置、存储介质及电子设备 | |
CN105989163A (zh) | 数据实时处理方法及系统 | |
CN104715047A (zh) | 一种社交网络数据采集与分析系统 | |
CN114936019B (zh) | 一种组件及策略联动方法、装置、设备、系统及存储介质 | |
CN108650684A (zh) | 一种关联规则确定方法及装置 | |
CN106201837A (zh) | 一种集成化硬件平台的日志解析方法和系统 | |
CN105630797B (zh) | 数据处理方法及系统 | |
CN110895506A (zh) | 测试数据的构造方法和构造系统 | |
CN110705891A (zh) | 一种基于高可配可变更的数据处理方法 | |
Lin et al. | Research on building an innovative electric power marketing business application system based on cloud computing and microservices architecture technologies | |
CN109472871A (zh) | 一种三维模型重建方法、系统及电子设备 | |
CN106257447A (zh) | 云存储服务器的视频存储及检索方法、视频云存储系统 | |
CN115438995B (zh) | 一种基于知识图谱的服装定制企业的业务处理方法及设备 | |
EP4086765A1 (en) | System for optimizing resources for cloud-based scalable distributed search data analytics service | |
CN108153642A (zh) | 一种根据运行负载选择计算节点的方法 | |
Silva et al. | Contribution of computational simulation for layout analysis in a wooden furniture industry | |
CN107018160A (zh) | 一种基于层次化的制造资源和云化方法 | |
CN113254544A (zh) | 一种基于维度建模的数据处理装置及方法 | |
Manjupriya et al. | Customer churn prediction in the mobile telecommunication industry using decision tree classification algorithm | |
CN108153748A (zh) | 一种挖掘数据的前期准备方法 | |
CN108156207A (zh) | 一种多节点系统的数据处理方法 | |
Jitendra et al. | Analysis of Airline Connectivity System using Graph Theory | |
CN111177227A (zh) | 一种电力数据自助式分析系统及决策应用类迁移方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB03 | Change of inventor or designer information | ||
CB03 | Change of inventor or designer information |
Inventor after: Du Jing Inventor after: Tian Yuan Inventor after: An Ximin Inventor after: Lin Yin Inventor after: Zhu Qiaoxia Inventor before: An Ximin Inventor before: Lin Yin Inventor before: Zhu Qiaoxia |
|
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address | ||
CP03 | Change of name, title or address |
Address after: 101399 No. 2 East Airport Road, Shunyi Airport Economic Core Area, Beijing (1st, 5th and 7th floors of Industrial Park 1A-4) Patentee after: Zhongke Star Map Co., Ltd. Address before: 101399 Building 1A-4, National Geographic Information Technology Industrial Park, Guomen Business District, Shunyi District, Beijing Patentee before: Space Star Technology (Beijing) Co., Ltd. |