CN108520006A - 一种基于管道筛选的数据挖掘方法 - Google Patents
一种基于管道筛选的数据挖掘方法 Download PDFInfo
- Publication number
- CN108520006A CN108520006A CN201810209628.0A CN201810209628A CN108520006A CN 108520006 A CN108520006 A CN 108520006A CN 201810209628 A CN201810209628 A CN 201810209628A CN 108520006 A CN108520006 A CN 108520006A
- Authority
- CN
- China
- Prior art keywords
- data
- screening
- pipeline
- method based
- rule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012216 screening Methods 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000007418 data mining Methods 0.000 title claims abstract description 9
- 238000007405 data analysis Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 abstract description 5
- 238000004458 analytical method Methods 0.000 description 5
- 241000234671 Ananas Species 0.000 description 3
- 235000007119 Ananas comosus Nutrition 0.000 description 3
- 244000061456 Solanum tuberosum Species 0.000 description 3
- 235000002595 Solanum tuberosum Nutrition 0.000 description 3
- 241000220225 Malus Species 0.000 description 2
- 235000011430 Malus pumila Nutrition 0.000 description 2
- 235000015103 Malus silvestris Nutrition 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009412 basement excavation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
Landscapes
- Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Engineering & Computer Science (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- Marketing (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于管道筛选的数据挖掘方法，包括以下步骤，第一步：采集数据记录；第二步：将数据记录放入过滤管道；第三步：通过过滤管道里的筛选规则对数据记录进行分类筛选；第四步：将筛选后的数据存入数据仓库；第五步：从数据仓库提取数据。本发明采用管道过滤，数据量和硬件要求低，适合中小型企业，数据挖掘更精准。
Description
技术领域
本发明涉及计算机数据分析和挖掘，特别是一种基于管道筛选的数据挖掘方法。
背景技术
传统的方法是先把数据存入数据仓库，再通过数据特点分析，挖掘出有用的信息。
现有的数据挖掘和分析技术目前已经比较成熟，但针对数据集成日益丰富的需求，对于一般企业而言，目前的数据挖掘存在以下问题。第一，数据库挖掘建立在海量数据基础上，需要硬件设施也是非常昂贵。目前也就是Goog l e，亚马逊，淘宝等巨头公司在使用。第二，数据挖掘需要的技术算法复杂，一般的公司不具备这样的人才。
发明内容
本发明的目的是提供一种基于管道筛选的数据挖掘方法。本方法主要解决大型数据挖据在一般企业中应用存在的以下问题，第一，数据量问题和硬件问题，大型数据挖掘是以海量数据为基础，用过样本分析获取结果。而本方法，不需要海量样本，也不需要很多硬件。第二，本方法主要基于规则过滤，而不是样本分析，所以数据分析更精准。
本发明采用的技术方案是：
一种基于管道筛选的数据挖掘方法，包括以下步骤
第一步：采集数据记录；
第二步：将数据记录放入过滤管道；
第三步：通过过滤管道里的筛选规则对数据记录进行分类筛选；
第四步：将筛选后的数据存入数据仓库；
第五步：从数据仓库提取数据。
所述筛选规则基于数据记录中待筛选的数据分析需求制定而成。
所述筛选规则在过滤管道中设置有动态添加与删除选项。
所述数据仓库按照筛选规则将数据归类存储。
所述过滤管道在自定义的数据挖掘周期到达之后自动移除筛选规则。
本发明的有益效果：1，采用管道过滤，数据量和硬件要求低，适合中小型企业，数据挖掘更精准。2，筛选规则可自定义，热插拔，充分满足企业个性化需求。
附图说明
下面结合附图对本发明的具体实施方式做进一步的说明。
图1是本发明数据挖掘方法的示意图；
图2为本发明具体实施例的示意图。
具体实施方式
如图1所示，为本发明的一种基于管道筛选的数据挖掘方法，包括以下步骤
第一步：采集数据记录；
第二步：将数据记录放入过滤管道；
第三步：通过过滤管道里的筛选规则对数据记录进行分类筛选；所述筛选规则基于数据记录中待筛选的数据分析需求制定而成，筛选规则在过滤管道中设置有动态添加与删除选项。
第四步：将筛选后的数据存入数据仓库；过滤管道在自定义的数据挖掘周期到达之后自动移除筛选规则。
第五步：从数据仓库提取数据，数据仓库按照筛选规则将数据归类存储。
如图2所示，实施例1：具体分析产品销售情况，以分析5月内土豆，菠萝，苹果销售情况为例。
A，如图2所示，在5月1号将土豆，菠萝，苹果分析需求制定成筛选规则，加载到过滤管道。
B，将购买信息作为数据记录，在过滤管道中过滤筛选。
C，将筛选后的购买信息分类存储到数据仓库，在6月1号将土豆，菠萝，苹果分析需求制定成筛选规则，从过滤管道移除。
D，直接从数据仓库提取相应销售数据。
以上所述仅为本发明的优先实施方式，本发明并不限定于上述实施方式，只要以基本相同手段实现本发明目的的技术方案都属于本发明的保护范围之内。
Claims (5)
1.一种基于管道筛选的数据挖掘方法，其特征在于：包括以下步骤
第一步：采集数据记录；
第二步：将数据记录放入过滤管道；
第三步：通过过滤管道里的筛选规则对数据记录进行分类筛选；
第四步：将筛选后的数据存入数据仓库；
第五步：从数据仓库提取数据。
2.根据权利要求1所述的一种基于管道筛选的数据挖掘方法，其特征在于：所述筛选规则基于数据记录中待筛选的数据分析需求制定而成。
3.根据权利要求1或2所述的一种基于管道筛选的数据挖掘方法，其特征在于：所述筛选规则在过滤管道中设置有动态添加与删除选项。
4.根据权利要求1所述的一种基于管道筛选的数据挖掘方法，其特征在于：所述数据仓库按照筛选规则将数据归类存储。
5.根据权利要求1所述的一种基于管道筛选的数据挖掘方法，其特征在于：所述过滤管道在自定义的数据挖掘周期到达之后自动移除筛选规则。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810209628.0A CN108520006A (zh) | 2018-03-14 | 2018-03-14 | 一种基于管道筛选的数据挖掘方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810209628.0A CN108520006A (zh) | 2018-03-14 | 2018-03-14 | 一种基于管道筛选的数据挖掘方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108520006A true CN108520006A (zh) | 2018-09-11 |
Family
ID=63433697
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810209628.0A Withdrawn CN108520006A (zh) | 2018-03-14 | 2018-03-14 | 一种基于管道筛选的数据挖掘方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108520006A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111008226A (zh) * | 2019-12-24 | 2020-04-14 | 韶关学院 | 一种新型的数据挖掘方法 |
| CN113254508A (zh) * | 2021-06-22 | 2021-08-13 | 西南石油大学 | 一种天然气管道清管作业的数据仓库及数据挖掘方法 |
-
2018
- 2018-03-14 CN CN201810209628.0A patent/CN108520006A/zh not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111008226A (zh) * | 2019-12-24 | 2020-04-14 | 韶关学院 | 一种新型的数据挖掘方法 |
| CN113254508A (zh) * | 2021-06-22 | 2021-08-13 | 西南石油大学 | 一种天然气管道清管作业的数据仓库及数据挖掘方法 |
| CN113254508B (zh) * | 2021-06-22 | 2022-10-11 | 西南石油大学 | 一种天然气管道清管作业的数据仓库及数据挖掘方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105160038B (zh) | 一种基于审计知识库的数据分析方法及系统 | |
| CN101620691A (zh) | 电信业自动化数据挖掘平台 | |
| CN106599039A (zh) | 一种支持关系数据库数据自由组合嵌套的统计表述方法 | |
| CN106599193A (zh) | 一种数据清洗方法和系统 | |
| CN107872454A (zh) | 一种基于大数据技术的超大型互联网平台安全等级保护威胁信息监测与分析系统及方法 | |
| CN103870550A (zh) | 基于Android系统的用户行为模式获取方法及其系统 | |
| CN104376023A (zh) | 一种基于日志的审计方法及系统 | |
| CN107220261A (zh) | 一种基于分布式数据的实时挖掘方法及装置 | |
| CN104679827A (zh) | 一种基于大数据的公开信息关联方法及挖掘引擎 | |
| CN109063178A (zh) | 一种自动扩展的自助分析报表的方法及装置 | |
| CN108520006A (zh) | 一种基于管道筛选的数据挖掘方法 | |
| CN105279138A (zh) | 一种资讯研究报告自动生成系统 | |
| CN110046294A (zh) | 一种基于电力大数据的能源资讯系统 | |
| US20150066985A1 (en) | Retrieving information from social media sites based upon events in an enterprise | |
| CN117371992A (zh) | 基于gis的水库运维控制系统 | |
| CN108037739A (zh) | Pcb产品的过程管控方法和系统 | |
| CN103902709A (zh) | 一种关联分析方法 | |
| US8489444B2 (en) | Chronicling for process discovery in model driven business transformation | |
| WO2023020508A1 (zh) | 一种商品自动分类方法、装置及计算机设备 | |
| CN105138926B (zh) | 敏感信息数据的高效用隐藏保护方法 | |
| CN112667617A (zh) | 一种基于自然语言的可视化数据清洗系统及方法 | |
| Goh | Data Dashboarding in Accounting using Tableau | |
| Akoum et al. | Big Data Insight towards Well planning, A case study | |
| Achtaich et al. | Selecting SPL modeling languages: a practical guide | |
| JP2008140278A (ja) | 情報分析手順の共有・再利用方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20180911 |