CN106484890A - 一种基于局域网的数据处理方法 - Google Patents
一种基于局域网的数据处理方法 Download PDFInfo
- Publication number
- CN106484890A CN106484890A CN201610906769.9A CN201610906769A CN106484890A CN 106484890 A CN106484890 A CN 106484890A CN 201610906769 A CN201610906769 A CN 201610906769A CN 106484890 A CN106484890 A CN 106484890A
- Authority
- CN
- China
- Prior art keywords
- data
- lan
- processing method
- method based
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
- G06F2216/03—Data mining
Abstract
本发明提供了基于一种基于局域网的数据处理方法,其包括以下步骤:初始化数据:将分布在不同存储空间的数据进行合并,将数据中的缺省项进行补充完整并清洗脏数据;数据选择:从所述初始化处理的数据中将不同格式的数据转化为统一格式;数据预处理:检查所述统一格式的数据,将含有噪声数据、冗余的数据剔除,对缺省数据进行补充,同时对数据通过编码进行标识;数据挖掘,具体包括以下步骤:确定挖掘目标,选择算法,采用所述挖掘算法对数据进行处理,将挖掘出的数据附加上标识后导出并存储。本发明在数据搜索时的速率提高,且搜索精度得到很大的提高。
Description
技术领域
本发明涉及到局域网技术领域,特别是一种基于局域网的数据处理方法。
背景技术
目前,随着计算机应用的日益广泛以及不同领域的业务种类的日益丰富,从与特定的对象相关的海量数据记录中有效地挖掘出不同类别的对象以便针对不同类别的对象实施不同的处理方案变的越来越重要。
在现有的技术方案中,通常根据与目标对象相关联的一个或多个属性数据来对目标对象进行分类,即基于每个目标对象的某个或某些特定的属性数据的值对目标对象进行分类。
而,现有的技术方案存在如下问题:由于仅仅基于单一或数个属性数据对目标对象进行分类,故分类结果的精确度较低,并且由于需要对每个目标对象的属性数据进行相同的评估操作,故数据挖掘的效率较低。
因此,存在如下需求:提供能够根据目标对象的综合特征来挖掘和分类目标对象的基于局域网的数据挖掘方法。
发明内容
为解决上述技术问题,本发明提供了一种基于局域网的数据处理方法,其包括以下步骤:
S1:初始化数据:将分布在局域网中的不同存储空间中的数据进行合并,将数据中的缺省项进行补充完整并清洗脏数据;
S2:数据选择:从所述初始化处理的数据中将不同格式的数据转化为统一格式;
S3:数据预处理:检查所述统一格式的数据,将含有噪声数据、冗余的数据剔除,对缺省数据进行补充,同时对数据通过编码进行标识,将数据转化为0和1区分的数值型数据;
S4:数据挖掘,具体包括以下步骤:
S41:确定挖掘目标:确定要发现的数据关键词、数据类型、数据名称、存储日期作为目标数据的特征值;
S42:选择算法:根据目标数据的具体特征值类型选择相应的数据挖掘算法;
S43:数据挖掘:采用所述挖掘算法对数据进行处理,将挖掘出的数据附加上标识后导出并存储。
较佳地,所述局域网中的不同存储空间为局域网中的服务器。
较佳地,所述挖掘算法为k—means聚类算法或者基于层次的聚类分析算法。
较佳地,所述缺省数据的补充内容包括数据扩展名与系统存储路径。
较佳地,所述脏数据是指源系统中的数据不在给定的范围内或对于实际业务毫无意义,或是数据格式非法,以及在源系统中存在不规范的编码和含糊的业务逻辑的数据。
本发明具有以下有益效果:
本发明提供的基于局域网的数据处理方法通过对不同的存储空间内存储的数据进行处理优化,根据目标数据的特征值通过挖掘算法进行找寻,本发明在数据搜索时的速率提高,且搜索精度得到很大的保障。
当然,实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
具体实施方式
下面将结合本发明实施例对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本发明实施例提供了一种基于局域网的数据处理方法,其包括以下步骤:
S1:初始化数据:将分布在局域网中的不同存储空间中的数据进行合并,将数据中的缺省项进行补充完整并清洗脏数据;
S2:数据选择:从所述初始化处理的数据中将不同格式的数据转化为统一格式;
S3:数据预处理:检查所述统一格式的数据,将含有噪声数据、冗余的数据剔除,对缺省数据进行补充,同时对数据通过编码进行标识,将数据转化为0和1区分的数值型数据;
S4:数据挖掘,具体包括以下步骤:
S41:确定挖掘目标:确定要发现的数据关键词、数据类型、数据名称、存储日期作为目标数据的特征值;
S42:选择算法:根据目标数据的具体特征值类型选择相应的数据挖掘算法;
S43:数据挖掘:采用所述挖掘算法对数据进行处理,将挖掘出的数据附加上标识后导出并存储。
本实施例中所述局域网中的不同存储空间为局域网中的服务器。
其中所述挖掘算法为k—means聚类算法或者基于层次的聚类分析算法。
所述缺省数据的补充内容包括数据扩展名与系统存储路径。
所述脏数据是指源系统中的数据不在给定的范围内或对于实际业务毫无意义,或是数据格式非法,以及在源系统中存在不规范的编码和含糊的业务逻辑的数据。
本发明提供的基于局域网的数据处理方法通过对不同的存储空间内存储的数据进行处理优化,根据目标数据的特征值通过挖掘算法进行找寻,本发明在数据搜索时的速率提高,且搜索精度得到很大的保障。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (5)
1.一种基于局域网的数据处理方法,其特征在于,包括以下步骤:
S1:初始化数据:将分布在局域网中的不同存储空间中的数据进行合并,将数据中的缺省项进行补充完整并清洗脏数据;
S2:数据选择:从所述初始化处理的数据中将不同格式的数据转化为统一格式;
S3:数据预处理:检查所述统一格式的数据,将含有噪声数据、冗余的数据剔除,对缺省数据进行补充,同时对数据通过编码进行标识,将数据转化为0和1区分的数值型数据;
S4:数据挖掘,具体包括以下步骤:
S41:确定挖掘目标:确定要发现的数据关键词、数据类型、数据名称、存储日期作为目标数据的特征值;
S42:选择算法:根据目标数据的具体特征值类型选择相应的数据挖掘算法;
S43:数据挖掘:采用所述挖掘算法对数据进行处理,将挖掘出的数据附加上标识后导出并存储。
2.如权利要求1所述的基于局域网的数据处理方法,其特征在于,所述局域网中的不同存储空间为局域网中的服务器。
3.如权利要求1所述的基于局域网的数据处理方法,其特征在于,所述挖掘算法为k—means聚类算法或者基于层次的聚类分析算法。
4.如权利要求1所述的基于局域网的数据处理方法,其特征在于,所述缺省数据的补充内容包括数据扩展名与系统存储路径。
5.如权利要求1所述的基于局域网的数据处理方法,其特征在于,所述脏数据是指源系统中的数据不在给定的范围内或对于实际业务毫无意义,或是数据格式非法,以及在源系统中存在不规范的编码和含糊的业务逻辑的数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610906769.9A CN106484890A (zh) | 2016-10-18 | 2016-10-18 | 一种基于局域网的数据处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610906769.9A CN106484890A (zh) | 2016-10-18 | 2016-10-18 | 一种基于局域网的数据处理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106484890A true CN106484890A (zh) | 2017-03-08 |
Family
ID=58270160
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610906769.9A Pending CN106484890A (zh) | 2016-10-18 | 2016-10-18 | 一种基于局域网的数据处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106484890A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102098175A (zh) * | 2011-01-26 | 2011-06-15 | 浪潮通信信息系统有限公司 | 一种移动互联网告警关联规则获取方法 |
CN102567375A (zh) * | 2010-12-27 | 2012-07-11 | 中国移动通信集团公司 | 数据挖掘方法及设备 |
CN104809244A (zh) * | 2015-05-15 | 2015-07-29 | 成都睿峰科技有限公司 | 一种大数据环境下的数据挖掘方法和装置 |
CN105589896A (zh) * | 2014-11-14 | 2016-05-18 | 北大方正集团有限公司 | 数据挖掘方法及装置 |
US9424533B1 (en) * | 2011-09-24 | 2016-08-23 | Z Advanced Computing, Inc. | Method and system for predicting an outcome of an event |
-
2016
- 2016-10-18 CN CN201610906769.9A patent/CN106484890A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102567375A (zh) * | 2010-12-27 | 2012-07-11 | 中国移动通信集团公司 | 数据挖掘方法及设备 |
CN102098175A (zh) * | 2011-01-26 | 2011-06-15 | 浪潮通信信息系统有限公司 | 一种移动互联网告警关联规则获取方法 |
US9424533B1 (en) * | 2011-09-24 | 2016-08-23 | Z Advanced Computing, Inc. | Method and system for predicting an outcome of an event |
CN105589896A (zh) * | 2014-11-14 | 2016-05-18 | 北大方正集团有限公司 | 数据挖掘方法及装置 |
CN104809244A (zh) * | 2015-05-15 | 2015-07-29 | 成都睿峰科技有限公司 | 一种大数据环境下的数据挖掘方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106446255A (zh) | 一种基于云服务器的数据处理方法 | |
JP5681801B2 (ja) | カテゴリ分けされた製品情報の処理 | |
WO2017096892A1 (zh) | 索引构建方法、查询方法及对应装置、设备、计算机存储介质 | |
TWI730043B (zh) | 關聯分析方法和裝置 | |
EP3238097B1 (en) | Identifying join relationships based on transactional access patterns | |
CN102810116B (zh) | 一种基于数据库连接的自动路由和负载均衡的方法及系统 | |
Song et al. | Solutions for processing k nearest neighbor joins for massive data on mapreduce | |
CN103235811B (zh) | 一种数据存储方法及装置 | |
US9720946B2 (en) | Efficient storage of related sparse data in a search index | |
CN104881466A (zh) | 数据分片的处理以及垃圾文件的删除方法和装置 | |
CN102959548B (zh) | 数据存储方法、查找方法及装置 | |
CN107341221B (zh) | 索引结构的建立、关联检索方法、装置、设备及存储介质 | |
CN105824279A (zh) | 机房监控系统构建灵活有效cmdb的方法 | |
Maini et al. | Intelligent fuzzy rough set based feature selection using swarm algorithms with improved initialization | |
CN106484890A (zh) | 一种基于局域网的数据处理方法 | |
CN107729338B (zh) | 数据节点相似度计算方法和装置 | |
US10872103B2 (en) | Relevance optimized representative content associated with a data storage system | |
CN106503113A (zh) | 一种基于局域网的数据处理方法 | |
CN106874119A (zh) | 基于同质内存扫描的合并方法及装置 | |
Bae et al. | Label propagation-based parallel graph partitioning for large-scale graph data | |
CN106484887A (zh) | 一种基于互联网的文件处理方法 | |
CN102567471B (zh) | 一种基于信息增益计算的海量数据异常侦测方法 | |
US9053417B2 (en) | Domain level clustering | |
CN105677801B (zh) | 一种基于图的数据处理方法和系统 | |
US11036710B2 (en) | Scalable selection management |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170308 |
|
RJ01 | Rejection of invention patent application after publication |