CN104462585A - 一种大数据分类系统 - Google Patents

一种大数据分类系统 Download PDF

Info

Publication number
CN104462585A
CN104462585A CN201410843978.4A CN201410843978A CN104462585A CN 104462585 A CN104462585 A CN 104462585A CN 201410843978 A CN201410843978 A CN 201410843978A CN 104462585 A CN104462585 A CN 104462585A
Authority
CN
China
Prior art keywords
data
classification
unit
numbering
sorting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410843978.4A
Other languages
English (en)
Inventor
赵迪
刘焰龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhu Leruisi Information Consulting Co Ltd
Original Assignee
Wuhu Leruisi Information Consulting Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhu Leruisi Information Consulting Co Ltd filed Critical Wuhu Leruisi Information Consulting Co Ltd
Priority to CN201410843978.4A priority Critical patent/CN104462585A/zh
Publication of CN104462585A publication Critical patent/CN104462585A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种大数据分类系统，由数据源，数据分类单元，数据编号单元，云数据库依次连接构成，所述数据编号单元还包括：数据位置编号，数据时间编号，数据容量编号；所述数据分类单元有效地将所属数据源进行类别的分类，在不同的类别数据下，采用所述数据编号单元，对不同类别的相同类型数据进行数据位置，数据时间，数据容量的类别进行分类，并存入云数据库中，实现树状型分类结构分类存储，大大减少了需要处理的数据，在短时间内迅速、准确的实现数据的分类，从而有效提高了数据分类流程的执行效率，降低了对相关数据管理的复杂度，也减轻了系统的运算负荷。

Description

一种大数据分类系统
技术领域
本发明涉及一种大数据分类系统。
背景技术
随着计算机技术的飞速发展，各行各领域数据的呈几何级快速增长。这些数据来自方面，从搜集天气情况的感测器、数码图片、在线的视频资料，到网络购物的交易记录、手机的全球定位系统信号等应有尽有。伴随数据规模的急剧膨胀，各行业累积的数据量越来越巨大，数据类型也越来越多、数据结构越来越复杂，已经超越了传统数据分类系统、处理模式的能力范围，传统的串行数据库系统已经难以适应这种飞速增长的应用需求，在生产实践中表现出明显的能力不足，无法满足大数据时代的数据分类需求。
发明内容
本发明所要解决的技术问题是提供一种大数据分类系统，用以在短时间内迅速、准确的实现数据的分类，提高了数据分类流程的执行效率。
本发明解决上述技术问题的技术方案如下：一种大数据分类系统，由数据源，数据分类单元，数据编号单元，云数据库依次连接构成，所述数据编号单元还包括：数据位置编号，数据时间编号，数据容量编号；所述数据分类单元有效地将所属数据源进行类别的分类，在不同的类别数据下，采用所述数据编号单元，对不同类别的相同类型数据进行数据位置，数据时间，数据容量的类别进行分类，并将分类出地数据存储在云数据库中，从而实现树状型结构分类系统。
进一步地，对数据进行类别分类以后，根据划分结果，调整各类别的权重取值。
优选的，分类序列相同的相关数据进行合并后，包括：
分别计算任意两类数据编号序列的相似度；
将获得的任意两类数据编号序列的相似度，分别与设定阈值进行比较，将编号的相似度达到设定阈值的两类相关数据进行合并。
本发明的有益效果是：在短时间内迅速、准确的实现数据的分类，从而有效提高了数据分类流程的执行效率，降低了对相关数据管理的复杂度，也减轻了系统的运算负荷。
附图说明
图1为本发明整体结构示意图；
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，一种大数据分类系统，由数据源，数据分类单元，数据编号单元，云数据库依次连接构成，所述数据编号单元还包括：数据位置编号，数据时间编号，数据容量编号；所述数据分类单元有效地将所属数据源进行类别的分类，在不同的类别数据下，采用所述数据编号单元，对不同类别的相同类型数据进行数据位置，数据时间，数据容量的类别进行分类，并将分类出地数据存储在云数据库中，从而实现树状型结构分类系统。
进一步地，对数据进行类别分类以后，根据划分结果，调整各类别的权重取值。
优选的，分类序列相同的相关数据进行合并后，包括：
1、分别计算任意两类数据编号序列的相似度；
2、将获得的任意两类数据编号序列的相似度，分别与设定阈值进行比较，将编号的相似度达到设定阈值的两类相关数据进行合并。
与现有技术相比，本发明的优点在于，在短时间内迅速、准确的实现数据的分类，从而有效提高了数据分类流程的执行效率，降低了对相关数据管理的复杂度，也减轻了系统的运算负荷。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种大数据分类系统，其特征在于，由数据源，数据分类单元，数据编号单元，云数据库依次连接构成，所述数据编号单元还包括：数据位置编号，数据时间编号，数据容量编号；所述数据分类单元有效地将所属数据源进行类别的分类，在不同的类别数据下，采用所述数据编号单元，对不同类别的相同类型数据进行数据位置，数据时间，数据容量的类别进行分类，并将分类出的数据存入云数据库，从而实现树状型结构分类系统。
2.根据权利要求1所述的大数据分类系统，其特征在于，对数据进行类别分类以后，根据划分结果，调整各类别的权重取值。
3.根据权利要求1所述的大数据分类系统，其特征在于，分类序列相同的相关数据进行合并后，包括：
分别计算任意两类数据编号序列的相似度；
将获得的任意两类数据编号序列的相似度，分别与设定阈值进行比较，将编号的相似度达到设定阈值的两类相关数据进行合并。
CN201410843978.4A 2014-12-29 2014-12-29 一种大数据分类系统 Pending CN104462585A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410843978.4A CN104462585A (zh) 2014-12-29 2014-12-29 一种大数据分类系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410843978.4A CN104462585A (zh) 2014-12-29 2014-12-29 一种大数据分类系统

Publications (1)

Publication Number Publication Date
CN104462585A true CN104462585A (zh) 2015-03-25

Family

ID=52908620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410843978.4A Pending CN104462585A (zh) 2014-12-29 2014-12-29 一种大数据分类系统

Country Status (1)

Country Link
CN (1) CN104462585A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107357873A (zh) * 2017-07-04 2017-11-17 深圳齐心集团股份有限公司 一种大数据存储管理系统
CN107682395A (zh) * 2017-08-24 2018-02-09 潍坊科技学院 一种大数据云计算运行系统及方法
CN108549353A (zh) * 2018-05-25 2018-09-18 南京邮电大学 智慧工厂监控方法及系统、可读存储介质、终端
CN110213283A (zh) * 2019-06-11 2019-09-06 山东管理学院 一种贸易经济信息互联网传输方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222092A (zh) * 2011-06-03 2011-10-19 复旦大学 一种MapReduce平台上的海量高维数据聚类方法
CN102243641A (zh) * 2011-04-29 2011-11-16 西安交通大学 大规模数据的高效聚类方法
CN102521334A (zh) * 2011-12-07 2012-06-27 广东工业大学 一种基于分类特性和平衡二叉树的数据存储、查询方法
CN102662992A (zh) * 2012-03-14 2012-09-12 北京搜狐新媒体信息技术有限公司 一种海量小文件的存储、访问方法及装置
CN103744935A (zh) * 2013-12-31 2014-04-23 华北电力大学（保定） 一种计算机快速海量数据聚类处理方法
CN103916459A (zh) * 2014-03-04 2014-07-09 南京邮电大学 一种大数据归档存储系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102243641A (zh) * 2011-04-29 2011-11-16 西安交通大学 大规模数据的高效聚类方法
CN102222092A (zh) * 2011-06-03 2011-10-19 复旦大学 一种MapReduce平台上的海量高维数据聚类方法
CN102521334A (zh) * 2011-12-07 2012-06-27 广东工业大学 一种基于分类特性和平衡二叉树的数据存储、查询方法
CN102662992A (zh) * 2012-03-14 2012-09-12 北京搜狐新媒体信息技术有限公司 一种海量小文件的存储、访问方法及装置
CN103744935A (zh) * 2013-12-31 2014-04-23 华北电力大学（保定） 一种计算机快速海量数据聚类处理方法
CN103916459A (zh) * 2014-03-04 2014-07-09 南京邮电大学 一种大数据归档存储系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107357873A (zh) * 2017-07-04 2017-11-17 深圳齐心集团股份有限公司 一种大数据存储管理系统
CN107682395A (zh) * 2017-08-24 2018-02-09 潍坊科技学院 一种大数据云计算运行系统及方法
CN108549353A (zh) * 2018-05-25 2018-09-18 南京邮电大学 智慧工厂监控方法及系统、可读存储介质、终端
CN110213283A (zh) * 2019-06-11 2019-09-06 山东管理学院 一种贸易经济信息互联网传输方法

Similar Documents

Publication Publication Date Title
CN105512167B (zh) 一种基于混合数据库的多业务用户数据管理系统及其方法
CN103631928B (zh) 一种基于局部敏感哈希的聚类索引方法及系统
CN101710334B (zh) 基于图像哈希的大规模图像库检索方法
CN104035954B (zh) 一种基于Hadoop的套牌车识别方法
CN102141978A (zh) 一种文本分类的方法及系统
CN104462585A (zh) 一种大数据分类系统
CN105589938A (zh) 基于fpga的图像检索系统及检索方法
CN103336957A (zh) 一种基于时空特征的网络同源视频检测方法
CN106599915A (zh) 一种车载激光点云分类方法
CN107908646A (zh) 一种基于分层卷积神经网络的图像检索方法
CN103345496A (zh) 多媒体信息检索方法和系统
CN107609085A (zh) 一种基于大数据技术的智能电网量测数据处理方法及系统
CN102629305A (zh) 一种面向snp数据的特征选择方法
CN102750367A (zh) 在云端平台的大数据检核系统及其方法
CN102750286A (zh) 一种处理缺失数据的新型决策树分类器方法
CN102902826A (zh) 一种基于基准图像索引的图像快速检索方法
CN104951562B (zh) 一种基于vlad双重自适应的图像检索方法
CN108229658A (zh) 基于有限样本的物体检测器的实现方法及装置
CN103473275A (zh) 一种采用多特征融合的图像自动标注方法和系统
CN105183792A (zh) 一种基于局部敏感哈希的分布式快速文本分类方法
CN110389932A (zh) 电力文件自动分类方法及装置
CN107644050A (zh) 一种基于solr的Hbase的查询方法及装置
CN104933143A (zh) 获取推荐对象的方法及装置
CN102169491A (zh) 一种多数据集中重复记录动态检测方法
CN108021878B (zh) 一种等高线负向地貌智能识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20150325