CN102722482A - 数据分类系统及方法 - Google Patents

数据分类系统及方法 Download PDF

Info

Publication number
CN102722482A
CN102722482A CN2011100764488A CN201110076448A CN102722482A CN 102722482 A CN102722482 A CN 102722482A CN 2011100764488 A CN2011100764488 A CN 2011100764488A CN 201110076448 A CN201110076448 A CN 201110076448A CN 102722482 A CN102722482 A CN 102722482A
Authority
CN
China
Prior art keywords
data
server
far
end server
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011100764488A
Other languages
English (en)
Inventor
李忠一
叶建发
彭冠桥
林彦宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hongfujin Precision Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Original Assignee
Hongfujin Precision Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hongfujin Precision Industry Shenzhen Co Ltd, Hon Hai Precision Industry Co Ltd filed Critical Hongfujin Precision Industry Shenzhen Co Ltd
Priority to CN2011100764488A priority Critical patent/CN102722482A/zh
Publication of CN102722482A publication Critical patent/CN102722482A/zh
Pending legal-status Critical Current

Links

Images

Abstract

一种数据分类方法,应用于远端服务器,该方法包括:获取数据中心的各个服务器中的数据;通过结构化分类算法对获取的数据进行分类;将上述经过分类的数据存储到数据库中。本发明还提供一种数据分类系统。通过本发明可以提高数据查询的准确度,方便了用户。

Description

数据分类系统及方法
技术领域
本发明涉及一种数据分类系统及方法,尤其是关于一种通过远端服务器对数据中心的服务器中的数据进行分类的系统及方法。
背景技术
数据中心(data center),通常包括几台乃至上万台服务器,也称为服务器农场(server farm),指用于安置计算机系统及相关部件的设施,例如,电信和存储系统。数据中心定时传送每台服务器的电压、风扇转数、温度与是否上电等数据到控制中心(Control Center)。用户可以透过控制中心实时监控数据中心的运行状况。
然而,由于数据中心存储的数据量非常庞大,如果以传统的条列式选择来管理所有数据,将造成使用上的不便。例如,用户只需要查询某一个时间点的某一台服务器上的数据,但是由于没有对数据进行分类管理,用户得到的结果将会出现很多不相干的数据,如此一来会降低用户查询的速度和精准性,也降低了用户管理数据中心数据的效率。
发明内容
鉴于以上内容,有必要提供一种数据分类系统,通过远端服务器集中对数据中心的服务器的数据进行分类,使用户通过经过分类的数据进行数据查询,提高了数据查询的准确度,方便了用户。
鉴于以上内容,还有必要提供一种数据分类方法,通过远端服务器集中对数据中心的服务器的数据进行分类,使用户通过经过分类的数据进行数据查询,提高了数据查询的准确度,方便了用户。
一种数据分类系统,应用于远端服务器,该系统包括:获取模块,用于获取数据中心的各个服务器中的数据;分类模块,用于通过结构化分类算法对获取的数据进行分类;存储模块,用于将上述经过分类的数据存储到数据库中。
一种数据分类方法,应用于远端服务器,该方法包括:获取数据中心的各个服务器中的数据;通过结构化分类算法对获取的数据进行分类;将上述经过分类的数据存储到数据库中。
相较于现有技术,本发明提供的数据分类系统及方法,通过远端服务器集中对数据中心的服务器的数据进行分类,使用户通过经过分类的数据进行数据查询,提高了数据查询的速度和精准性,方便了用户,同时也降低了数据库数据查询的计算量,节约了资源。
附图说明
图1是本发明数据分类系统较佳实施例的应用环境图。
图2是本发明远端服务器较佳实施例的结构示意图。
图3是本发明数据分类方法较佳实施例的流程图。
主要元件符号说明
  客户端   10
  远端服务器   20
  数据库   30
  网络   40
  数据中心   50
  服务器   500
  数据分类系统   200
  分配模块   210
  获取模块   220
  分类模块   230
  存储模块   240
  存储器   250
  处理器   260
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
参阅图1所示,是本发明数据分类系统200较佳实施例的应用环境图。该数据分类系统200应用于远端服务器20中。该远端服务器20与数据中心(Data Center)50通过网络40进行通信连接。数据中心50包括多个服务器500(图中以四个为例),所述服务器500为刀片服务器。
所述远端服务器20安装有动态主机设置协议(Dynamic HostConfiguration Protocol,DHCP)服务,通过DHCP服务可以分配网络之间互连的协议(Internet Protocol,IP)地址给数据中心50中的各个服务器500,使远端服务器20能够与数据中心50的各个服务器500进行通信,从而实现对服务器500中的数据进行分类处理。该远端服务器20可以是个人计算机、网络服务器,还可以是任意其它适用的计算机。
所述远端服务器20通过一个数据库连接与数据库30连接。其中,所述数据库连接均可为一开放式数据库连接(Open DatabaseConnectivity,ODBC),或Java数据库连接(Java Database Connectivity,JDBC)。所述数据库30用于存储从数据中心50的各个服务器500传送过来的经过分类处理的数据等。
在此需说明的是,数据库30可独立于远端服务器20,也可位于远端服务器20内。所述数据库30可存于远端服务器20的硬盘或者闪存盘中。从系统安全性的角度考虑,本实施例中的数据库30独立于远端服务器20。
此外,客户端10用于提供一个互动式界面给用户,便于用户进行操作并将操作过程中的各种信息存于远端服务器20中。该客户端10可以是个人计算机、笔记本电脑以及其它任意能与远端服务器20连接并显示所述结果分类处理的数据的设备或系统。
参阅图2所示,是本发明远端服务器20较佳实施例的结构示意图。该远端服务器20包括数据分类系统200、存储器250和处理器260。该数据分类系统200包括分配模块210、获取模块220、分类模块230及存储模块240。模块210至240的程序化代码存储于存储器250中,处理器260执行这些程序化代码,实现数据分类系统200提供的上述功能。
分配模块210用于通过远端服务器20中DHCP服务分配IP地址给数据中心50的各个服务器500,以和各个服务器500建立通信连接。具体而言,如图1所示,数据中心50有四个服务器500,通过DHCP服务给每个服务器500单独分配一个IP地址。
获取模块220用于获取各个服务器500中的数据。用户可以根据需求设置所要获取的数据。例如,用户可以设置获取图1中的三个服务器的数据,也可以设置获取图1中四个服务器的数据等。例如,用户在某个时间点(如,T1)获取的图1中的三个服务器500的数据如下:
  电压   转速   温度   是否上电
 设备1   3.280   6240   42   ON
 设备2   4.880   6410   39   ON
 设备3   11.920   6720   38   ON
分类模块230用于通过结构化分类算法对获取的数据进行分类。所述结构化分类算法是将数据分类为三维数据,所述三维数据包括线性数据、表数据及时间维度数据。所述结构化分类算法的计算方式如下:时间点Ti的数据分为三维数据,分别为:
1、线性数据:
              row1:[{0,0}i{0,1}i{0,2}i{0,3}i]
              row2:[{1,0}i{1,1}i{1,2}i{1.3}i]
              row3:[{2,0}i{2,1}i{2,2}i{2,3}i]
Ti(0≤i≤∞)=col1:[{0,0}i{1,0}i{2,0}i]
              col2:[{0,1}i{1,1}i{2,1}i]
              col3:[{0,2}i{1,2}i{2,2}i]
              col4:[{0,3}i{1,3}i{2,3}i]
具体而言,以对获取的数据按照行(row)和列(col)形式进行划分,例如,对时间点T1的数据来说,将该数据划分为三行四列,形成线性数据,其中row1=[3.280,6240,42,ON],row2=[4.880,6410,39,ON],row3=[11.920,6720,38,ON]。Col1=[3.280,4880,11.920],col2=[6240,6410,6720],col3=[42,39,38],col4=[ON,ON,ON]。对应线性数据,用户直接搜索时间点Ti的线性数据时,可以直接搜索其中的某一行或某一列数据。
2、表数据:
由线性类数据中row1,row2与row3所组成。对应线性数据,用户直接搜索时间点Ti的表数据时,用户将看到由row1,row2与row3所组成的数据。例如,时间点T1的数据分类之后形成的表数据为:
Figure BDA0000052575200000052
3、时间维度数据:
T i ( 0 ≤ i ≤ ∞ ) = { 0,0 } i { 0,1 } i { 0,2 } i { 0,3 } i { 1,0 } i { 1,1 } i { 1,2 } i { 1,3 } i { 2,0 } i { 2,1 } i { 2,2 } i { 2,3 } i ,
T i + 1 ( 1 ≤ i + 1 ≤ ∞ ) = { 0,0 } i + 1 { 0,1 } i + 1 { 0,2 } i + 1 { 0,3 } i + 1 { 1,0 } i + 1 { 1,1 } i + 1 { 1,2 } i + 1 { 1,3 } i + 1 { 2,0 } i + 1 { 2,1 } i + 1 { 2,2 } i + 1 { 2,3 } i + 1 ,
Figure BDA0000052575200000055
由表数据的时间点Ti~Ti+n所组成的数据。对于时间维度数据,用户可以直接搜索时间点Ti~Ti+n之间的表数据。
存储模块240用于将上述经过分类的数据存储到数据库30中。具体而言,将线性数据、表数据及时间维度数据保存到数据库30中。例如,将在时间点T1的线性数据中的row1数据作为一笔完整的数据保存在数据库30中,即当用户查询线性数据在时间点T1的row1数据时,用户得到的是[3.280,6240,42,ON],而不是row1中的一部分,如此一来,使查询速度加快。
如图3所示,是本发明数据分类方法较佳实施例的流程图。
步骤S10,分配模块210通过远端服务器20中DHCP服务分配IP地址给数据中心50的各个服务器500,以和各个服务器500建立通信连接。具体而言,如图1所示,数据中心50有四个服务器500,通过DHCP服务给每个服务器500单独分配一个IP地址。
步骤S20,获取模块220获取各个服务器500中的数据。用户可以根据需求设置所要获取的数据。例如,用户可以设置获取图1中的三个服务器的数据,也可以设置获取图1中四个服务器的数据等。例如,用户在某个时间点(如,T1)获取的图1中的三个服务器500的数据如下:
  电压   转速   温度   是否上电
 设备1   3.280   6240   42   ON
 设备2   4.880   6410   39   ON
 设备3   11.920   6720   38   ON
步骤S30,分类模块230通过结构化分类算法对获取的数据进行分类。所述结构化分类算法是将数据分类为三维数据,所述三维数据包括线性数据、表数据及时间维度数据。所述结构化分类算法的计算方式如下:时间点Ti的数据分为三维数据,分别为:
1、线性数据:
              row1:[{0,0}i{0,1}i{0,2}i{0,3}i]
              row2:[{1,0}i{1,1}i{1,2}i{1.3}i]
              row3:[{2,0}i{2,1}i{2,2}i{2,3}i]
Ti(0≤i≤∞)=col1:[{0,0}i{1,0}i{2,0}i]
              col2:[{0,1}i{1,1}i{2,1}i]
              col3:[{0,2}i{1,2}i{2,2}i]
              col4:[{0,3}i{1,3}i{2,3}i]
具体而言,以对获取的数据按照行(row)和列(col)形式进行划分,例如,对时间点T1来说,划分为三行四列,其中row1=[3.280,6240,42,ON],row2=[4.880,6410,39,ON],row3=[11.920,6720,38,ON]。col1=[3.280,4880,11.920],col2=[6240,6410,6720],col3=[42,39,38],col4=[ON,ON,ON]。对应线性数据,用户直接搜索时间点Ti的线性数据时,可以直接搜索其中的某一行或某一列数据。
2、表数据:
Figure BDA0000052575200000071
由线性类数据中row1,row2与row3所组成。对应线性数据,用户直接搜索时间点Ti的表数据时,用户将看到由row1,row2与row3所组成的数据。
3、时间维度数据:
T i ( 0 ≤ i ≤ ∞ ) = { 0,0 } i { 0,1 } i { 0,2 } i { 0,3 } i { 1,0 } i { 1,1 } i { 1,2 } i { 1,3 } i { 2,0 } i { 2,1 } i { 2,2 } i { 2,3 } i ,
T i + 1 ( 1 ≤ i + 1 ≤ ∞ ) = { 0,0 } i + 1 { 0,1 } i + 1 { 0,2 } i + 1 { 0,3 } i + 1 { 1,0 } i + 1 { 1,1 } i + 1 { 1,2 } i + 1 { 1,3 } i + 1 { 2,0 } i + 1 { 2,1 } i + 1 { 2,2 } i + 1 { 2,3 } i + 1 ,
Figure BDA0000052575200000074
由表数据的时间点Ti~Ti+n所组成的数据。对于时间维度数据,用户可以直接搜索时间点Ti~Ti+n之间的表数据。
步骤S40,存储模块240将上述经过分类的数据存储到数据库30中。具体而言,将线性数据、表数据及时间维度数据保存到数据库30中。例如,将在时间点T1的线性数据中的row1数据作为一笔完整的数据保存在数据库30中,即当用户查询线性数据在时间点T1的row1数据时,用户得到的是[3.280,6240,42,ON],而不是row1中的一部分,如此一来,使查询速度加快。
最后所应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照以上较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。

Claims (8)

1.一种数据分类系统,应用于远端服务器,其特征在于,该系统包括:
获取模块,用于获取数据中心的各个服务器中的数据;
分类模块,用于通过结构化分类算法对获取的数据进行分类;及
存储模块,用于将上述经过分类的数据存储到数据库中。
2.如权利要求1所述的数据分类系统,其特征在于,所述远端服务器安装有动态主机设置协议服务。
3.如权利要求2所述的数据分类系统,其特征在于,所述系统还包括分配模块,该分配模块用于通过远端服务器中动态主机设置协议分配IP地址给数据中心的各个服务器,以和各个服务器建立通信连接。
4.如权利要求1所述的数据分类系统,其特征在于,所述结构化分类算法是将数据分类为三维数据,所述三维数据包括线性数据、表数据及时间维度数据。
5.一种数据分类方法,应用于远端服务器,其特征在于,该方法包括:
获取数据中心的各个服务器中的数据;
通过结构化分类算法对获取的数据进行分类;及
将上述经过分类的数据存储到数据库中。
6.如权利要求5所述的数据分类方法,其特征在于,所述远端服务器安装有动态主机设置协议服务。
7.如权利要求6所述的数据分类方法,其特征在于,该方法还包括:通过远端服务器中动态主机设置协议分配IP地址给数据中心的各个服务器,以和各个服务器建立通信连接。
8.如权利要求5所述的数据分类方法,其特征在于,所述结构化分类算法是将数据分类为三维数据,所述三维数据包括线性数据、表数据及时间维度数据。
CN2011100764488A 2011-03-29 2011-03-29 数据分类系统及方法 Pending CN102722482A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2011100764488A CN102722482A (zh) 2011-03-29 2011-03-29 数据分类系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011100764488A CN102722482A (zh) 2011-03-29 2011-03-29 数据分类系统及方法

Publications (1)

Publication Number Publication Date
CN102722482A true CN102722482A (zh) 2012-10-10

Family

ID=46948249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011100764488A Pending CN102722482A (zh) 2011-03-29 2011-03-29 数据分类系统及方法

Country Status (1)

Country Link
CN (1) CN102722482A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077652A (zh) * 2014-06-20 2014-10-01 纵横壹旅游科技(成都)有限公司 一种基于旅游相关数据的数据中心管理方法及系统
CN104317859A (zh) * 2014-10-15 2015-01-28 西安诺瓦电子科技有限公司 Led显示屏智能分类系统及方法
WO2016197852A1 (zh) * 2015-06-09 2016-12-15 阿里巴巴集团控股有限公司 一种数据处理方法和设备
CN107341236A (zh) * 2017-07-04 2017-11-10 合肥市乐腾科技咨询有限公司 一种数据分类处理系统
CN108549353A (zh) * 2018-05-25 2018-09-18 南京邮电大学 智慧工厂监控方法及系统、可读存储介质、终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1815985A (zh) * 2005-01-31 2006-08-09 华为技术有限公司 一种宽带网络系统
CN101661499A (zh) * 2009-03-25 2010-03-03 福建省电力有限公司 电力应用支撑系统及其分布式实时数据中心
CN101802735A (zh) * 2007-09-19 2010-08-11 布里格斯斯特拉顿公司 电力监控系统
CN101951341A (zh) * 2010-09-14 2011-01-19 福建星网锐捷网络有限公司 服务器物理位置标记方法、设备及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1815985A (zh) * 2005-01-31 2006-08-09 华为技术有限公司 一种宽带网络系统
CN101802735A (zh) * 2007-09-19 2010-08-11 布里格斯斯特拉顿公司 电力监控系统
CN101661499A (zh) * 2009-03-25 2010-03-03 福建省电力有限公司 电力应用支撑系统及其分布式实时数据中心
CN101951341A (zh) * 2010-09-14 2011-01-19 福建星网锐捷网络有限公司 服务器物理位置标记方法、设备及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JEFFREY DEAN等: "MAPREDUCE:SIMPLIFIED DATA PROCESSING ON LARGE CLUSTERS", 《COMMUNICATION OF TEH ACM》, vol. 51, no. 1, 31 January 2008 (2008-01-31) *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077652A (zh) * 2014-06-20 2014-10-01 纵横壹旅游科技(成都)有限公司 一种基于旅游相关数据的数据中心管理方法及系统
CN104317859A (zh) * 2014-10-15 2015-01-28 西安诺瓦电子科技有限公司 Led显示屏智能分类系统及方法
CN104317859B (zh) * 2014-10-15 2017-12-05 西安诺瓦电子科技有限公司 Led显示屏智能分类系统及方法
WO2016197852A1 (zh) * 2015-06-09 2016-12-15 阿里巴巴集团控股有限公司 一种数据处理方法和设备
CN107341236A (zh) * 2017-07-04 2017-11-10 合肥市乐腾科技咨询有限公司 一种数据分类处理系统
CN108549353A (zh) * 2018-05-25 2018-09-18 南京邮电大学 智慧工厂监控方法及系统、可读存储介质、终端

Similar Documents

Publication Publication Date Title
CN102722482A (zh) 数据分类系统及方法
US8396828B2 (en) Providing lightweight multidimensional online data storage for web service usage reporting
CN107515878B (zh) 一种数据索引的管理方法及装置
CN101043421B (zh) 一种基于内存的ip地址最长匹配快速查找的方法
CN104424229A (zh) 一种多维度拆分的计算方法及系统
CN107562743B (zh) 数据存储方法和装置、数据查找请求的处理方法和装置
CN105138647A (zh) 一种基于Simhash算法的旅游网络社区划分方法
CN101043346A (zh) 一种为联系人添加标签的方法及系统
CN103379138A (zh) 实现负载均衡的方法及系统和灰度发布的方法及装置
CN103729471A (zh) 数据库查询方法和装置
CN104951544A (zh) 用户数据处理方法、用户数据的提供方法和系统
CN109669980B (zh) 数据跨库访问方法及装置
CN103986783A (zh) 云计算系统
CN104462430A (zh) 关系型数据库的数据处理方法及装置
CN104268298A (zh) 一种创建数据库索引及其查询的方法
CN103605664A (zh) 满足不同时间粒度的海量动态数据的快速查询方法
US20090327339A1 (en) Partition templates for multidimensional databases
CN105912679A (zh) 一种数据查询的方法和装置
CN101848248A (zh) 一种规则查找方法和装置
CN107644017A (zh) 日志文件的查询方法及装置
CN104243565A (zh) 获取配置数据的方法和装置
CN107562762A (zh) 数据索引构建方法及装置
CN104253754A (zh) 一种acl快速匹配的方法和设备
CN107844536B (zh) 应用程序选择的方法、装置和系统
CN111400301A (zh) 一种数据查询方法、装置及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121010