CN103853826B - 一种分布式性能数据处理方法 - Google Patents

一种分布式性能数据处理方法 Download PDF

Info

Publication number
CN103853826B
CN103853826B CN201410077734.XA CN201410077734A CN103853826B CN 103853826 B CN103853826 B CN 103853826B CN 201410077734 A CN201410077734 A CN 201410077734A CN 103853826 B CN103853826 B CN 103853826B
Authority
CN
China
Prior art keywords
task
distributed
hbase
hadoop
performance data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410077734.XA
Other languages
English (en)
Other versions
CN103853826A (zh
Inventor
晏学义
陈学庆
刘金海
史守斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Communication Information System Co Ltd
Original Assignee
Inspur Tianyuan Communication Information System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Tianyuan Communication Information System Co Ltd filed Critical Inspur Tianyuan Communication Information System Co Ltd
Priority to CN201410077734.XA priority Critical patent/CN103853826B/zh
Publication of CN103853826A publication Critical patent/CN103853826A/zh
Application granted granted Critical
Publication of CN103853826B publication Critical patent/CN103853826B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Multi Processors (AREA)

Abstract

本发明提供一种分布式性能数据处理方法，基于分布式存储的数据计算处理，涉及网络性能大数据的存储计算处理。通过HBASE,HADOOP将性能数据文件做分布式存储与管理,同时使用STORM调度框架将任务派发到多个worker节点上,做并发计算、入库,通过提高并发度缩短整个处理时间，减少对ORACLE的依赖，降低软件成本。

Description

一种分布式性能数据处理方法
技术领域
本发明涉及一种移动通信技术领域, 具体地说是一种分布式性能数据处理方法。
背景技术
在移动通信中，性能管理系统收集分析网络管理系统的运行数据。具备对网管数据进行采集,解析,汇总,入库,提供前台报表查询,模型管理等能力。
但是，性能文件的汇总,入库对于ORACLE的依赖较强,随着数据量的不断增大,ORACLE数据库的处理压力较大,效率问题凸现,同时ORACLE也增大了软件成本。
发明内容
本发明的目的是提供一种分布式性能数据处理方法。
本发明的目的是按以下方式实现的，本发明所要解决的问题是提供一种基于分布式文件系统计算方法使性能数据的汇总计算不在ORACLE中处理,减少对ORACLE数据库的依赖,降低软件成本。
内容包括：
1）使用HADOOP,HBASE开源软件分布式存储性能文件和采用STORM调度框架,并行汇总计算,将汇总计算结果入ORACLE数据库；
2）引入开源的分布式文件系统HADOOP,HBASE软件,通过HBASE将性能数据文件拆分成以大网元实体为单位的小文件存储到HADOOP中；
3）性能数据的汇总计算通过HBASE从HADOOP中取文件,在JAVA程序中进行计算；
4）引入并发处理,storm主节点进行统一调度,把任务分派到不同worker节点进行汇总计算,提升处理效率；
具体步骤如下：
1）从EMS上采集原始的性能数据文件,按照解析规则解析成pif文件；
2）部署PIF2PIA服务,将pif文件按照设备大网元实体拆分成pia文件,并调用HBASE的API接口将pia文件保存到HADOOP文件系统中,并发送原始的pia消息；
3）部署决策中心服务,监控pia消息,以及网元汇总,时间汇总,忙时计算的消息,决策生成网元汇总任务,时间汇总任务,忙时计算任务,以及入库任务；
4）部署调度中心服务,storm的主节点派发任务到各worker 节点进行网元汇总,时间汇总,忙时计算,入库等任务并发执行，worker 节点可配置,根据网络规模配置，同时每个worker 节点将汇总计算的结果文件调用HBASE的接口存入到HAD OOP文件系统中。
本发明的目的有益效果是：
对性能文件按照设备网元进行拆分成小文件,运用HBASE将文件存储在分布式文件系统HADOOP中。运用STORM调度框架进行任务派发,把任务派发给每个worker节点执行,达到并行计算。由于本发明采用了分布式存储,并行汇总计算的方法，提升存取能力,提高汇总计算以及数据入ORACLE数据库的效率。
附图说明
图1是本发明的流程图。
具体实施方式
参照说明书附图对本发明的作以下详细地说明。
本发明的一种分布式性能数据处理方法, 是使用HADOOP,HBASE开源软件分布式存储性能文件和采用STORM调度框架,并行汇总计算,将汇总计算结果入ORACLE数据库；具体步骤如下：
1）引入开源的分布式文件系统HADOOP,HBASE软件,通过HBASE将性能数据文件拆分成以大网元实体为单位的小文件存储到HADOOP中；
2）性能数据的汇总计算通过HBASE从HADOOP中取文件,在JAVA程序中进行计算；
3）引入并发处理,storm主节点进行统一调度,把任务分派到不同worker节点进行汇总计算,提升处理效率；
对性能文件按照设备网元进行拆分成小文件,运用HBASE将文件存储在分布式文件系统HADOOP中，运用STORM调度框架进行任务派发,把任务派发给每个worker节点执行,达到并行计算，具体步骤如下：
1）从EMS上采集原始的性能数据文件,按照解析规则解析成pif文件；
2）部署PIF2PIA服务,将pif文件按照设备大网元实体拆分成pia文件,并调用HBASE的API接口将pia文件保存到HADOOP文件系统中,并发送原始的pia消息；
3）部署决策中心服务,监控pia消息,以及网元汇总,时间汇总,忙时计算的消息,决策生成网元汇总任务,时间汇总任务,忙时计算任务,以及入库任务；
4）部署调度中心服务，storm的主节点派发任务到各worker节点进行网元汇总,时间汇总,忙时计算，入库的任务并发执行，worker 节点可配置，根据网络规模配置。同时每个worker 节点将汇总计算的结果文件调用HBASE的接口存入到HADOOP文件系统中。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。

Claims (3)

1.一种分布式性能数据处理方法,其特征在于包括：
1）使用HADOOP,HBASE开源软件分布式存储性能文件和采用STORM调度框架,并行汇总计算,将汇总计算结果入ORACLE数据库；
2）引入开源的分布式文件系统HADOOP,HBASE软件,通过HBASE将性能数据文件拆分成以大网元实体为单位的小文件存储到HADOOP中；
3）性能数据的汇总计算通过HBASE从HADOOP中取文件,在JAVA程序中进行计算；
4）引入并发处理,storm主节点进行统一调度,把任务分派到不同worker节点进行汇总计算,提升处理效率；
具体步骤如下：
1）从EMS上采集原始的性能数据文件,按照解析规则解析成pif文件；
2）部署PIF2PIA服务,将pif文件按照设备大网元实体拆分成pia文件,并调用HBASE的API接口将pia文件保存到HADOOP文件系统中,并发送原始的pia消息；
3）部署决策中心服务,监控pia消息,以及网元汇总,时间汇总,忙时计算的消息,决策生成网元汇总任务,时间汇总任务,忙时计算任务,以及入库任务；
4）部署调度中心服务,storm的主节点派发任务到各worker节点进行网元汇总,时间汇总,忙时计算,入库的任务并发执行，worker 节点可配置,根据网络规模配置，同时每个worker节点将汇总计算的结果文件调用HBASE的接口存入到HADOOP文件系统中。
2.根据权利要求1所述的一种分布式性能数据处理方法，其特征在于，对性能文件按照设备网元进行拆分成小文件,运用HBASE将文件存储在分布式文件系统HADOOP中。
3.根据权利要求1所述的一种分布式性能数据处理方法，其特征在于，运用STORM调度框架进行任务派发,把任务派发给每个worker 节点执行,达到并行计算。
CN201410077734.XA 2014-03-05 2014-03-05 一种分布式性能数据处理方法 Active CN103853826B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410077734.XA CN103853826B (zh) 2014-03-05 2014-03-05 一种分布式性能数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410077734.XA CN103853826B (zh) 2014-03-05 2014-03-05 一种分布式性能数据处理方法

Publications (2)

Publication Number Publication Date
CN103853826A CN103853826A (zh) 2014-06-11
CN103853826B true CN103853826B (zh) 2018-05-25

Family

ID=50861481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410077734.XA Active CN103853826B (zh) 2014-03-05 2014-03-05 一种分布式性能数据处理方法

Country Status (1)

Country Link
CN (1) CN103853826B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104050261B (zh) * 2014-06-16 2018-01-05 深圳先进技术研究院 基于Storm的可变逻辑的通用数据处理系统及方法
CN104216963A (zh) * 2014-08-22 2014-12-17 南京邮电大学 一种基于HBase的海量网管数据采集和存储方法
CN106411684B (zh) * 2015-07-30 2020-06-16 中兴通讯股份有限公司 消息处理方法及装置
CN106021411B (zh) * 2016-05-13 2019-04-16 大连理工大学 一种具有集群自适应性的Storm任务部署与配置平台
CN106250273B (zh) * 2016-08-01 2019-04-09 浪潮软件集团有限公司 一种基于Hadoop文件系统实现数据异地容灾的方法
CN106371923A (zh) * 2016-08-30 2017-02-01 江苏国泰新点软件有限公司 任务处理方法和装置
CN108090087B (zh) * 2016-11-23 2020-08-21 上海泓智信息科技有限公司 文件处理方法及装置
CN108805593A (zh) * 2017-04-27 2018-11-13 北京京东尚科信息技术有限公司 一种数据处理的方法、系统、电子设备和可读存储介质
CN107894942B (zh) * 2017-12-04 2020-06-02 北京星选科技有限公司 数据表访问量的监控方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101621397A (zh) * 2008-06-30 2010-01-06 华为技术有限公司 一种分布式网管系统及其维护管理方法
CN102624558A (zh) * 2012-03-09 2012-08-01 浪潮通信信息系统有限公司 一种基于云计算技术解决通信行业网管系统性能瓶颈的方法
CN103577425A (zh) * 2012-07-24 2014-02-12 中兴通讯股份有限公司 一种数据处理的方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9842126B2 (en) * 2012-04-20 2017-12-12 Cloudera, Inc. Automatic repair of corrupt HBases

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101621397A (zh) * 2008-06-30 2010-01-06 华为技术有限公司 一种分布式网管系统及其维护管理方法
CN102624558A (zh) * 2012-03-09 2012-08-01 浪潮通信信息系统有限公司 一种基于云计算技术解决通信行业网管系统性能瓶颈的方法
CN103577425A (zh) * 2012-07-24 2014-02-12 中兴通讯股份有限公司 一种数据处理的方法和系统

Also Published As

Publication number Publication date
CN103853826A (zh) 2014-06-11

Similar Documents

Publication Publication Date Title
CN103853826B (zh) 一种分布式性能数据处理方法
Bagaa et al. Service-aware network function placement for efficient traffic handling in carrier cloud
CN104850450B (zh) 一种面向混合云应用的负载均衡方法及系统
US20160373494A1 (en) Data Processing Method in Stream Computing System, Control Node, and Stream Computing System
CN103379184B (zh) 网络业务访问的方法及系统
CN108600355A (zh) 一种雾计算负载均衡调度系统及方法
CN106657099B (zh) 一种Spark数据分析服务发布系统
CN108512672B (zh) 业务编排方法、业务管理方法及装置
CN103777950B (zh) 一种对aos遥测数据解析的网格化方法
CN102307223A (zh) 一种实现应用平台适配的方法和系统
CN110572441B (zh) 基于边缘计算的超大规模dpi数据处理系统及处理方法
CN104320472A (zh) 分布式短信网关架构系统及其设计方法
CN104219298A (zh) 集群系统及其数据备份的方法
Skulysh et al. Managing the process of servicing hybrid telecommunications services. Quality control and interaction procedure of service subsystems
CN105578598B (zh) 一种无线虚拟化中基于吞吐量最大化的资源分配方法
CN105335313B (zh) 一种基础数据的传输方法及装置
Perepelkin et al. Improved adaptive routing algorithm in distributed data centers
CN108833167B (zh) 一种基于边缘计算的通信优化系统及方法
CN102090039B (zh) 执行数据中间处理的方法、数据中间处理设备和信息系统
Huang et al. Service provisioning update scheme for mobile application users in a cloudlet network
CN106850770A (zh) 基于云计算服务的高效传输方法和装置
CN103176850A (zh) 一种基于负载均衡的电力系统网络集群任务分配方法
EP2622499B1 (en) Techniques to support large numbers of subscribers to a real-time event
CN105991750B (zh) 一种业务集群的业务调度方法、设备和业务集群
WO2013189421A2 (zh) 分布式的话单统计方法、装置以及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 250100 Ji'nan high tech Zone, Shandong, No. 1036 wave road

Applicant after: Tianyuan Communication Information System Co., Ltd.

Address before: 250101 Shandong Province, Ji'nan City hi tech Development Zone, Nga Road No. 1036

Applicant before: Langchao Communication Information System Co., Ltd.

GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 250100 S06 tower, 1036, Chao Lu Road, hi tech Zone, Ji'nan, Shandong.

Patentee after: INSPUR COMMUNICATION AND INFORMATION SYSTEM Co.,Ltd.

Address before: No. 1036, Shandong high tech Zone wave road, Ji'nan, Shandong

Patentee before: INSPUR TIANYUAN COMMUNICATION INFORMATION SYSTEM Co.,Ltd.