CN101039212B - 一种数据快速入库方法 - Google Patents

一种数据快速入库方法 Download PDF

Info

Publication number
CN101039212B
CN101039212B CN2006100598256A CN200610059825A CN101039212B CN 101039212 B CN101039212 B CN 101039212B CN 2006100598256 A CN2006100598256 A CN 2006100598256A CN 200610059825 A CN200610059825 A CN 200610059825A CN 101039212 B CN101039212 B CN 101039212B
Authority
CN
China
Prior art keywords
data
data file
packet
downstream site
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2006100598256A
Other languages
English (en)
Other versions
CN101039212A (zh
Inventor
黄远文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yu Yingchun
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN2006100598256A priority Critical patent/CN101039212B/zh
Publication of CN101039212A publication Critical patent/CN101039212A/zh
Application granted granted Critical
Publication of CN101039212B publication Critical patent/CN101039212B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据快速入库方法。下级节点收到数据包,将数据包处理成数据文件形式并保存,并将数据文件路径保存至下级节点中的数据队列中;下级节点中的数据处理线程根据下级节点中数据队列中保存的数据文件路径,采用数据库批处理技术将数据文件批量导入下级节点中的数据库中;下级节点将下级节点需要上报的数据文件压缩成数据压缩包,并上传至上级节点;上级节点收到数据压缩包后将数据压缩包进行解压缩,将解压缩后的数据文件进行保存,并将数据文件路径保存至上级节点中的数据队列中;上级节点中的数据处理线程根据上级节点中数据队列中保存的数据文件路径,采用数据库批处理技术将数据文件批量导入上级节点中的数据库中。

Description

一种数据快速入库方法
技术领域
本发明涉及网络管理技术,具体地说,是涉及在复杂的多层网络管理系统中,对大量、异地、分散的节点数据进行处理的方法。
背景技术
随着科学技术的发展,人们生活水平的提高,电信运营商的业务量越来越大。相应地,业务数据量越来越大;随着集中网管的地位、作用的提升,集中网管的需求越来越多、细致,相应地要求更多的原始数据,以此来分析、预测网管系统的性能。
由于集中网管和各节点存在地域上的差异,各节点之间也存在地域上的差异;同时各节点的业务不断增大,节点也不断增多;各节点不断产生新的数据,这就要求在单位时间内要将这些大量的、分散的、异地数据快速录入省级网管的数据库中。
在现行技术中,业界采用共用数据库,没有大量、异地、分散数据转移的需求。在实际情况中,输送数据时占用较大的网络带宽,同时单位时间内处理的数据量有限,在单位时间内不能满足数据量越来越大的需求;另一方面,各种数据库均有大数据量入库成熟技术,但前提是,这些大量数据必须在本地,且已准备好的。
因此,如何提供一种对大量、异地、分散数据的处理方法,成为亟待解决的问题。
发明内容
本发明所要解决的技术问题是提供一种数据快速入库方法,来实现在单位时间内将分散在各异地节点的大量数据快速入库,满足不断扩大的业务需求和集中管理的需求。
为解决上述技术问题,本发明提供方案如下:
一种数据快速入库方法,用于多层网管系统中各级后台计算机系统间的交互,及后台网管系统内部的交互,包括如下步骤:
下级节点收到数据包,将数据包处理成数据文件形式并保存,并将数据文件路径保存至下级节点中的数据队列中;
下级节点中的数据处理线程根据下级节点中数据队列中保存的数据文件路径,采用数据库批处理技术将数据文件批量导入下级节点中的数据库中;
下级节点将下级节点需要上报的数据文件压缩成数据压缩包,并上传至上级节点;
上级节点收到数据压缩包后将数据压缩包进行解压缩,将解压缩后的数据文件进行保存,并将数据文件路径保存至上级节点中的数据队列中;
上级节点中的数据处理线程根据上级节点中数据队列中保存的数据文件路径,采用数据库批处理技术将数据文件批量导入上级节点中的数据库中。
本发明所述的方法,通过采用数据库批处理技术处理数据,提高了数据处理效率;通过采用压缩文件进行数据传输,减小了网络负载压力;通过在下级采用存储过程入库的容错处理,来去除重复数据,保证了上传数据的唯一性,减少重复数据对上级网管的冲击;本发明大大提高了上级节点在单位时间内处理数据的能力,极大限度的满足了扩张、集中管理的需要,减少了对网络带宽的压力。
本发明所要解决的技术问题、技术方案要点及有益效果,将结合实施例,参照附图作进一步的说明。
附图说明
图1为本发明实施例所述多级网络混合组网结构示意图;
图2为本发明实施例所述多级网管系统数据流向示意图;
图3为本发明实施例所述前台数据上传到后台OMM主题示意图;
图4为本发明实施例所述下级节点中保存数据文件及数据文件路径保存示意图;
图5为本发明实施例所述下级后台数据批处理入库流程图;
图6为本发明实施例所述下级后台数据存储过程入库流程图;
图7为本发明实施例所述下级后台数据主报处理流程图;
图8为本发明实施例所述上级后台数据主报处理流程图;
图9为本发明实施例所述上级后台数据批处理入库流程图。
具体实施方式
本发明所述方法,用于多层网管系统(单级、二级、三级网管系统等)中各级后台计算机系统间的交互,及后台网管系统内部的交互。
如图1所示,本发明所述方法可用于由操作维护模块(OMM)、本地操作维护中心(LOMC)及省级操作维护中心(POMC)组成的混合网络中,来实现对大量、异地、分散数据的快速入库处理。
参照图2,来对本发明所述方法作进一步说明。
在实际组网中,OMM的数据可以上报到LOMC的数据库中,也可以直接上报到POMC的数据库中。
首先,操作维护模块中的网元通信功能子模块(EMF)接收前台定期构造并上传的数据包,将数据包解析、转换成数据对象并发送到一个主题(J2EE体系中的Jboss主题)上;
然后,操作维护模块中的公共应用功能子模块(CAF)采用监听主题的方法从主题上接收数据对象,并将数据文件路径保存至操作维护模块中的数据队列中;此处,采用监听主题的方式接收数据,无论网元通信功能子模块何时发送数据对象至主题,公共应用功能子模块都将能及时从主题上接收数据对象,因此可以支持前台多次数据上报;操作维护模块中的操作维护模块数据处理线程根据操作维护模块中数据队列中保存的数据文件路径,采用数据库批处理技术将数据文件批量导入操作维护模块数据库中;
操作维护模块根据操作维护模块中的主报定时器计时到,将需要上报的数据文件进行压缩,并向LOMC或POMC上传数据压缩包;此处,OMM主报定时器是根据前台上报数据包的时间点及上报数据包的持续时间来设定定时时间的;OMM上的数据如果是上报到LOMC中的数据库中,则当本地操作维护中心中的主报定时器到,对从操作维护模块收到的数据压缩包进行解压缩处理,根据不同的数据文件对象将解压缩后的数据文件进行合并,根据数据文件的兼容性对数据文件作兼容处理并保存(由于LOMC一般需要处理多个OMM的数据,各OMM可能是不同版本,因此需要作兼容处理),并将数据文件路径保存至本地操作维护中心中的数据队列中;此处,LOMC主报定时器是根据操作维护模块中主报定时器时间、操作维护模块的压缩数据时间和上传数据包时间来设定定时时间的;
然后,LOMC中的LOMC数据处理线程根据LOMC中数据队列中保存的数据文件路径,采用数据库批处理技术将数据文件批量导入LOMC数据库中。
OMM上的数据如果是直接上报到POMC中的数据库中,则当省级操作维护中心中的主报定时器到,对从操作维护模块收到的数据压缩包进行解压缩处理,根据不同的数据文件对象将解压缩后的数据文件进行合并,根据数据文件的兼容性对数据文件作兼容处理后并保存,并将数据文件路径保存至省级操作维护中心中的数据队列中;此处,POMC主报定时器是根据操作维护模块中主报定时器时间、操作维护模块的压缩数据时间和上传数据包时间来设定定时时间的;
然后,POMC中的POMC数据处理线程根据POMC中数据队列中保存的数据文件路径,采用数据库批处理技术将数据文件批量导入POMC数据库中。
另外,如果LOMC本身管理前台网元,即LOMC兼有OMM功能,LOMC本身数据(非下级其它OMM上报的数据)直接上报到POMC数据库中,图2中未示出。这里,需要说明的是,图2中所示出的情况,是LOMC没有接前台,也就是说LOMC本身没有数据,LOMC的数据是来自下级OMM;下级OMM的数据除了可以上报LOMC,还可以上报POMC;对于上报给POMC的情况,没必要通过LOMC再转发一次,因为那样会导致效率降低。这里,LOMC接收前台数据过程和前面OMM处理过程一样,这里不再赘述,看一下LOMC将数据上报到POMC数据库过程。当LOMC的定时器计时到后,将需要上报的数据文件进行压缩,并向POMC上传数据压缩包;此处LOMC定时器示根据前台上报数据包的时间点及上报数据包的持续时间来设定定时时间的;POMC的数据处理流程如前所述。
参照图3,为本发明实施例所述前台数据上传到后台OMM主题示意图。
前后台都是通过网元通信功能子模块进行消息交互的,前台定时构造数据包,以消息的形式发送给EMF子模块,EMF子模块对前台数据包进行处理,解析成后台可以识别的数据对象,再以消息的形式发送到一个主题上。
参照图4,为本发明实施例所述下级节点中保存数据文件及数据文件路径保存示意图。
下级公共应用功能子模块(CAF)从主题上接收网元通信功能子模块(EMF)发送的消息,按照一定的规则进行解析,把消息中的数据对象保存为数据文件;此数据文件符合数据库批处理要求;同时将数据文件的路径添加到OMM队列尾。
由于数据消息在内存中,占用内存,而文件保存在硬盘上,所以保存为文件其实是缓存,减小对内存的压力。
参照图5,为本发明实施例所述下级后台数据批处理入库流程图。
数据批处理入库是一个独立的数据处理线程,一直在运行;当数据处理线程队列有待处理的数据文件时,数据处理线程就从数据文件路径队列头获取数据文件路径,调用数据库批处理工具进行数据批处理入库,充分利用数据库批处理的优势。
如果批处理成功,则判断对象是否需要上报:如果需要上报,则保留数据文件;如果不需要上报,则删除该数据文件。
如果批处理上报不成功,则调用存储过程入库,得到存储过程返回的对象数据信息:
如果还有数据(不完全是重复数据),则判断对象是否需要上报:如果需要上报,则更新数据文件;如果不需要上报,则删除该数据文件。
如果没有数据(完全是重复数据),则删除该数据文件。
参照图6,为本发明实施例所述下级后台数据存储过程入库流程图。
在批处理失败后,调用存储过程入库;批处理入库是批量处理数据,而存储过程是逐条处理数据。
逐条处理数据记录,判断数据记录是否和数据库记录重复:如果重复,则将该记录丢弃;否则,记录该数据记录。最后,更新此次数据记录。
参照图7,为本发明实施例所述下级后台数据主报处理流程图。
下级处理流程是由主报定时器来控制的,当主报定时器时间到,扫描数据文件存放目录,将数据文件目录压缩为一个文件。
压缩完毕后,查询数据文件需要上报的上级节点相关信息。
根据上报节点信息,分别按节点判断上级节点的链路状态:如果链路状态畅通,则使用FTP进行上传;否则,记录无法上报的节点信息以及数据文件信息,以备链路恢复后继续上传。
参照图8,为本发明实施例所述上级后台数据主报处理流程图。
上级处理流程是由主报定时器来控制的,当主报定时器时间到,扫描下级压缩数据文件存放目录;将下级压缩数据文件进行解压缩,得到数据文件目录及数据文件,然后删除压缩数据文件。
扫描下级数据文件目录,按照对象记录各下级数据文件路径,将同一对象不同的数据文件路径记录下来。
根据记录的对象数据文件路径,将同一个对象的数据文件合并为一个文件;根据版本兼容的要求,合并过程中可以根据数据的兼容信息对数据作兼容处理,使得上级可以兼容下级不同版本;
合并的目的是充分利用数据库批处理工具的优势,减少数据入库的次数,提高单位时间内数据入库的能力。
当一个对象的数据文件合并完毕后,将合并后的数据文件路径记录在数据文件队列中,供批处理流程使用。
参照图9,为本发明实施例所述上级后台数据批处理入库流程图。
数据批处理入库是一个独立的数据处理线程,一直在运行;当数据处理线程队列有待处理的数据文件时,数据处理线程就从数据文件路径队列头获取数据文件路径,调用数据库批处理工具进行数据批处理入库,充分利用数据库批处理的优势。
本发明所述的一种数据快速入库方法,并不仅仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明之领域,对于熟悉本领域的人员而言可容易地实现另外的优点和进行修改,因此在不背离权利要求及等同范围所限定的一般概念的精神和范围的情况下,本发明并不限于特定的细节、代表性的设备和这里示出与描述的图示示例。

Claims (16)

1.一种数据快速入库方法,用于多层网管系统中各级后台计算机系统间的交互,及后台网管系统内部的交互,其特征在于包括如下步骤:
(1)下级节点收到数据包,将数据包处理成数据文件形式并保存,并将数据文件路径保存至下级节点中的数据队列中;
(2)下级节点中的数据处理线程根据下级节点中数据队列中保存的数据文件路径,采用数据库批处理技术将数据文件批量导入下级节点中的数据库中;
(3)下级节点将下级节点需要上报的数据文件压缩成数据压缩包,并上传至上级节点;
(4)上级节点收到数据压缩包后将数据压缩包进行解压缩,将解压缩后的数据文件进行保存,并将数据文件路径保存至上级节点中的数据队列中;
(5)上级节点中的数据处理线程根据上级节点中数据队列中保存的数据文件路径,采用数据库批处理技术将数据文件批量导入上级节点中的数据库中。
2.根据权利要求1所述的方法,其特征在于:所述下级节点是操作维护模块。
3.根据权利要求1所述的方法,其特征在于:所述下级节点是本地操作维护中心。
4.根据权利要求2或3所述的方法,其特征在于:在下级节点收到数据包,将数据包处理成数据文件形式并保存的所述步骤(1)中,操作维护模块中的网元通信功能子模块接收到前台上报的数据包,将接收到的数据包解析成数据对象并发送到主题上,操作维护模块中的公共应用功能子模块从主题上接收数据对象并保存为数据文件。
5.根据权利要求4所述的方法,其特征在于:所述操作维护模块中的网元通信功能子模块接收到前台上报的数据包,是收到前台定期构造并发送的数据包。
6.根据权利要求4所述的方法,其特征在于:所述操作维护模块中的公共应用功能子模块从主题上接收数据文件并保存,是公共应用功能子模块以监听主题的方式接收数据文件并保存的。
7.根据权利要求4所述的方法,其特征在于:步骤(3)中所述下级节点将下级节点需要上报的数据文件压缩成数据压缩包,并上传至上级节点,是下级节点根据下级节点中的主报定时器计时到,将需要上报的数据文件进行压缩,并根据所要上报的上级节点将数据压缩包上传。
8.根据权利要求7所述的方法,其特征在于:所述下级节点中的主报定时器是根据前台上报数据包的时间点及上报数据包的持续时间来设定定时时间的。
9.根据权利要求2所述的方法,其特征在于:所述上级节点是本地操作维护中心或省级操作维护中心。
10.根据权利要求3所述的方法,其特征在于:所述上级节点是省级操作维护中心。
11.根据权利要求9或10所述的方法,其特征在于:步骤(4)中所述上级节点收到数据压缩包后将数据压缩包进行解压缩,是上级节点中的主报定时器到,上级节点将收到的数据压缩包进行解压缩。
12.根据权利要求11所述的方法,其特征在于:所述上级节点中的主报定时器是根据下级节点主报定时器时间、下级节点压缩数据时间和上传数据包时间来设定定时时间的。
13.根据权利要求9或10所述的方法,其特征在于:步骤(4)中所述上级节点将解压缩后的数据文件进行保存,是根据不同的数据文件对象将解压缩后的数据文件进行合并并保存。
14.根据权利要求1所述的方法,其特征在于:所述将数据文件批量导入下级节点或上级节点数据库中,如果导入数据库失败,将记录异常文件,再次导入数据库时,采用存储过程导入数据库。
15.根据权利要求1所述的方法,其特征在于:所述上传数据压缩包,如果失败,将记录异常信息。
16.根据权利要求1所述的方法,其特征在于:步骤(4)中所述将解压缩后的数据文件进行保存,是根据数据文件的兼容性对数据文件作兼容处理后并保存的。
CN2006100598256A 2006-03-15 2006-03-15 一种数据快速入库方法 Expired - Fee Related CN101039212B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2006100598256A CN101039212B (zh) 2006-03-15 2006-03-15 一种数据快速入库方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2006100598256A CN101039212B (zh) 2006-03-15 2006-03-15 一种数据快速入库方法

Publications (2)

Publication Number Publication Date
CN101039212A CN101039212A (zh) 2007-09-19
CN101039212B true CN101039212B (zh) 2010-11-03

Family

ID=38889869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006100598256A Expired - Fee Related CN101039212B (zh) 2006-03-15 2006-03-15 一种数据快速入库方法

Country Status (1)

Country Link
CN (1) CN101039212B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106713463A (zh) * 2016-12-27 2017-05-24 浪潮软件集团有限公司 一种高性能的跨网络数据传输及导入的方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101771566A (zh) * 2009-01-04 2010-07-07 华为技术有限公司 网管间性能数据的传输方法、装置及系统
CN101478427B (zh) * 2009-01-23 2011-08-31 武汉烽火网络有限责任公司 一种加速pbt隧道故障快速倒换的方法
CN101610486B (zh) * 2009-07-14 2012-10-10 中兴通讯股份有限公司 一种短消息业务数据处理方法及系统
CN101996067B (zh) * 2009-08-19 2014-07-16 阿里巴巴集团控股有限公司 一种数据导出的方法和装置
CN101719934B (zh) * 2009-12-11 2014-02-12 杭州华三通信技术有限公司 一种分布式数据统一汇总报表展示的方法、系统及装置
CN102377580B (zh) * 2010-08-06 2015-08-12 大唐移动通信设备有限公司 性能数据的上传方法和设备
CN102799582B (zh) * 2011-05-23 2015-06-03 中兴通讯股份有限公司 提高网管自动发现业务效率的方法及装置
CN103049550A (zh) * 2012-12-27 2013-04-17 北京思特奇信息技术股份有限公司 一种公用文件导入数据库的方法及系统
CN106790464A (zh) * 2016-12-09 2017-05-31 光科技股份有限公司 一种基于智能网荷互动终端的数据交换网络
CN106789203A (zh) * 2016-12-09 2017-05-31 光科技股份有限公司 一种应用于智能网荷互动终端的通讯装置
CN107103092A (zh) * 2017-05-15 2017-08-29 努比亚技术有限公司 数据垃圾的快速清理方法、终端及计算机可读存储介质
CN109525632A (zh) * 2018-09-30 2019-03-26 珠海派诺科技股份有限公司 网关数据上传数据库连接数控制方法、装置、设备及介质
CN111475478A (zh) * 2020-02-28 2020-07-31 国电南瑞科技股份有限公司 一种异构配电自动化系统、省地1+n图形同步方法、省级配电主站及存储介质
CN111694766B (zh) * 2020-06-16 2024-03-08 北京经纬恒润科技股份有限公司 一种can数据采集方法及装置
CN113163346B (zh) * 2021-04-21 2022-04-05 成都锐成芯微科技股份有限公司 广播数据包过滤方法和无线通信系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1317189A (zh) * 1998-07-02 2001-10-10 铁桥网络股份有限公司 网络分组交换系统和方法
CN1404260A (zh) * 2001-08-24 2003-03-19 华为技术有限公司 分布式网管平台的分级管理系统
CN1466313A (zh) * 2002-06-19 2004-01-07 华为技术有限公司 一种网管系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1317189A (zh) * 1998-07-02 2001-10-10 铁桥网络股份有限公司 网络分组交换系统和方法
CN1404260A (zh) * 2001-08-24 2003-03-19 华为技术有限公司 分布式网管平台的分级管理系统
CN1466313A (zh) * 2002-06-19 2004-01-07 华为技术有限公司 一种网管系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CN 1466313 A,全文.

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106713463A (zh) * 2016-12-27 2017-05-24 浪潮软件集团有限公司 一种高性能的跨网络数据传输及导入的方法

Also Published As

Publication number Publication date
CN101039212A (zh) 2007-09-19

Similar Documents

Publication Publication Date Title
CN101039212B (zh) 一种数据快速入库方法
CN102143198B (zh) 消息传送方法、装置和系统
US20080089248A1 (en) Tree-type network system, node device, broadcast system, broadcast method, and the like
CN105025053A (zh) 基于云存储技术的分布式文件的上传方法及其系统
US7366945B2 (en) Method of setting backup of home location register
US8086629B2 (en) Content delivery apparatus, content delivery method, and content delivery program
CN106656799A (zh) 一种基于无线mesh网络的报文转发方法及装置
CN102834814A (zh) 分发系统、分发控制设备和分发控制方法
CN104618961A (zh) 应用于智能电网的单通道tcp/ip头压缩方法及系统
JP2008141361A (ja) データ配信方法、データ配信システム及びノード装置
CN102098170B (zh) 一种数据采集优化方法及系统
CN112073535A (zh) 一种基于位图的数据包分片传输方法
CN110505307B (zh) 一种网间交通流数据的交换方法及系统
CN101695202A (zh) 一种传输大附件的方法及系统
CN102404156B (zh) 一种基于聚合链路的数据传输方法和设备
US20110093524A1 (en) Access log management method
CN103561013A (zh) 流媒体的数据分发系统
CN102843285A (zh) 一种分布式链路聚合方法及实现该方法的节点
CN102630376A (zh) 控制业务的传输的方法、装置和系统
CN102118256B (zh) 一种snmp数据获取方法及设备侧装置
CN104735097A (zh) 信息的收集方法和系统
CN104869056A (zh) 一种基于关系-数据分离的机构-人员数据同步方法
CN103188220B (zh) 消息发送系统、方法及装置、数据维护方法及装置
US20220286498A1 (en) Service request message sending method, distributed database architecture and computer readable storage medium
CN103795810A (zh) 数据分发系统及方法以及该数据分发系统中的中心服务器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20170817

Address after: Xinkai Street South Bureau of civil affairs of Langfang city Hebei District Corelle District 056000 County of Xianghe province No. 1 Building 3 unit 302 room

Patentee after: Yu Yingchun

Address before: 518057 Nanshan District high tech Industrial Park, Guangdong, South Road, science and technology, ZTE building, legal department

Patentee before: ZTE Corporation

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20101103

Termination date: 20180315

CF01 Termination of patent right due to non-payment of annual fee