CN108063684A - 一种电信接入网数据的处理方法和处理系统 - Google Patents

一种电信接入网数据的处理方法和处理系统 Download PDF

Info

Publication number
CN108063684A
CN108063684A CN201711161340.2A CN201711161340A CN108063684A CN 108063684 A CN108063684 A CN 108063684A CN 201711161340 A CN201711161340 A CN 201711161340A CN 108063684 A CN108063684 A CN 108063684A
Authority
CN
China
Prior art keywords
equipment
tree
daily record
correspondence
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201711161340.2A
Other languages
English (en)
Inventor
陈治宇
毕千筠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fiberhome Telecommunication Technologies Co Ltd
Original Assignee
Fiberhome Telecommunication Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fiberhome Telecommunication Technologies Co Ltd filed Critical Fiberhome Telecommunication Technologies Co Ltd
Priority to CN201711161340.2A priority Critical patent/CN108063684A/zh
Publication of CN108063684A publication Critical patent/CN108063684A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/02—Standardisation; Integration
    • H04L41/024—Standardisation; Integration using relational databases for representation of network management data, e.g. managing via structured query language [SQL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/27—Arrangements for networking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/27—Arrangements for networking
    • H04B10/272—Star-type networks or tree-type networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Electromagnetism (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明适用于数据处理领域，提供了一种电信接入网数据的处理方法和处理系统，所述处理方法包括：获取待处理数据中设备上下级的对应关系以及设备的ID；根据所述对应关系以树状结构将所述ID存储到日志中。本发明实施例，获取待处理数据中设备上下级的对应关系以及设备的ID，根据对应关系以树状结构将ID存储到日志中，使得在后续查询数据的过程中，设备的信息可以通过树状结构快速查询，并且设备的上下级关系通过轻量化的ID实现，减少了查询时的搜索量，提升了用户的使用体验，加快了处理速度。

Description

一种电信接入网数据的处理方法和处理系统
技术领域
本发明属于数据处理领域，尤其涉及一种电信接入网数据的处理方法和处理系统。
背景技术
随着互联网技术的不断进步与更新，网络已经深入到人们生活中的每一个角落。然而随着互联网技术的进步和更新，信息量也呈几何级的增加，对于现有技术的电信网管系统，处理海量的信息数据变得非常麻烦和困难。
发明内容
本发明实施例的目的在于提供一种电信接入网数据的处理方法和处理系统，以解决现有技术处理大量信息数据困难的问题。
本发明实施例是这样实现的，一种电信接入网数据的处理方法，所述处理方法包括：
获取待处理数据中设备上下级的对应关系以及设备的ID；
根据所述对应关系以树状结构将所述ID存储到日志中。
本发明实施例的另一目的在于提供一种电信接入网数据的处理系统，所述处理系统包括：
获取单元，用于获取待处理数据中设备上下级的对应关系以及设备的ID；
存储单元，用于根据所述对应关系以树状结构将所述ID存储到日志中。
本发明实施例，获取待处理数据中设备上下级的对应关系以及设备的ID，根据对应关系以树状结构将ID存储到日志中，使得在后续查询数据的过程中，设备的信息可以通过树状结构快速查询，并且设备的上下级关系通过轻量化的ID实现，减少了查询时的搜索量，提升了用户的使用体验，加快了处理速度。
附图说明
图1为本发明一示例性实施例示出的一种电信接入网数据的处理方法的流程图；
图2为本发明一示例性实施例示出的一种电信接入网数据的处理系统的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
如图1所示为本发明一示例性实施例示出的一种电信接入网数据的处理方法的流程图，所述处理方法包括以下步骤：
步骤S101，获取待处理数据中设备上下级的对应关系以及设备的ID。
在本发明实施例中，网络中的设备通常都有其对应的上下级设备，即：接收上级设备发送的数据、向下级设备发送数据，光网络技术中的设备通常是以下的对应关系：OLT(Optical Line Terminal，光线路终端)→线卡→PON口→ONU(Optical NetworkUnit，光网络单元)，即一个OLT对应多个线卡，一个线卡对应多个PON口，一个PON口对应多个ONU。处理设备首先需要获取的即是带处理数据中所有设备上下级的对应关系，同时获取所有设备的ID。
步骤S102，根据所述对应关系以树状结构将所述ID存储到日志中。
在本发明实施例中，树状结构是一种直观的反映数据上下级关系的结构，通过树状结构可以清晰的了解一个节点的上下级关系，同时存储的对象是数据的ID，这样可以极大的减少存储量。能够只根据设备ID的结构就可以快速定位到对应的级别，能够快速知道设备的类型和上下级结构，特别方便查找指定ID对象的下级对象，这样的场景也是接入网络中最常出现的场景。将该树状结构缓存到日志中，能方便快速检索到对象，同时有进程负责更新该结构，而树状结构对于局部更新也有很好的支持。
需要指出的是，树状结构可以根据实际使用的需要进行设置，本发明对树状结构不进行限定。优选的，所述树状结构为基于BSON的树状结构。
需要指出的是，日志的类型同样可以根据实际使用的需要进行选择，本发明对日志的类型不作限定。优选的，所述日志为Redis日志。
所述ID以行式数据离散存储在日志中。
本发明实施例，获取待处理数据中设备上下级的对应关系以及设备的ID，根据对应关系以树状结构将ID存储到日志中，使得在后续查询数据的过程中，设备的信息可以通过树状结构快速查询，并且设备的上下级关系通过轻量化的ID实现，减少了查询时的搜索量，提升了用户的使用体验，加快了处理速度。
作为本发明的一个可选实施例，在所述根据所述对应关系以树状结构将所述ID存储到日志中之后，所述处理方法还包括：
获取常用OLT的端口和常用ONU的字段，并将所述常用OLT的端口和常用ONU的字段另外存储到所述日志中。
在本发明实施例中，常用OLT和常用ONU在日志中被查询的机会较多，为了提高查询常用OLT和常用ONU的速度，可以在日志另行存储常用OLT的端口和常用ONU的字段，当用户需要查询时，可以快速的查询到常用OLT和常用ONU。
举例说明：
对于上述的处理方法，其在实际操作的流程可以如下：
S1：在Intellij IDEA16(java开发工具)中新建Maven工程，在pom.xml文件中添加Spring Framework、Spring Data Mongo、MongoDB Driver和Redis链接的Jar文件的依赖。
S2：配置Mongo数据库与工程的关联，Spring Data Mongo提供了对MongoDB良好的封装。因此，首先创建Mongo数据库的配置文件，包含IP地址、端口号、用户名、密码、MongoTempalte Bean类名和其他数据库可选参数；其次:将Mongo配置文件引入到Spring容器上下文初始化容器中。
S3：定义实体，设备基础信息定义扁平的实体结构；电信网络设备的树状结构定义树形的实体类，仅存储基础信息的ID；设备运行数据的不同维度来定义树状和扁平的实体类。其中，实体类需要与数据库中Collection名对应，可以使用@Document注解方式将实体类与Collection名对应。
S4：提供数据库访问接口。Spring Data Mongo API中已经提供了基础的CURD接口，可以根据业务需要封装批量操作、聚合统计函数的公共接口，提供的API要尽量减少连接数据库的次数，尽量利用较高性能的操作符，尽量利用索引字段，例如数据库自带的主键_id。
S5：建立合理的索引。结合业务需要，针对查询次数较多的key建立索引，来提升查询响应速度。
S6：添加Redis配置文件，配置Redis服务器的IP、Port和其它可选参数。
S7：封装连接、操作Redis缓存API，可以用来缓存频繁使用的信息，进而减少数据库的访问压力。例如，网络设备的结构信息。
S8：实时更新Redis缓存信息，保证缓存信息的实时性。例如，更新了网络设备，则需要同步更新网络设备结构信息。
S9：数据存储备份。采用Replica Set方式构建MongoDB集群服务，在这种部署方式中，需要配置1个主节点、1个或多个备节点和1个仲裁节点。
如图2所示为本发明一示例性实施例示出的一种电信接入网数据的处理系统的结构图，所述处理系统包括：
获取单元201，用于获取待处理数据中设备上下级的对应关系以及设备的ID。
在本发明实施例中，网络中的设备通常都有其对应的上下级设备，即：接收上级设备发送的数据、向下级设备发送数据，光网络技术中的设备通常是以下的对应关系：OLT(Optical Line Terminal，光线路终端)→线卡→PON口→ONU(Optical NetworkUnit，光网络单元)，即一个OLT对应多个线卡，一个线卡对应多个PON口，一个PON口对应多个ONU。处理设备首先需要获取的即是带处理数据中所有设备上下级的对应关系，同时获取所有设备的ID。
存储单元202，用于根据所述对应关系以树状结构将所述ID存储到日志中。
在本发明实施例中，树状结构是一种直观的反映数据上下级关系的结构，通过树状结构可以清晰的了解一个节点的上下级关系，同时存储的对象是数据的ID，这样可以极大的减少存储量。能够只根据设备ID的结构就可以快速定位到对应的级别，能够快速知道设备的类型和上下级结构，特别方便查找指定ID对象的下级对象，这样的场景也是接入网络中最常出现的场景。将该树状结构缓存到日志中，能方便快速检索到对象，同时有进程负责更新该结构，而树状结构对于局部更新也有很好的支持。
需要指出的是，树状结构可以根据实际使用的需要进行设置，本发明对树状结构不进行限定。优选的，所述树状结构为基于BSON的树状结构。
需要指出的是，日志的类型同样可以根据实际使用的需要进行选择，本发明对日志的类型不作限定。优选的，所述日志为Redis日志。
所述ID以行式数据离散存储在日志中。
本发明实施例，获取待处理数据中设备上下级的对应关系以及设备的ID，根据对应关系以树状结构将ID存储到日志中，使得在后续查询数据的过程中，设备的信息可以通过树状结构快速查询，并且设备的上下级关系通过轻量化的ID实现，减少了查询时的搜索量，提升了用户的使用体验，加快了处理速度。。
作为本发明的一个可选实施例，所述处理系统还包括：
另存储单元，用于获取常用OLT的端口和常用ONU的字段，并将所述常用OLT的端口和常用ONU的字段另外存储到所述日志中。
在本发明实施例中，常用OLT和常用ONU在日志中被查询的机会较多，为了提高查询常用OLT和常用ONU的速度，可以在日志另行存储常用OLT的端口和常用ONU的字段，当用户需要查询时，可以快速的查询到常用OLT和常用ONU。
本领域普通技术人员可以理解为上述实施例所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
本领域普通技术人员还可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以在存储于一计算机可读取存储介质中，所述的存储介质，包括ROM/RAM、磁盘、光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种电信接入网数据的处理方法，其特征在于，所述处理方法包括：
获取待处理数据中设备上下级的对应关系以及设备的ID；
根据所述对应关系以树状结构将所述ID存储到日志中。
2.如权利要求1所述的处理方法，其特征在于，在所述根据所述对应关系以树状结构将所述ID存储到日志中之后，所述处理方法还包括：
获取常用OLT的端口和常用ONU的字段，并将所述常用OLT的端口和常用ONU的字段另外存储到所述日志中。
3.如权利要求1～2任一项所述的处理方法，其特征在于，所述树状结构为基于BSON的树状结构。
4.如权利要求1～2任一项所述的处理方法，其特征在于，所述日志为Redis日志。
5.如权利要求1～2任一项所述的处理方法，其特征在于，所述ID以行式数据离散存储在日志中。
6.一种电信接入网数据的处理系统，其特征在于，所述处理系统包括：
获取单元，用于获取待处理数据中设备上下级的对应关系以及设备的ID；
存储单元，用于根据所述对应关系以树状结构将所述ID存储到日志中。
7.如权利要求6所述的处理系统，其特征在于，所述处理系统还包括：
另存储单元，用于获取常用OLT的端口和常用ONU的字段，并将所述常用OLT的端口和常用ONU的字段另外存储到所述日志中。
8.如权利要求6～7任一项所述的处理系统，其特征在于，所述树状结构为基于BSON的树状结构。
9.如权利要求6～7任一项所述的处理系统，其特征在于，所述日志为Redis日志。
10.如权利要求6～7任一项所述的处理系统，其特征在于，所述ID以行式数据离散存储在日志中。
CN201711161340.2A 2017-11-15 2017-11-15 一种电信接入网数据的处理方法和处理系统 Withdrawn CN108063684A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711161340.2A CN108063684A (zh) 2017-11-15 2017-11-15 一种电信接入网数据的处理方法和处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711161340.2A CN108063684A (zh) 2017-11-15 2017-11-15 一种电信接入网数据的处理方法和处理系统

Publications (1)

Publication Number Publication Date
CN108063684A true CN108063684A (zh) 2018-05-22

Family

ID=62135644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711161340.2A Withdrawn CN108063684A (zh) 2017-11-15 2017-11-15 一种电信接入网数据的处理方法和处理系统

Country Status (1)

Country Link
CN (1) CN108063684A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062682A (zh) * 2019-11-19 2020-04-24 泰康保险集团股份有限公司 一种工单处理方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101655871A (zh) * 2009-09-25 2010-02-24 金蝶软件（中国）有限公司 一种数据存储、查询方法和装置
CN103580882A (zh) * 2012-07-18 2014-02-12 上海斐讯数据通信技术有限公司 光节点管理实体的操作方法和gpon系统
CN103605797A (zh) * 2013-12-05 2014-02-26 用友软件股份有限公司 数据存储、查询装置和数据存储、查询方法
CN107294745A (zh) * 2016-03-30 2017-10-24 中国移动通信集团四川有限公司 网络拓扑自动发现方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101655871A (zh) * 2009-09-25 2010-02-24 金蝶软件（中国）有限公司 一种数据存储、查询方法和装置
CN103580882A (zh) * 2012-07-18 2014-02-12 上海斐讯数据通信技术有限公司 光节点管理实体的操作方法和gpon系统
CN103605797A (zh) * 2013-12-05 2014-02-26 用友软件股份有限公司 数据存储、查询装置和数据存储、查询方法
CN107294745A (zh) * 2016-03-30 2017-10-24 中国移动通信集团四川有限公司 网络拓扑自动发现方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062682A (zh) * 2019-11-19 2020-04-24 泰康保险集团股份有限公司 一种工单处理方法和装置
CN111062682B (zh) * 2019-11-19 2023-11-07 泰康保险集团股份有限公司 一种工单处理方法和装置

Similar Documents

Publication Publication Date Title
CN105897946B (zh) 一种访问地址的获取方法及系统
US7849069B2 (en) Method and system for federated resource discovery service in distributed systems
US11277498B2 (en) Method, apparatus and system for processing data
CN104067216B (zh) 用于实施可扩展数据存储服务的系统和方法
EP2050001B1 (en) System and apparatus for optimally trading off the replication overhead and consistency level in distributed applications
US7487191B2 (en) Method and system for model-based replication of data
CN109684282A (zh) 一种构建元数据缓存的方法及装置
CN103605698A (zh) 一种用于分布异构数据资源整合的云数据库系统
CN101442558B (zh) 一种为p2sp网络提供索引服务的方法和系统
CN102480397A (zh) 访问互联网页面的方法及设备
CA2501718A1 (en) Service discovery and publication
CN104346345B (zh) 数据的存储方法及装置
CN107924408A (zh) 在文件系统中搜索元数据和标签的异构索引的系统和方法
CN103957282B (zh) 一种域内终端用户域名解析加速系统及其方法
CN107888666A (zh) 一种跨地域数据存储系统以及数据同步方法和装置
CN105760380A (zh) 数据库查询方法、装置及系统
CN110287150A (zh) 一种大规模存储系统元数据分布式管理方法与系统
CN104205730B (zh) 网元数据访问方法、虚拟网元、网络管理服务器及网络管理系统
WO2017000592A1 (zh) 数据处理方法、装置及系统
CN108063684A (zh) 一种电信接入网数据的处理方法和处理系统
KR20090003057A (ko) 메타데이터 관리 시스템 및 메타데이터 관리 방법
CN103825922B (zh) 一种数据更新方法及web服务器
CN108595616A (zh) 一种面向分布式文件系统的统一命名空间管理的方法
CN110300158A (zh) 基于ad域映射访问nas的方法和系统
CN113656438B (zh) 数据树的数据查询方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20180522

WW01 Invention patent application withdrawn after publication