CN111885439A - 一种光网络综合管理和值勤管理系统 - Google Patents

一种光网络综合管理和值勤管理系统 Download PDF

Info

Publication number
CN111885439A
CN111885439A CN202010723617.1A CN202010723617A CN111885439A CN 111885439 A CN111885439 A CN 111885439A CN 202010723617 A CN202010723617 A CN 202010723617A CN 111885439 A CN111885439 A CN 111885439A
Authority
CN
China
Prior art keywords
data
management
platform
network
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010723617.1A
Other languages
English (en)
Other versions
CN111885439B (zh
Inventor
张峰波
党富良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Zhonglian Runke Information Technology Co ltd
Original Assignee
Xi'an Zhonglian Runke Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Zhonglian Runke Information Technology Co ltd filed Critical Xi'an Zhonglian Runke Information Technology Co ltd
Priority to CN202010723617.1A priority Critical patent/CN111885439B/zh
Publication of CN111885439A publication Critical patent/CN111885439A/zh
Application granted granted Critical
Publication of CN111885439B publication Critical patent/CN111885439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q11/00—Selecting arrangements for multiplex systems
    • H04Q11/0001—Selecting arrangements for multiplex systems using optical switching
    • H04Q11/0062—Network aspects
    • H04Q11/0067—Provisions for optical access or distribution networks, e.g. Gigabit Ethernet Passive Optical Network (GE-PON), ATM-based Passive Optical Network (A-PON), PON-Ring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q11/00—Selecting arrangements for multiplex systems
    • H04Q11/0001—Selecting arrangements for multiplex systems using optical switching
    • H04Q11/0062—Network aspects
    • H04Q2011/0079—Operation or maintenance aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种光网络综合管理和值勤管理系统，包括上层应用层及底层智能网管基础平台，应用层用于支撑网络运营功能，包括：传输专业网络监控维护应用、数据专业网络监控维护应用、移动专业网络监控维护应用、云资源和平台监控维护应用、业务运营支撑应用、客户感知及服务应用、综合分析应用、移动APP应用及智能监控派单；智能网管基础平台用于系统自身维护和管理，采用分布式部署架构，为上层应用层提供服务，包括能力开放平台、数据整合平台、数据采集平台、采集适配平台。本发明的优点是，通过一体化的呈现视图、大数据挖掘分析、综合化的支撑体系，从内到外打造全专业、多层级、高水平、高效率的指挥作战运维平台。

Description

一种光网络综合管理和值勤管理系统
技术领域
本发明属于网络设备管理技术领域，具体涉及一种光网络综合管理和值勤管理系统。
背景技术
随着云计算、大数据、人工综合时代的到来，VR/AR，高清直播、无人驾驶等各类创新应用的大量涌现，使整个网络流量也成爆炸式增长，业务的动态复杂性也使得整个网络复杂度不断攀升，传统依赖用户投诉和设备告警故障的被动运维已无法有效保障客户的业务体验。对网络运营维护最大的挑战是降低OPEX，提升用户体验、提高网络维护效率，整体来看，这些问题的源头都指向了现有的网络管理系统，只有将现有各自独立的网络管理孤岛横向拉通，统一集中管理，通过构建自动化、综合化的以用户体验为中心的网络管理系统才能有效应对。网络的复杂性呈指数级增长，并与现有老旧网络问题并存，传统以设备为中心的手工网络运维模式难以为继，动态的网络资源调度非人力所及，唯有高度的自动化网络管理才是解决之道。
现网存在多厂家设备并存运行的现状，同时以专业为维度建设的网管系统得到了一定的发展，基本上满足了业务管理的需要，形成了以专业网管为主的网管体系。在这种体系下，网管按专业进行建设，主要功能包括告警管理、性能管理、配置管理和操作维护，但各厂家网管之间一般没有横向接口，客户维护人员专业网管的操作能力普遍较弱。存在以下几点问题：
1)无法实现面向监控人员的统一监控，日常运维的网管系统的建设是分专业进行的，因此，每个专业都存在自身的告警系统，对于监控人员，需要分专业进行监控。
2)缺乏跨专业的告警关联分析目前的告警关联分析，基本上只在专业内部完成，缺乏这种跨专业的关联分析。
3)缺乏面向应用场景和运维的监控支撑缺乏以服务保障视角的监控以及以特定应用场景的监控手段。
4)没有统一的操作维护平台，完全靠对不同的网管进行学习才能操作。在这样的网管体系下，全网网管数量众多，系统功能不全面而且差异大，缺少数据共享以及业务关联，造成监控效率不高、操作能力较弱、分析能力不足等问题。
为了适应未来网络向智能管道运营和集约化运营的目标，解决目前各专业网管烟囱式的松散架构和能力不足对网络运营带来的众多问题，促进网管更好地适应运维体制变革、集中操作维护、网络发展和客户服务的要求，本发明建设光传输综合管理系统和综合值勤管理系统，集中对上述网络进行集中管控，解决光传输网络对用户业务的开通、资源管理、运营支撑主要依靠现有的厂家网管和人工处理，各类专线的建设与维护缺乏全流程端到端管控，维护人员技能薄弱等问题，制定了建设具有对网络综合感知、综合控制、综合管理、综合分析和对业务运营灵活支撑等五大核心能力的融合综合网管体系的计划，从而实现全网网络的一体化管理。
发明内容
本发明的目的是解决上述问题，提供一种光网络综合管理和值勤管理系统，通过一体化的呈现视图、大数据挖掘分析、综合化的支撑体系，从内到外打造全专业、多层级、高水平、高效率的指挥作战运维平台。
为实现上述目的，本发明提供如下技术方案：
一种光网络综合管理和值勤管理系统，包括上层的应用层及底层的智能网管基础平台，所述应用层用于支撑网络运营功能，包括：
传输专业网络监控维护应用、数据专业网络监控维护应用、移动专业网络监控维护应用、云资源和平台监控维护应用、业务运营支撑应用、客户感知及服务应用、综合分析应用、移动APP应用及智能监控派单；
所述智能网管基础平台用于系统自身维护和管理，采用分布式部署架构，是全网络运营系统的基础平台，为上层应用层提供基础能力服务、数据服务及系统注册到网管总线的服务，同时实现跨专业应用，包括：
能力开放平台：采用先进技术建成ESB与微服务混搭的技术架构，同时采用大数据、云计算、容器技术，搭建高可用性的能力开放平台，实现对不同层次应用的安全开放；
数据整合平台：汇聚全省专业网络运行数据，集中存储，按需使用，一点对外开放；对于数据处理结果或原始数据，都以数据服务方式提供；
数据采集平台：以服务的方式实现对网络专业数据的统一采集，作为综合网管数据汇聚的重要入口，对各系统提供的服务进行统一适配转换、统一接口协议或报文格式，降低系统调用复杂度，并达到系统解耦；
采集适配平台：基于“注册”机制，基于分布式集群方式部署。
其中，所述能力开放平台包括：服务注册于发现、服务测试与发布、服务调度控制、服务治理、服务运行统计分析、服务目录视图、服务网关管理、服务运行监控、服务安全管理、服务开放管理；
所述数据整合平台包括：数据加载与清洗、数据采集流程监控、数据服务目录、数据质量治理、数据开放管理、数据关联与转换、大数据平台管理、数据库集群管理、数据安全管控、数据备份恢复；
所述数据采集平台包括采集配置管理、任务调度管理、数据补采、数据同步、数据预处理。
进一步的，所述能力开放平台整体基于SOA架构，通过使用ESB总线的微服务总线，通过SOAP/REST/API接口方式实现基础平台与应用层的通信与交互。
进一步的，所述能力开放平台包括能力开放接口管理及运维管理，所述能力开放接口管理包括ESB总线接口及微服务网关接口；所述运维管理包括服务注册发布、运行监控分析及服务治理。
进一步的，所述数据整合平台为系统核心部分，负责集中统一存储全省网络运行数据，同时以hadoop集群方式开放给上层应用层进行大数据分析，统一进行维护管理。
进一步的，所述数据整合平台包括实时关系型多租户数据库、海量数据处理技术平台、内存数据库，并进行流式计算和内存计算；其数据用于系统专业网管、综合分析，并对接集团综合网管和数据中台，提供所需的数据，并获取省公司所需数据。
进一步的，所述数据整合平台包括数据共享、数据计算、数据存储及数据管理，其对上层应用层进行数据访问，对综合网管进行数据上报。所述数据共享包括：数据视图、数据服务、数据同步、数据开放管理；所述数据计算包括：Hive数据分析、Spark内存计算、Storm流式计算及Impala即席查询；所述数据存储包括关系数据库、内存数据库、Hbase、MPP、HDFS文件存储；所述数据管理包括集群管理、资源配置、安全管控、质量管理及质量稽核。
进一步的，所述采集适配平台包括统一接入模块、调度管理模块、采集控制模块、通道适配模块、网元、EMS、专业网管、第三方数据存放位置模块、配置管理、注册中心及平台监控；所述第三方数据存放位置模块分别双向连接采集控制模块、通道适配模块及专业网管，所述通道适配模块分别双向连接采集控制模块、网元及EMS。
进一步的，所述数据采集平台采用Kafka、flume、Storm、FTP。
与现有技术相比，本发明的有益效果在于：
本发明通过一体化的呈现视图、大数据挖掘分析、综合化的支撑体系，从内到外打造全专业、多层级、高水平、高效率的指挥作战运维平台。建设集网络资源管理、业务开通和运维支撑为一体的综合运维管理系统对业务进行支撑，提升故障维护手段，提高运维工作效率，缩短业务开通时间，为开展相应的教学提供系统支撑。
统一化视图：融合全网资源形成横向端到端监控能力，多用户多场景形成全网监控视图，从监控网络向掌控网络迈进的统一网络监控；
全流程管控：从感知、决策、控制到反馈，验证打造流程一体化管控能力。以网络操控、数据共享等服务能力自动、闭环、辅助故障处理，形成端到端调度编排能力；
高效率运维：“导航式”故障处理，通过“统一化视图”让运维人员清楚的看到故障，更精准的定位故障，更快速的处理故障，有利于现场维护综合化建设；
综合化辅助：辅助网络发展建设，辅助前端处理故障；使运维真正成为大后端，从被动处理前端反馈的故障为主动为前端解决问题。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是为了更清楚地说明本发明实施例或现有技术中的技术方案，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的整体功能架构示意图；
图2为本发明的整体技术架构示意图；
图3为本发明的能力开放平台架构图；
图4为本发明的数据整合平台架构及定位图；
图5为本发明的采集适配平台架构图。
具体实施方式
为了使本领域技术人员更好地理解本发明的技术方案能予以实施，下面结合具体实施例对本发明作进一步说明，但所举实施例只作为对本发明的说明，不作为对本发明的限定。
如图1所示的一种光网络综合管理和值勤管理系统，包括上层的应用层及底层的智能网管基础平台，所述应用层用于支撑网络运营功能，包括：
传输专业网络监控维护应用、数据专业网络监控维护应用、移动专业网络监控维护应用、云资源和平台监控维护应用、业务运营支撑应用、客户感知及服务应用、综合分析应用、移动APP应用及智能监控派单；
所述智能网管基础平台用于系统自身维护和管理，采用分布式部署架构，是全网络运营系统的基础平台，为上层应用层提供基础能力服务、数据服务及系统注册到网管总线的服务，同时实现跨专业应用，包括：
能力开放平台：采用先进技术建成ESB与微服务混搭的技术架构，同时采用大数据、云计算、容器技术，搭建高可用性的能力开放平台，实现对不同层次应用的安全开放；能力开放平台包括：服务注册于发现、服务测试与发布、服务调度控制、服务治理、服务运行统计分析、服务目录视图、服务网关管理、服务运行监控、服务安全管理、服务开放管理。
数据整合平台：汇聚全省专业网络运行数据，集中存储，按需使用，一点对外开放；对于数据处理结果或原始数据，都以数据服务方式提供；数据整合平台包括：数据加载与清洗、数据采集流程监控、数据服务目录、数据质量治理、数据开放管理、数据关联与转换、大数据平台管理、数据库集群管理、数据安全管控、数据备份恢复。
数据采集平台：以服务的方式实现对网络专业数据的统一采集，作为综合网管数据汇聚的重要入口，对各系统提供的服务进行统一适配转换、统一接口协议或报文格式，降低系统调用复杂度，并达到系统解耦；数据采集平台包括采集配置管理、任务调度管理、数据补采、数据同步、数据预处理。
采集适配平台：基于“注册”机制，基于分布式集群方式部署。
在综合网管功能架构中，只有上层的应用层，是直接支撑网络运营的功能，直接面向运维人员，而底层平台的功能，主要是用于系统自身的维护和管理。
上层应用基于同一个基础平台，可以分厂家分专业、跨专业进行建设，充分发挥平台提供的能力和数据。
如图2，综合网管目标架构-技术架构：
1、综合网管整体上基于SOA架构，通过使用ESB总线的微服务总线，通过SOAP/REST/API等接口方式来实现基础平台与应用的通信与交互。
2、根据网络运营数据的各种特点，搭建混合技术的数据整合平台，发挥各自的优势。
3、采集层使用多种数据格式的采集方式，实现对数据的统一采集入库。
如图3，综合网管能力开放平台：
1、综合网管由基于SOA架构的ESB总线和基于微服务架构的API网关以及各种服务能力组成。
2、能力开放平台可以根据实际需要，逐步向相关需求系统开放，但应首先满足上层网管应用的调用需求。
3、对能力开放平台要实现高可用性，做好平台的监控分析与统一运营。
如图4，为数据整合(汇聚)平台架构及定位图：
1、数据整合平台是综合网管的核心部分，集中统一存储全省各专业网络运行数据。
2、数据整合平台要搭建强大的数据处理能力和存储能力，并可以hadoop集群的方式开放给上层相关应用进行大数据分析，统一进行维护管理。
3、数据整合平台的数据除直接用于各专业网管、综合分析等系统使用外，还要一点对接集团综合网管和数据中台，提供所需的数据，并从中获取省公司所需的数据。
如图5，为采集适配平台架构：
1、采集适配平台是全网数据统一采集平台，具有强大的多专业、多技术接口的数据采集和转换能力。采集的数据汇聚到综合网管数据整合(汇聚)平台供所有应用使用。
2、对于各专业网管已经采集的数据，可以直接入综合网管数据整合平台，不再重复采集，可以确保数据的一致性
3、采集适配平台基于“注册”机制运行，不影响现有服务下动态增加节点，采集机可基于分布式集群方式部署，提高效率。
现有技术方案：
综合网管从上向下共分为四层：全景应用视图、网管服务能力池、网络运营数据中心和统一适配平台，并通过服务接口总线实现系统内部能力调用和对外能力共享。
1)全景应用视图
具有直接与用户交互的所有功能，是系统的使用界面和视图，可快速灵活定制，满足各种维护场景和维护人员的需要，并具备网管统一门户功能。
2)网管服务能力池
具有丰富的原子能力和组装能力，实现对网络的综合感知、控制、管理、分析及对业务的支撑，供场景/应用层灵活调用。
3)网络运营数据中心
实现海量网络运行数据的集中存储、集中管理和集中应用，支撑企业决策层集中掌握全网整体运行情况。
4)统一适配平台
具备强大的多专业、多技术接口的数据采集和转换能力，以及对网元的操作指令快速翻译能力，可分布式部署，具备灵活的扩展能力，是网络管理的基础。
5)网管服务接口总线
网管服务接口总线实现综合网管内部服务能力的注册和对外开放，并为各种应用提供调用和对外部系统进行能力开放，同时也是综合网管两级架构中的连接总线。
针对光传输网络缺乏综合管理系统，依托现有已建设的华为ASON网络、华为OTN网络、中兴ASON网络、中兴OTN网络、烽火OTN网络，建设光传输综合管理系统和综合值勤管理系统，集中对上述网络进行集中管控，解决光传输网络对用户业务的开通、资源管理、运营支撑主要依靠现有的厂家网管和人工处理，各类专线的建设与维护缺乏全流程端到端管控，维护人员技能薄弱等问题，建设集网络资源管理、业务开通和运维支撑为一体的综合运维管理系统对业务进行支撑，提升故障维护手段，提高运维工作效率，缩短业务开通时间，为开展相应的教学提供系统支撑。
本发明的关键点和欲保护点是：
1、综合网管是全网络运营系统的基础平台，为上层网管应用提供基础能力服务、数据服务以及各系统注册到网管总线的服务，同时综合网管实现一些跨专业的应用。
2、网管能力开放平台，以先进的技术建成ESB与微服务混搭的基础技术架构，同时使用大数据、云计算、容器等技术，搭建一个具有高可用性能力开放平台，实现对不同层次应用的安全开放。
3、数据整合平台主要汇聚全省各专业网络运行数据，集中存储，按需使用，一点对外开放。对于数据处理结果或原始数据，都可以以数据服务的方式来提供。
4、采集适配平台，以服务的方式实现对各专业数据的统一采集，作为综合网管数据汇聚的重要入口，对各系统提供的服务进行统一的适配转换，统一接口协议或报文格式，以降低系统调用复杂度，并达到一定程度的系统解耦。
满足如下特点：
①具备统一的标准，支持对内部各个支撑系统的服务进行适配转换。
②支持语言无关性及跨平台的服务能力。
③要求对外提供统一的接入协议标准，如采用REST API或其它协议标准。
5、平台采用分布式部署架构，基于“注册”机制运行，能够实现不影响现有服务的基础上实现动态节点扩容，提高系统扩展性和软硬件资源使用率。同时采集平台能够实时监控采集节点、采集服务以及采集任务的具体状况，实现异常自动告警。
概念解释：
一、容器(CaaS)
容器即服务(CaaS)是一种云服务模型，允许用户通过基于容器的虚拟化来管理和部署容器，应用程序和集群。CaaS对于构建安全且可扩展的容器化应用程序非常有用。使用CaaS，可以使用本地数据中心或通过云实现。
二、FTP(文件传输协议)
FTP是TCP/IP协议组中的协议之一。FTP协议包括两个组成部分，其一为FTP服务器，其二为FTP客户端。其中FTP服务器用来存储文件，用户可以使用FTP客户端通过FTP协议访问位于FTP服务器上的资源。在开发网站的时候，通常利用FTP协议把网页或程序传到Web服务器上。此外，由于FTP传输效率非常高，在网络上传输大的文件时，一般也采用该协议。
三、Hadoop
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上；而且它提供高吞吐量(high throughput)来访问应用程序的数据，适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求，可以以流的形式访问(streaming access)文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。
1)Hadoop的优点：
Hadoop是一个能够对大量数据进行分布式处理的软件框架。Hadoop以一种可靠、高效、可伸缩的方式进行数据处理。
Hadoop是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。
Hadoop是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。
Hadoop还是可伸缩的，能够处理PB级数据。
此外，Hadoop依赖于社区服务，因此它的成本比较低，任何人都可以使用。
Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点：
1.高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。
2.高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。
3.高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。
4.高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。
5.低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比，hadoop是开源的，项目的软件成本因此会大大降低。
Hadoop带有用Java语言编写的框架，因此运行在Linux生产平台上是非常理想的。Hadoop上的应用程序也可以使用其他语言编写，比如C++。
2)Hadoop大数据处理的意义：
Hadoop得以在大数据处理应用中广泛应用得益于其自身在数据提取、变形和加载(ETL)方面上的天然优势。Hadoop的分布式架构，将大数据处理引擎尽可能的靠近存储，对例如像ETL这样的批处理操作相对合适，因为类似这样操作的批处理结果可以直接走向存储。Hadoop的MapReduce功能实现了将单个任务打碎，并将碎片任务(Map)发送到多个节点上，之后再以单个数据集的形式加载(Reduce)到数据仓库里。
四、Storm
Storm是Twitter开源的分布式实时大数据处理框架，被称为实时版Hadoop。Storm对于实时计算的意义类似于Hadoop对于批处理的意义。Hadoop提供了map、reduce原语，使我们的批处理程序变得简单和高效。同样，Storm也为实时计算提供了一些简单高效的原语，而且Storm的Trident是基于Storm原语更高级的抽象框架，类似于基于Hadoop的Pig框架，让开发更加便利和高效。
1)storm的特性：
1.适用场景广泛：storm可以实时处理消息和更新DB，对一个数据量进行持续的查询并返回客户端(持续计算)，对一个耗资源的查询作实时并行化的处理(分布式方法调用，即DRPC)，storm的这些基础API可以满足大量的场景。
2.可伸缩性高:Storm的可伸缩性可以让storm每秒可以处理的消息量达到很高。扩展一个实时计算任务，你所需要做的就是加机器并且提高这个计算任务的并行度。Storm使用ZooKeeper来协调集群内的各种配置使得Storm的集群可以很容易的扩展。
3.保证无数据丢失：实时系统必须保证所有的数据被成功的处理。那些会丢失数据的系统的适用场景非常窄，而storm保证每一条消息都会被处理，这一点和S4相比有巨大的反差。
4.异常健壮：storm集群非常容易管理，轮流重启节点不影响应用。
5.容错性好：在消息处理过程中出现异常，storm会进行重试。
6.语言无关性：Storm的topology和消息处理组件(Bolt)可以用任何语言来定义，这一点使得任何人都可以使用storm。
五、Kafka：
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这种动作(网页浏览，搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。
1)特性：
Kafka是一种高吞吐量的分布式发布订阅消息系统，有如下特性：
①通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。
②高吞吐量：即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。
③支持通过Kafka服务器和消费机集群来分区消息。
④支持Hadoop并行数据加载。
六、flume(日志收集系统)
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。
当前Flume有两个版本Flume 0。9X版本的统称Flume-og，Flume1。X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。
1)结构：
Agent主要由:source，channel，sink三个组件组成。
①Source:
从数据发生器接收数据，并将接收的数据以Flume的event格式传递给一个或者多个通道channel，Flume提供多种数据接收的方式，比如Avro，Thrift，twitter1％等
②Channel:
channel是一种短暂的存储容器，它将从source处接收到的event格式的数据缓存起来，直到它们被sinks消费掉，它在source和sink间起着桥梁的作用，channel是一个完整的事务，这一点保证了数据在收发的时候的一致性。并且它可以和任意数量的source和sink链接。支持的类型有:JDBC channel，File System channel，Memory channel等。
③sink:
sink将数据存储到集中存储器比如Hbase和HDFS，它从channels消费数据(events)并将其传递给目标地。目标地可能是另一个sink，也可能HDFS，HBase。
2)优势：
1.Flume可以将应用产生的数据存储到任何集中存储器中，比如HDFS，HBase；
2.当收集数据的速度超过将写入数据的时候，也就是当收集信息遇到峰值时，这时候收集的信息非常大，甚至超过了系统的写入数据能力，这时候，Flume会在数据生产者和数据收容器间做出调整，保证其能够在两者之间提供平稳的数据；
3.提供上下文路由特征；
4.Flume的管道是基于事务，保证了数据在传送和接收时的一致性；
5.Flume是可靠的，容错性高的，可升级的，易管理的，并且可定制的。
3)具有特征：
1.Flume可以高效率的将多个网站服务器中收集的日志信息存入HDFS/HBase中；
2.使用Flume，我们可以将从多个服务器中获取的数据迅速的移交给Hadoop中；
3.除了日志信息，Flume同时也可以用来接入收集规模宏大的社交网络节点事件数据，比如facebook，twitter，电商网站如亚马逊，flipkart等；
4.支持各种接入资源数据的类型以及接出数据类型；
5.支持多路径流量，多管道接入流量，多管道接出流量，上下文路由等；
6.可以被水平扩展。
七、网元管理系统(EMS)
网元管理系统(network element management system，EMS)是管理特定类型的一个或多个电信网络单元(NE)的系统。一般来说，EMS管理着每个NE的功能和容量，但并不理会网络中不同NE之间的交流。
为了支持NE间的交流，EMS需要与更高一级的网络管理系统(NMS)进行通信，NMS也是电信管理网络(TMN)[1]层次模型中的一员。EMS是基于TMN层次模型的运作支持系统(OSS)构架的基础，这个构架使得服务提供商(SP)能够满足客户对高速发展着的服务的需求，同时也能满足严厉的服务质量(QOS)要求。
EMS在专业网领域内提供统一的操作维护功能，侧重于地域、网络、子网络内部的网元管理，能够端到端管理维护设备和网络。如，可采用一个EMS集中管理一个运营商的IMS(IP Multimedia Subsystem，IP多媒体子系统)网络和设备，包括：核心网设备、数据通信设备、NGN(Next GenerationNetwork，下一代网络)设备、业务设备、第三方IT(InformationTechnology，信息技术)设备。
网元：网络元素，包含硬件设备及运行其上的软件。通常一个网络元素至少具有一块主控板，负责整个网络元素的管理和监控。主机软件运行在主控板上。
光传输网络：用光纤作为主要传输介质的广域网。
WDM：波分系统。
ASON：自动交互光网络。
OTN：光传送网。
北向接口：通信设备厂商网管给上层网管提供的进行数据交互的接口，上层网管使用接口编程开发各种应用系统管理被管理对象。
本发明相对于现有技术的优点在于：
通过一体化的呈现视图、大数据挖掘分析、综合化的支撑体系，从内到外打造全专业、多层级、高水平、高效率的指挥作战运维平台。
1)统一化视图：融合全网资源形成横向端到端监控能力，多用户多场景形成全网监控视图，从监控网络向掌控网络迈进的统一网络监控。
2)全流程管控：从感知、决策、控制到反馈，验证打造流程一体化管控能力。以网络操控、数据共享等服务能力自动、闭环、辅助故障处理，形成端到端调度编排能力。
3)高效率运维：“导航式”故障处理，通过“统一化视图”让运维人员清楚的看到故障，更精准的定位故障，更快速的处理故障，有利于现场维护综合化建设。
4)综合化辅助：辅助网络发展建设，辅助前端处理故障。使运维真正成为大后端，从被动处理前端反馈的故障为主动为前端解决问题。
本发明中未做详细描述的内容均为现有技术。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种光网络综合管理和值勤管理系统，其特征在于，包括上层的应用层及底层的智能网管基础平台，所述应用层用于支撑网络运营功能，包括：
传输专业网络监控维护应用、数据专业网络监控维护应用、移动专业网络监控维护应用、云资源和平台监控维护应用、业务运营支撑应用、客户感知及服务应用、综合分析应用、移动APP应用及智能监控派单；
所述智能网管基础平台用于系统自身维护和管理，采用分布式部署架构，是全网络运营系统的基础平台，为上层应用层提供基础能力服务、数据服务及系统注册到网管总线的服务，同时实现跨专业应用，包括：
能力开放平台：采用ESB与微服务混搭的技术架构，同时采用大数据、云计算、容器技术，实现对不同层次应用的安全开放；
数据整合平台：汇聚全省专业网络运行数据，集中存储，按需使用，一点对外开放；
数据采集平台：以服务的方式实现对网络专业数据的统一采集，作为综合网管数据汇聚的重要入口，对各系统提供的服务进行统一适配转换、统一接口协议或报文格式，降低系统调用复杂度，并达到系统解耦；
采集适配平台：基于“注册”机制，基于分布式集群方式部署。
2.根据权利要求1所述的一种光网络综合管理和值勤管理系统，其特征在于，所述能力开放平台包括：服务注册于发现、服务测试与发布、服务调度控制、服务治理、服务运行统计分析、服务目录视图、服务网关管理、服务运行监控、服务安全管理、服务开放管理；
所述数据整合平台包括：数据加载与清洗、数据采集流程监控、数据服务目录、数据质量治理、数据开放管理、数据关联与转换、大数据平台管理、数据库集群管理、数据安全管控、数据备份恢复；
所述数据采集平台包括采集配置管理、任务调度管理、数据补采、数据同步、数据预处理。
3.根据权利要求1所述的一种光网络综合管理和值勤管理系统，其特征在于，所述能力开放平台整体基于SOA架构，通过使用ESB总线的微服务总线，通过SOAP/REST/API接口方式实现基础平台与应用层的通信与交互。
4.根据权利要求1至3任一项所述的一种光网络综合管理和值勤管理系统，其特征在于，所述能力开放平台包括能力开放接口管理及运维管理，所述能力开放接口管理包括ESB总线接口及微服务网关接口；所述运维管理包括服务注册发布、运行监控分析及服务治理。
5.根据权利要求1所述的一种光网络综合管理和值勤管理系统，其特征在于，所述数据整合平台为系统核心部分，负责集中统一存储全省网络运行数据，同时以hadoop集群方式开放给上层应用层进行大数据分析，统一进行维护管理。
6.根据权利要求1、2或5所述的一种光网络综合管理和值勤管理系统，其特征在于，所述数据整合平台包括实时关系型多租户数据库、海量数据处理技术平台、内存数据库，并进行流式计算和内存计算；其数据用于系统专业网管、综合分析，并对接集团综合网管和数据中台，提供所需的数据，并获取省公司所需数据。
7.根据权利要求6所述的一种光网络综合管理和值勤管理系统，其特征在于，所述数据整合平台包括数据共享、数据计算、数据存储及数据管理，其对上层应用层进行数据访问，对综合网管进行数据上报。
8.根据权利要求7所述的一种光网络综合管理和值勤管理系统，其特征在于，所述数据共享包括：数据视图、数据服务、数据同步、数据开放管理；所述数据计算包括：Hive数据分析、Spark内存计算、Storm流式计算及Impala即席查询；所述数据存储包括关系数据库、内存数据库、Hbase、MPP、HDFS文件存储；所述数据管理包括集群管理、资源配置、安全管控、质量管理及质量稽核。
9.根据权利要求1所述的一种光网络综合管理和值勤管理系统，其特征在于，所述采集适配平台包括统一接入模块、调度管理模块、采集控制模块、通道适配模块、网元、EMS、专业网管、第三方数据存放位置模块、配置管理、注册中心及平台监控；所述第三方数据存放位置模块分别双向连接采集控制模块、通道适配模块及专业网管，所述通道适配模块分别双向连接采集控制模块、网元及EMS。
10.根据权利要求1或2所述的一种光网络综合管理和值勤管理系统，其特征在于，所述数据采集平台采用Kafka、flume、Storm、FTP。
CN202010723617.1A 2020-07-24 2020-07-24 一种光网络综合管理和值勤管理系统 Active CN111885439B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010723617.1A CN111885439B (zh) 2020-07-24 2020-07-24 一种光网络综合管理和值勤管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010723617.1A CN111885439B (zh) 2020-07-24 2020-07-24 一种光网络综合管理和值勤管理系统

Publications (2)

Publication Number Publication Date
CN111885439A true CN111885439A (zh) 2020-11-03
CN111885439B CN111885439B (zh) 2022-05-10

Family

ID=73201266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010723617.1A Active CN111885439B (zh) 2020-07-24 2020-07-24 一种光网络综合管理和值勤管理系统

Country Status (1)

Country Link
CN (1) CN111885439B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112395364A (zh) * 2020-12-11 2021-02-23 山西省信息产业技术研究院有限公司 城市轨道交通全过程综合监管系统
CN112907232A (zh) * 2021-04-16 2021-06-04 广东电网有限责任公司清远供电局 电网业务端到端传输可靠性保障方法、装置、设备及存储介质
CN113706101A (zh) * 2021-08-24 2021-11-26 国家电网有限公司 电网项目管理智能系统架构及方法
CN115617898A (zh) * 2022-12-21 2023-01-17 中国科学院长春光学精密机械与物理研究所 基于soa架构的靶场测控数据处理系统、方法及计算机设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109120459A (zh) * 2018-09-27 2019-01-01 中国联合网络通信有限公司广东省分公司 一种基于业务编排器的城域网业务处理方法
EP3470983A1 (en) * 2017-10-10 2019-04-17 Nokia Solutions and Networks Oy Method, system and computer readable medium to allocate resources to at least one application
CN109685519A (zh) * 2018-11-07 2019-04-26 国家电网有限公司客户服务中心 一种面向多租户服务一体化监控的方法及所用系统
CN109766374A (zh) * 2018-12-26 2019-05-17 科大国创软件股份有限公司 一种信用联合监管平台
CN110933176A (zh) * 2019-12-05 2020-03-27 国家电网有限公司 一种电力物联网管理及服务平台
US10637952B1 (en) * 2018-12-19 2020-04-28 Sap Se Transition architecture from monolithic systems to microservice-based systems
CN111426979A (zh) * 2020-01-08 2020-07-17 国网内蒙古东部电力有限公司检修分公司 基于微服务的超特高压输电线路在线监测系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3470983A1 (en) * 2017-10-10 2019-04-17 Nokia Solutions and Networks Oy Method, system and computer readable medium to allocate resources to at least one application
CN109120459A (zh) * 2018-09-27 2019-01-01 中国联合网络通信有限公司广东省分公司 一种基于业务编排器的城域网业务处理方法
CN109685519A (zh) * 2018-11-07 2019-04-26 国家电网有限公司客户服务中心 一种面向多租户服务一体化监控的方法及所用系统
US10637952B1 (en) * 2018-12-19 2020-04-28 Sap Se Transition architecture from monolithic systems to microservice-based systems
CN109766374A (zh) * 2018-12-26 2019-05-17 科大国创软件股份有限公司 一种信用联合监管平台
CN110933176A (zh) * 2019-12-05 2020-03-27 国家电网有限公司 一种电力物联网管理及服务平台
CN111426979A (zh) * 2020-01-08 2020-07-17 国网内蒙古东部电力有限公司检修分公司 基于微服务的超特高压输电线路在线监测系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨朝晖等: "微服务编排在网管支撑系统中的研究与应用", 《电信工程技术与标准化》 *
杨洁艳等: "中国联通IT运营平台建设思路探讨", 《邮电设计技术》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112395364A (zh) * 2020-12-11 2021-02-23 山西省信息产业技术研究院有限公司 城市轨道交通全过程综合监管系统
CN112907232A (zh) * 2021-04-16 2021-06-04 广东电网有限责任公司清远供电局 电网业务端到端传输可靠性保障方法、装置、设备及存储介质
CN112907232B (zh) * 2021-04-16 2023-05-30 广东电网有限责任公司清远供电局 电网业务端到端传输可靠性保障方法、装置、设备及存储介质
CN113706101A (zh) * 2021-08-24 2021-11-26 国家电网有限公司 电网项目管理智能系统架构及方法
CN113706101B (zh) * 2021-08-24 2023-08-18 国家电网有限公司 电网项目管理智能系统架构及方法
CN115617898A (zh) * 2022-12-21 2023-01-17 中国科学院长春光学精密机械与物理研究所 基于soa架构的靶场测控数据处理系统、方法及计算机设备

Also Published As

Publication number Publication date
CN111885439B (zh) 2022-05-10

Similar Documents

Publication Publication Date Title
CN111885439B (zh) 一种光网络综合管理和值勤管理系统
US7099879B2 (en) Real-time monitoring of service performance through the use of relational database calculation clusters
CN113448721A (zh) 算力处理的网络系统及算力处理方法
Khriji et al. Design and implementation of a cloud-based event-driven architecture for real-time data processing in wireless sensor networks
EP1361761A1 (en) Telecommunications network management system and method for service monitoring
KR20040103980A (ko) 컨텐츠 전송 네트워크(ｃｄｎ) 인터네트워킹, 각각의네트워크 및 인터페이스 구성요소를 실행하는 방법
CN112235130A (zh) 一种实现基于sdn网络的运维自动化的方法和装置
CN112100265A (zh) 面向大数据架构与区块链的多源数据处理方法及装置
CN113468221A (zh) 一种基于kafka消息数据总线的系统集成方法
CN116489214A (zh) 一种基于微服务网关的统一服务调度方法、装置、介质及设备
CN114615096B (zh) 基于事件驱动架构的电信计费方法、系统及相关设备
CN113515267A (zh) 一种基于工业物联网的PaaS平台
Zhang et al. SDNMP: Enabling SDN management using traditional NMS
Zhang et al. Efficient online surveillance video processing based on spark framework
Bauer et al. Hybrid cloud–architecture for administration shells with RAMI4. 0 using Actor4j
CN113824801B (zh) 一种智能融合终端统一接入管理组件系统
CN114363164B (zh) 云网络服务编排控制方法、系统、存储介质和电子设备
CN116260878A (zh) 一款基于分布式计算、存储的全域业务结构服务化的业务中台系统
CN115412553A (zh) 一种基于分布式云平台的cmdb自动配置方法
CN109120443A (zh) 一种网络附加存储nas设备的管理方法和装置
Zhang et al. A Novel 5G-advanced Core Network Intelligent Operation and Maintenance System
Ji et al. Research and application of internet of things edge autonomy technology based on microservice in power pipe gallary
US11876673B2 (en) Storing configuration data changes to perform root cause analysis for errors in a network of managed network devices
Zhao et al. Architecture Design of CTC Log Module Based on Web Service
Usai Delivering Resilient Virtualized Services in Smart Grid Environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant