CN107172192A - 基于混合存储的SaaS网络管理系统数据管理框架 - Google Patents
基于混合存储的SaaS网络管理系统数据管理框架 Download PDFInfo
- Publication number
- CN107172192A CN107172192A CN201710464285.8A CN201710464285A CN107172192A CN 107172192 A CN107172192 A CN 107172192A CN 201710464285 A CN201710464285 A CN 201710464285A CN 107172192 A CN107172192 A CN 107172192A
- Authority
- CN
- China
- Prior art keywords
- data
- saas
- tenant
- nms
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开的基于混合存储的SaaS网络管理系统数据管理框架,包括有四个层次,分别为:租户和采集层;SaaS网管系统应用中心层;数据访问接口层;数据库层。本发明基于混合存储的SaaS网络管理系统数据管理框架,解决了现有SaaS多租户网管系统数据存储容量有限,无法满足租户要求的问题。
Description
技术领域
本发明属于云计算技术领域,具体涉及一种基于混合存储的SaaS网络管理系统数据管理框架。
背景技术
基于SaaS模式的网络管理系统为中小企业提供网络运维服务,对于提高网络服务质量,降低信息部门的成本具有重要的实际意义。然而,当前SaaS模式的网络管理系统的研究还不够成熟,并且随着租户数量的增多,运维数据规模将达到海量级别,现有的基于关系型数据库的数据层解决方案的存储容量、可定制性和性能方面已经不能满足多租户的要求,因此迫切需要一种更好的方案来实现SaaS多租户网管系统的数据层。
发明内容
本发明的目的在于提供一种基于混合存储的SaaS网络管理系统数据管理框架,解决了现有SaaS多租户网管系统数据存储容量有限,无法满足租户要求的问题。
本发明所采用的技术方案是,基于混合存储的SaaS网络管理系统数据管理框架,包括有四个层次,分别如下:
租户和采集层;
SaaS网管系统应用中心层;
数据访问接口层;
数据库层。
本发明的特点还在于:
租户和采集层:包括有租户端的网管用户和代理程序;租户使用浏览器访问网管系统;代理程序安装在租赁单位的某台工作站上,负责实时采集所需的网络数据,并送至应用中心。
采集器采用Java进行开发实现。
SaaS网管系统应用中心层:通过负载均衡处理,将来自于租户的请求路由到应用服务器集群中负载较低的服务器上进行业务处理。
数据访问接口层:为上层应用访问数据库提供接口,包括有数据放置选择组件、数据访问控制组件、数据模式映射组件和数据弹性组件。
数据弹性组件通过评估当前所有数据库实例的负载,并考虑数据保留策略,添加或移除额外的数据库实例和重新布局租户数据;所述数据弹性组件根据当前数据布局信息和负载监控信息,判断是否超出预设的阈值范围,从而生成数据布局调整策略,应用于数据库节点。
数据库层:为系统提供数据的持久化存储,由MySQL和MongoDB两种数据库组成;
将多租户信息和被管网元的元数据存储在关系型的MySQL数据库中,将大量的设备性能数据存储在非关系型的MongoDB数据库中,以实现被管网元元数据和历史性能数据的分离。
本发明的有益效果在于:
(1)本发明基于混合存储的SaaS网络管理系统数据管理框架,针对SaaS模式下网络管理系统的数据存储问题,采用MySQL+MongoDB的混合存储架构,能有效解决海量运维数据的存储问题、可定制性问题和性能问题;
(2)本发明基于混合存储的SaaS网络管理系统数据管理框架实际提供了一个灵活的、可伸缩的存储架构,能有效避免传统方式使用关系型数据库处理海量数据时,出现无法大规模弹性扩展、高并发读写效率低下以及不善于处理租户定制化数据等问题。
附图说明
图1是本发明基于混合存储的SaaS网络管理系统数据管理框架的结构示意图;
图2是本发明基于混合存储的SaaS网络管理系统数据管理框架中数据访问接口层内弹性组件的结构示意图;
图3是本发明基于混合存储的SaaS网络管理系统数据管理框架中海量运维数据的存储架构结构示意图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于混合存储的SaaS网络管理系统数据管理框架,如图1所示,包括有四个层次,分别如下:
租户和采集层:包括有租户端的网管用户和代理程序;租户使用浏览器访问网管系统;代理程序安装在租赁单位的某台工作站上(将采集器安装于租赁单位的某台工作站上),负责实时采集所需的网络数据,并送至应用中心;其中的采集器采用Java进行开发实现。
SaaS网管系统应用中心层:通过负载均衡处理,将来自于租户的请求路由到应用服务器集群中负载较低的服务器上进行业务处理,是整个框架的核心与主体,这里基于WebService组件的方式来进行开发实现。
数据访问接口层:为上层应用访问数据库提供接口,包括有数据放置选择组件、数据访问控制组件、数据模式映射组件和数据弹性组件;
其中,数据放置选择组件、数据访问控制组件和数据模式映射组件可采用已有的研究成果实现,其重点设计在于数据弹性组件;
数据弹性组件,如图2所示,其主要功能是:按需分配数据库实例数量(水平扩展),从而获取存储资源的高可伸缩性;通过评估当前所有数据库实例的负载,并考虑数据保留策略等约束,添加或移除额外的数据库实例和重新布局租户数据;数据弹性组件根据当前数据布局信息和负载监控信息,判断是否超出预设的阈值范围,从而生成数据布局调整策略,应用于数据库节点;数据弹性组件应该作为一个独立运行的进程实现,不影响主应用的性能。
数据库层:为系统提供数据的持久化存储,由MySQL和MongoDB两种数据库组成。
本发明基于混合存储的SaaS网络管理系统数据管理框架中各层的具体介绍:
(1)租户和采集层的采集器在采集数据时,主要通过SNMP(简单网络管理协议)的操作原语,采用轮询方式采集被管网络设备上的各种MIB数据;另外,代理程序也通过自陷方式接收网络设备的故障报警;在对网络进行控制时,代理程序也可执行写操作;代理程序由Java开发环境结合相应SNMP组件来进行开发。
(2)SaaS网管系统应用中心层为每一个租赁单位分配唯一的单位ID、唯一的单位管理员账号和单位所拥有的SaaS网管系统功能权限;然后,单位管理员就能为本单位的用户创建账户,并分配权限;每个租赁单位的基本信息通过元数据服务模块存储在租赁单位元数据表群,每个用户的账户信息通过目录服务模块存储在用户账户表群;单位管理员通过Web服务器的定制服务模块配置软件元数据信息,实现本单位网管系统的网页外观、图表形式、数据结构和安全策略的个性化定制;元数据配置信息通过元数据服务模块存储在租赁单位元数据表群中;当用户通过Internet访问SaaS网管系统时,用户都会被标记上他们所属单位的ID,元数据服务模块与目录服务模块会根据单位ID和使用人账号对访问者进行认证与授权,结合租赁单位元数据配置信息,调用被授权的系统功能;所有网络数据存储在网络管理数据表群。
(3)数据访问接口层中各组件的功能分别如下:
数据放置选择组件的主要功能是:选择合适的数据库实例存放租户数据并能高效检索租户数据;
数据访问控制组件的主要功能是:验证当前用户是否有权限读取或者修改所要访问的数据;
数据模式映射组件的主要功能是:将隔离的单租户逻辑数据存储形式映射到共享的多租户物理存储结构中;
数据弹性组件的主要功能是:基于当前数据库的负载情况并考虑数据保留策略等约束,添加或者移除数据库实例和重新布局租户数据,实现存储资源的高可伸缩性。
(4)数据库层中的MySQL数据库主要存储数据量不大、涉及多表联合查询和对事务有要求的数据,包括有系统管理数据(用户管理、租户管理、角色和权限管理、租户订单管理等)和网管部分业务(资源管理、性能管理中的任务管理)数据;另外,还包含一个共享的数据库实例,这个实例存储所有租户的配置信息,如:租户指定的配置参数、计费信息和数据保留策略等,和每个租户的当前数据分配映射信息;MongoDB数据库用来存储数据量大、结构简单的数据,包括有性能数据(端口流量数据和CPU内存使用率数据等)以及告警数据,实现被管网元元数据和历史性能数据的分离。
本发明基于混合存储的SaaS网络管理系统数据管理框架中海量运维数据的存储架构,如图3所示,将多租户信息和被管网元的元数据等存储在关系型的MySQL数据库中,将大量的设备性能数据存储在非关系型的MongoDB数据库中,实现了被管网元元数据和历史性能数据的分离。由于租户在地理位置上并非集中在一片区域,因此针对大数据量的性能数据采用分层的策略,将同一个地区的租户性能数据存储在本地区的数据库中,最后通过数据订阅的形式由数据存储服务存储到SaaS网管系统的MongoDB集群中。在MongoDB集群中采用副本集和分片技术,设计合理的Sharding key,能实现整个MongoDB集群的均匀分布存储和负载均衡。
数据存储服务,包含数据缓冲区、高速并发写入和监控器三个组件。数据缓冲区缓存发送过来的数据,当缓冲区内的数据量达到一定的阈值时,批量写入MongoDB集群中。采用数据批量写入将大大提高MongoDB集群的写入性能。MongoDB支持高速并发写入,在高速并发写入组件中采用线程池技术多线程并发写入数据,提高存储系统的写入性能。监控器主要用来对数据的写入速度和缓冲区中的数据总量进行实时监控,当出现写入异常时,监控器通知写入主线程进行休眠,减少或暂停数据写入。
本发明基于混合存储的SaaS网络管理系统数据管理框架,针对SaaS模式下网络管理系统的数据存储问题,采用MySQL+MongoDB的混合存储架构,有效解决了海量运维数据的存储问题、可定制性问题和性能问题。
Claims (7)
1.基于混合存储的SaaS网络管理系统数据管理框架,其特征在于,包括有四个层次,分别如下:
租户和采集层;
SaaS网管系统应用中心层;
数据访问接口层;
数据库层。
2.根据权利要求1所述的基于混合存储的SaaS网络管理系统数据管理框架,其特征在于,所述租户和采集层:包括有租户端的网管用户和代理程序;租户使用浏览器访问网管系统;代理程序安装在租赁单位的某台工作站上,负责实时采集所需的网络数据并送至应用中心。
3.根据权利要求2所述的基于混合存储的SaaS网络管理系统数据管理框架,其特征在于,所述采集器采用Java进行开发实现。
4.根据权利要求1所述的基于混合存储的SaaS网络管理系统数据管理框架,其特征在于,所述SaaS网管系统应用中心层:通过负载均衡处理,将来自于租户的请求路由到应用服务器集群中负载较低的服务器上进行业务处理。
5.根据权利要求1所述的基于混合存储的SaaS网络管理系统数据管理框架,其特征在于,所述数据访问接口层:为上层应用访问数据库提供接口,包括有数据放置选择组件、数据访问控制组件、数据模式映射组件和数据弹性组件。
6.根据权利要求5所述的基于混合存储的SaaS网络管理系统数据管理框架,其特征在于,所述数据弹性组件通过评估当前所有数据库实例的负载,并考虑数据保留策略,添加或移除额外的数据库实例和重新布局租户数据;所述数据弹性组件根据当前数据布局信息和负载监控信息,判断是否超出预设的阈值范围,从而生成数据布局调整策略,应用于数据库节点。
7.根据权利要求1所述的基于混合存储的SaaS网络管理系统数据管理框架,其特征在于,所述数据库层:为系统提供数据的持久化存储,由MySQL和MongoDB两种数据库组成;
将多租户信息和被管网元的元数据存储在关系型的MySQL数据库中,将大量的设备性能数据存储在非关系型的MongoDB数据库中,以实现被管网元元数据和历史性能数据的分离。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710464285.8A CN107172192A (zh) | 2017-06-19 | 2017-06-19 | 基于混合存储的SaaS网络管理系统数据管理框架 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710464285.8A CN107172192A (zh) | 2017-06-19 | 2017-06-19 | 基于混合存储的SaaS网络管理系统数据管理框架 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107172192A true CN107172192A (zh) | 2017-09-15 |
Family
ID=59819825
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710464285.8A Pending CN107172192A (zh) | 2017-06-19 | 2017-06-19 | 基于混合存储的SaaS网络管理系统数据管理框架 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107172192A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107818448A (zh) * | 2017-09-29 | 2018-03-20 | 北京博泰创智科技有限公司 | 一种用于人力资源的综合服务系统及方法 |
CN109408518A (zh) * | 2018-11-07 | 2019-03-01 | 郑州云海信息技术有限公司 | 一种数据存储的方法及装置 |
CN110287045A (zh) * | 2019-07-02 | 2019-09-27 | 北京谷数科技有限公司 | 一种基于solaris操作系统的存储服务接口管理框架 |
CN112100262A (zh) * | 2020-09-16 | 2020-12-18 | 南京智数云信息科技有限公司 | 多租户SaaS平台快速搭建及动态扩容的方法及系统 |
CN112988874A (zh) * | 2021-04-08 | 2021-06-18 | 海南车智易通信息技术有限公司 | 一种数据处理方法、系统、计算设备及可读存储介质 |
CN115563117A (zh) * | 2022-10-14 | 2023-01-03 | 广州明动软件股份有限公司 | 一种基于SaaS技术的多租户管理应用及其实现方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101777047A (zh) * | 2009-01-08 | 2010-07-14 | 国际商业机器公司 | 多租户环境下访问数据库的系统、设备和方法 |
CN103605698A (zh) * | 2013-11-06 | 2014-02-26 | 广东电子工业研究院有限公司 | 一种用于分布异构数据资源整合的云数据库系统 |
US20140280925A1 (en) * | 2009-04-15 | 2014-09-18 | Accenture Global Services Limited | Method And System For Client-Side Scaling Of Web Server Farm Architectures In A Cloud Data Center |
CN104636332A (zh) * | 2013-11-06 | 2015-05-20 | 北京航天长峰科技工业集团有限公司 | 一种海量类定位数据存储方法 |
CN105025084A (zh) * | 2015-06-10 | 2015-11-04 | 国网智能电网研究院 | 一种基于同步代理和混合存储的云存储系统 |
-
2017
- 2017-06-19 CN CN201710464285.8A patent/CN107172192A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101777047A (zh) * | 2009-01-08 | 2010-07-14 | 国际商业机器公司 | 多租户环境下访问数据库的系统、设备和方法 |
US20140280925A1 (en) * | 2009-04-15 | 2014-09-18 | Accenture Global Services Limited | Method And System For Client-Side Scaling Of Web Server Farm Architectures In A Cloud Data Center |
CN103605698A (zh) * | 2013-11-06 | 2014-02-26 | 广东电子工业研究院有限公司 | 一种用于分布异构数据资源整合的云数据库系统 |
CN104636332A (zh) * | 2013-11-06 | 2015-05-20 | 北京航天长峰科技工业集团有限公司 | 一种海量类定位数据存储方法 |
CN105025084A (zh) * | 2015-06-10 | 2015-11-04 | 国网智能电网研究院 | 一种基于同步代理和混合存储的云存储系统 |
Non-Patent Citations (2)
Title |
---|
尤晓青: "面向SaaS应用的SMTDM可伸缩多租户数据管理框架", 《计算机系统应用》 * |
胡遵华等: "一种基于云的SaaS分布式多租户数据库研究", 《计算机应用与软件》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107818448A (zh) * | 2017-09-29 | 2018-03-20 | 北京博泰创智科技有限公司 | 一种用于人力资源的综合服务系统及方法 |
CN109408518A (zh) * | 2018-11-07 | 2019-03-01 | 郑州云海信息技术有限公司 | 一种数据存储的方法及装置 |
CN110287045A (zh) * | 2019-07-02 | 2019-09-27 | 北京谷数科技有限公司 | 一种基于solaris操作系统的存储服务接口管理框架 |
CN112100262A (zh) * | 2020-09-16 | 2020-12-18 | 南京智数云信息科技有限公司 | 多租户SaaS平台快速搭建及动态扩容的方法及系统 |
CN112988874A (zh) * | 2021-04-08 | 2021-06-18 | 海南车智易通信息技术有限公司 | 一种数据处理方法、系统、计算设备及可读存储介质 |
CN115563117A (zh) * | 2022-10-14 | 2023-01-03 | 广州明动软件股份有限公司 | 一种基于SaaS技术的多租户管理应用及其实现方法 |
CN115563117B (zh) * | 2022-10-14 | 2023-08-29 | 广州明动软件股份有限公司 | 一种基于SaaS技术的多租户管理应用及其实现方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107172192A (zh) | 基于混合存储的SaaS网络管理系统数据管理框架 | |
US11620187B2 (en) | Distributing data on distributed storage systems | |
Wang et al. | A study and performance evaluation of the multi-tenant data tier design patterns for service oriented computing | |
CN103218175B (zh) | 多租户的云存储平台访问控制系统 | |
WO2016101638A1 (zh) | 一种电力系统云仿真平台的运营管理方法 | |
CN107181808A (zh) | 一种私有云系统及运行方法 | |
CN103957270B (zh) | 一种云原子单元投递与部署的方法及装置 | |
CN107895113B (zh) | 一种支持hadoop多集群的细粒度数据权限控制方法及系统 | |
KR101719116B1 (ko) | 데이터 센터들에서의 효율적인 자원 이용 | |
DE112013006414T5 (de) | Computersystem und Betriebsmittelmanagementverfahren | |
CN106533961A (zh) | 一种流量控制方法及装置 | |
US9361351B2 (en) | Data management via active and inactive table space containers | |
CN103136350B (zh) | 一种在系统平台上运行多个应用的方法及装置 | |
CN108228333A (zh) | 一种多核系统的核间资源隔离方法 | |
CN109033444A (zh) | 基于对象存储技术实现跨组织边界数据共享的方法及装置 | |
CN107766001A (zh) | 一种基于用户群组的存储配额方法 | |
CN113742030A (zh) | 跨区服务配置方法、装置和存储介质 | |
CN110889127A (zh) | 无限子集和多维度授权的特权账号访问控制方法及装置 | |
Corso et al. | StoRM, an SRM implementation for LHC analysis farms | |
Jiang et al. | Functional Design of State Estimation Based on Dispatching And Control Cloud | |
Nong | Physical Exercise Management Information System of Private Colleges Based on Cloud Computing | |
Wang et al. | A study on the Computing Framework of Cloud Intelligence Business Platforms | |
Deng et al. | The Design and Implementation of G-RBAC Model in Map Permission | |
Fernández et al. | Evolution of the ATLAS data and computing model for a Tier-2 in the EGI Infrastructure | |
CN116909753A (zh) | 一种基于进程分组的内核态操作系统资源限制方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170915 |