CN104333594A - 基于光传输网络的云平台资源采集加速方法和系统 - Google Patents

基于光传输网络的云平台资源采集加速方法和系统 Download PDF

Info

Publication number
CN104333594A
CN104333594A CN201410615256.3A CN201410615256A CN104333594A CN 104333594 A CN104333594 A CN 104333594A CN 201410615256 A CN201410615256 A CN 201410615256A CN 104333594 A CN104333594 A CN 104333594A
Authority
CN
China
Prior art keywords
resource
cloud platform
transport network
optical transport
resources
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410615256.3A
Other languages
English (en)
Other versions
CN104333594B (zh
Inventor
黎明
陈佳
吴少智
吴跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and technology of Sichuan foundation for education development
Original Assignee
WUXI UESTC TECHNOLOGY DEVELOPMENT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WUXI UESTC TECHNOLOGY DEVELOPMENT Co Ltd filed Critical WUXI UESTC TECHNOLOGY DEVELOPMENT Co Ltd
Priority to CN201410615256.3A priority Critical patent/CN104333594B/zh
Publication of CN104333594A publication Critical patent/CN104333594A/zh
Application granted granted Critical
Publication of CN104333594B publication Critical patent/CN104333594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Optical Communication System (AREA)

Abstract

本发明公开了一种基于光传输网络的云平台资源采集加速方法和系统，其中基于光传输网络的云平台资源采集加速方法，在基于光传输网络的云计算平台和光网络资源之间添加资源采集加速引擎，资源采集为：当外部操作系统通过云平台采集光传输网络资源时，先到资源采集加速引擎中搜索资源数据，如果没有在资源采集加速引擎中找到资源数据，就从各个分布式资源数据库中采集资源数据。从而达到了数据高速、高效采集的目的。

Description

基于光传输网络的云平台资源采集加速方法和系统
技术领域
本发明涉及云资源采集加速技术领域，具体地，涉及一种基于光传输网络的云平台资源采集加速方法和系统。
背景技术
为了满足用户的接入带宽需求和提升用户的网络体验，全球范围内掀起了固网宽带的建设热潮。这给作为信息基础设施的光传输网络带来的前所未有的挑战。不断增长的带宽需求一直是推动光传输产业不断前进的重要因素，但是一个更加引入瞩目的原因在推动光传输网的转型，那就是云业务时代。
电信运营商正加紧利用云技术进行网络转型，将传统的电信资源进行整合到宏大的数据中心上；同时，各种新型的云业务对传送网所交付的业务和方式都提出了更多的需求。因此，对于光传输网络的资源采集效率，成为传统多技术光传输网络向云时代统一光传输网络发展的核心问题之一。而现有光传输网络资源采集存在低效问题。
发明内容
本发明的目的在于，针对上述问题，提出一种基于光传输网络的云平台资源采集加速方法和系统，以实现数据高速、高效采集的优点。
为实现上述目的，本发明采用的技术方案是：
一种基于光传输网络的云平台资源采集加速方法，在基于光传输网络的云计算平台和光网络资源之间添加资源采集加速引擎，资源采集为：当外部操作系统通过云平台采集光传输网络资源时，先到资源采集加速引擎中搜索资源数据，如果没有在资源采集加速引擎中找到资源数据，就从各个分布式资源数据库中采集资源数据。
优选的，上述资源采集具体为：云平台收到光传输网络资源数据采集指令时，首先从云平台资源采集加速引擎中查找，若找到就立即读取并返回资源数据；若没有找到，则以相对较慢的速度从各个分布式资源数据库中读取并返回资源数据，同时统计该类指令出现频度，如果指令频度超过阈值，就把该资源数据调入云平台资源采集加速引擎中，以后若需要再次读取该数据，只需在云平台资源采集加速引擎中进行，不必再访问各个分布式资源数据库。
优选的，所述资源采集中指令预测与数据预取，采用最近最常使用算法,即统计最近连续出现的指令特征和频度,预测即将到来的新指令,预先调入资源采集加速引擎中的内容；具体为设计一个指令特征和频率统计矩阵，统计最近出现的同类资源采集指令频度，当同类指令出现频度超过阈值，就将相关资源数据预先从各个分布式资源数据库中调入到资源采集加速引擎中；相反，同类指令出现频度的递减过程把一些频繁调用后不再需要的数据淘汰出加速引擎。
优选的，在资源采集加速引擎中添加多技术光传输网络资源适配器，该多技术光传输网络资源适配器，根据南向光传输网络的技术类型，自动适配资源数据类型，整合数据资源，为光传输网络云平台资源采集系统提供统一的北向资源采集接口。
同时本发明的技术方案还公开一种云平台资源采集系统，在基于光传输网络的云计算平台和光网络资源之间添加资源采集加速引擎。
优选的，还包括多技术光传输网络资源适配器，该多技术光传输网络资源适配器，根据南向光传输网络的技术类型，自动适配资源数据类型，整合数据资源，为云平台资源采集系统提供统一的北向资源采集接口。
本发明的技术方案具有以下有益效果：
本发明的技术方案，通过在基于光传输网络的云计算平台和光网络资源之间添加资源采集加速引擎，在外部系统访问云计算平台时，只需在云平台资源采集加速引擎中进行，不必再访问各个分布式资源数据库。从而达到了数据高速、高效采集的目的。
根据指令预测结果，突破资源的阶梯层次关系，扩大资源采集粒度，减少南向资源数据采集的次数，从整体上提升云平台资源采集的性能。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明实施例所述的云平台资源采集系统原理框图；
图2为本发明实施例所述的基于光传输网络的云平台资源采集加速方法中资源采集流程图；
图3为本发明实施例所述的基于光传输网络的云平台资源采集加速方法中数据载入或载出流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
如图1所示，一种云平台资源采集系统，在基于光传输网络的云计算平台和光网络资源之间添加资源采集加速引擎。资源采集加速引擎包含指令矩阵和资源库。
系统还配置多技术光传输网络资源适配器，该多技术光传输网络资源适配器，根据南向光传输网络的技术类型，自动适配资源数据类型，整合数据资源，为云平台资源采集系统提供统一的北向资源采集接口。
如图2和图3所示，一种基于光传输网络的云平台资源采集加速方法，在基于光传输网络的云计算平台和光网络资源之间添加资源采集加速引擎，资源采集为：当外部操作系统（OSS）通过云平台采集光传输网络资源时，先到资源采集加速引擎中搜索资源数据，如果没有在资源采集加速引擎中找到资源数据，就从各个分布式资源数据库中采集资源数据。
优选的，上述资源采集具体为：云平台收到光传输网络资源数据采集指令时，首先从云平台资源采集加速引擎中查找，若找到就立即读取并返回资源数据；若没有找到，则以相对较慢的速度从各个分布式资源数据库中读取并返回资源数据，同时统计该类指令出现频度，如果指令频度超过阈值，就把该资源数据调入云平台资源采集加速引擎中，以后若需要再次读取该数据，只需在云平台资源采集加速引擎中进行，不必再访问各个分布式资源数据库。
优选的，所述资源采集中指令预测与数据预取，采用最近最常使用算法,即统计最近连续出现的指令特征和频度,预测即将到来的新指令,预先调入资源采集加速引擎中的内容；具体为设计一个指令特征和频率统计矩阵，统计最近出现的同类资源采集指令频度，当同类指令出现频度超过阈值，就将相关资源数据预先从各个分布式资源数据库中调入到资源采集加速引擎中；相反，同类指令出现频度的递减过程把一些频繁调用后不再需要的数据淘汰出加速引擎。
优选的，在资源采集加速引擎中添加多技术光传输网络资源适配器，该多技术光传输网络资源适配器，根据南向光传输网络的技术类型，自动适配资源数据类型，整合数据资源，为光传输网络云平台资源采集系统提供统一的北向资源采集接口。
本发明具体为：
1、资源采集流程；
收到光传输网络资源数据采集指令时，首先从云平台资源采集加速引擎中查找，若找到就立即读取并返回资源数据；若没有找到，则以相对较慢的速度从各个分布式资源数据库中读取并返回资源数据，同时统计该类指令出现频度，如果指令频度超过阈值，就把该资源数据调入云平台资源采集加速引擎中，这样以后若需要再次读取该数据，只需在云平台资源采集加速引擎中进行，不必再访问各个分布式资源数据库。
2、指令预测与数据预取；
为了提高资源采集加速引擎的读取命中率，本发明采用“最近最常使用算法”,
统计最近连续出现的指令特征和频度,预测即将到来的新指令,预先调入加速引擎中的内容。它为资源采集指令设计了一个指令特征和频率统计矩阵，统计最近出现的同类资源采集指令频度，当同类指令出现频度超过阈值，就将相关资源数据预先从各个分布式资源数据库中调入到资源采集加速引擎中。相反，同类指令出现频度的递减过程可以把一些频繁调用后不再需要的数据淘汰出加速引擎，提高云加速引擎的利用率。
3、资源数据采集粒度；
光传输网络云平台资源采集系统北向接口参考电信网络管理规范TMF814标准，资源采集指令的粒度是从网络层，子网层，连接层，网元层，物理接口层，逻辑接口层。资源数据采集粒度呈阶梯递降的，方便了外部系统对光传输网络统一资源采集管理，但大量增加了对南向资源数据采集的次数，降低了云平台资源采集的性能。本发明可以根据指令预测结果，突破资源的阶梯层次关系，扩大资源采集粒度，减少南向资源数据采集的次数，从整体上提升云平台资源采集的性能。
4、资源数据多样适配
传统光传输网络包含多种技术(如SDH,WDM,OTN,PTN等)网络，不同技术的光传输网络拥有不同特征的资源数据。资源的多样性给光传输网络云平台资源采集系统增加了资源数据采集的复杂性。针对不同技术的光网络，本发明设计实现了一个多技术光传输网络资源适配器，根据南向光传输网络的技术类型，自动适配资源数据类型，整合数据资源，为光传输网络云平台资源采集系统提供统一的北向资源采集接口。
云平台资源采集加速引擎为资源采集指令设计了一个指令特征和频率统计矩阵，统计最近出现的同类资源采集指令频度,当同类指令出现频度超过阈值，就将相关资源数据预先从各个分布式资源数据库中调入到资源采集加速引擎中。该加速引擎的容量是有限的，采用“最近最常使用算法”调入新数据时，同时检查已有数据的腐化度，将最近很少被使用的数据从加速引擎中清除，实现数据的更新换代。
调入数据的采集粒度是根据采集指令动态变化的。当采集指令是某子网层所有逻辑接口时，传统做法是先取子网的所有网元，再取网元的所有物理端口，再取物理端口的逻辑端口。加速引擎是直接从各个分布式资源数据库中采集该子网下的所有逻辑端口，调入到加速引擎中，大量减少资源查询数量。
光传输网络的资源具有技术多样性，云平台资源采集加速引擎根据应用要求，通过灵活的XML配置策略，完成数据的整合，实现传统多技术光传输网络资源数据到云时代统一光传输网络的资源数据映射。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于光传输网络的云平台资源采集加速方法，其特征在于，在基于光传输网络的云计算平台和光网络资源之间添加资源采集加速引擎，资源采集为：当外部操作系统通过云平台采集光传输网络资源时，先到资源采集加速引擎中搜索资源数据，如果没有在资源采集加速引擎中找到资源数据，就从各个分布式资源数据库中采集资源数据。
2.根据权利要求1所述的基于光传输网络的云平台资源采集加速方法，其特征在于，上述资源采集具体为：云平台收到光传输网络资源数据采集指令时，首先从云平台资源采集加速引擎中查找，若找到就立即读取并返回资源数据；若没有找到，则以相对较慢的速度从各个分布式资源数据库中读取并返回资源数据，同时统计该类指令出现频度，如果指令频度超过阈值，就把该资源数据调入云平台资源采集加速引擎中，以后若需要再次读取该数据，只需在云平台资源采集加速引擎中进行，不必再访问各个分布式资源数据库。
3.根据权利要求1或2所述的基于光传输网络的云平台资源采集加速方法，其特征在于，所述资源采集中指令预测与数据预取，采用最近最常使用算法,即统计最近连续出现的指令特征和频度,预测即将到来的新指令,预先调入资源采集加速引擎中的内容；具体为设计一个指令特征和频率统计矩阵，统计最近出现的同类资源采集指令频度，当同类指令出现频度超过阈值，就将相关资源数据预先从各个分布式资源数据库中调入到资源采集加速引擎中；相反，同类指令出现频度的递减过程把一些频繁调用后不再需要的数据淘汰出加速引擎。
4.根据权利要求3所述的基于光传输网络的云平台资源采集加速方法，其特征在于，在资源采集加速引擎中添加多技术光传输网络资源适配器，该多技术光传输网络资源适配器，根据南向光传输网络的技术类型，自动适配资源数据类型，整合数据资源，为光传输网络云平台资源采集系统提供统一的北向资源采集接口。
5.一种权利要求1至4所述的基于光传输网络的云平台资源采集加速方法的云平台资源采集系统，其特征在于，在基于光传输网络的云计算平台和光网络资源之间添加资源采集加速引擎。
6.根据权利要求5所述的云平台资源采集系统，其特征在于，还包括多技术光传输网络资源适配器，该多技术光传输网络资源适配器，根据南向光传输网络的技术类型，自动适配资源数据类型，整合数据资源，为云平台资源采集系统提供统一的北向资源采集接口。
CN201410615256.3A 2014-11-05 2014-11-05 基于光传输网络的云平台资源采集加速方法和系统 Active CN104333594B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410615256.3A CN104333594B (zh) 2014-11-05 2014-11-05 基于光传输网络的云平台资源采集加速方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410615256.3A CN104333594B (zh) 2014-11-05 2014-11-05 基于光传输网络的云平台资源采集加速方法和系统

Publications (2)

Publication Number Publication Date
CN104333594A true CN104333594A (zh) 2015-02-04
CN104333594B CN104333594B (zh) 2018-07-27

Family

ID=52408243

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410615256.3A Active CN104333594B (zh) 2014-11-05 2014-11-05 基于光传输网络的云平台资源采集加速方法和系统

Country Status (1)

Country Link
CN (1) CN104333594B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020156919A1 (en) * 2001-04-23 2002-10-24 Yoshiharu Maeno Communications network for routing a message via single virtual link representing its reachable extent within a subnetwork
US20040076151A1 (en) * 2002-10-21 2004-04-22 Walter Fant Connection identifiers and restoration in optical networks
CN101207862A (zh) * 2006-12-19 2008-06-25 乐金电子(中国)研究开发中心有限公司 一种快捷排序方法
CN102467553A (zh) * 2010-11-18 2012-05-23 中兴通讯股份有限公司 一种智能推送数据的方法和装置
CN103020257A (zh) * 2012-12-21 2013-04-03 曙光信息产业(北京)有限公司 数据操作的实现方法和装置
CN103024068A (zh) * 2012-12-26 2013-04-03 天津网世达通信技术有限公司 一种云存储系统
CN103278833A (zh) * 2013-05-13 2013-09-04 深圳先进技术研究院 一种基于北斗/gps数据的线路推荐系统及方法
CN103401721A (zh) * 2013-08-22 2013-11-20 盛科网络（苏州）有限公司 基于网络虚拟化的tor交换机配置方法及装置
CN103548005A (zh) * 2011-12-13 2014-01-29 华为技术有限公司 替换缓存对象的方法和装置
CN104009871A (zh) * 2014-06-06 2014-08-27 中国科学院声学研究所 Sdn控制器实现方法及sdn控制器

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020156919A1 (en) * 2001-04-23 2002-10-24 Yoshiharu Maeno Communications network for routing a message via single virtual link representing its reachable extent within a subnetwork
US20040076151A1 (en) * 2002-10-21 2004-04-22 Walter Fant Connection identifiers and restoration in optical networks
CN101207862A (zh) * 2006-12-19 2008-06-25 乐金电子(中国)研究开发中心有限公司 一种快捷排序方法
CN102467553A (zh) * 2010-11-18 2012-05-23 中兴通讯股份有限公司 一种智能推送数据的方法和装置
CN103548005A (zh) * 2011-12-13 2014-01-29 华为技术有限公司 替换缓存对象的方法和装置
CN103020257A (zh) * 2012-12-21 2013-04-03 曙光信息产业(北京)有限公司 数据操作的实现方法和装置
CN103024068A (zh) * 2012-12-26 2013-04-03 天津网世达通信技术有限公司 一种云存储系统
CN103278833A (zh) * 2013-05-13 2013-09-04 深圳先进技术研究院 一种基于北斗/gps数据的线路推荐系统及方法
CN103401721A (zh) * 2013-08-22 2013-11-20 盛科网络（苏州）有限公司 基于网络虚拟化的tor交换机配置方法及装置
CN104009871A (zh) * 2014-06-06 2014-08-27 中国科学院声学研究所 Sdn控制器实现方法及sdn控制器

Also Published As

Publication number Publication date
CN104333594B (zh) 2018-07-27

Similar Documents

Publication Publication Date Title
CN104090889B (zh) 数据处理方法及系统
CN105138592B (zh) 一种基于分布式架构的日志数据存储和检索方法
US9589006B2 (en) Method and apparatus for multidimensional data storage and file system with a dynamic ordered tree structure
US20140379712A1 (en) Data stream management systems
CN104618506A (zh) 一种众包的内容分发网络系统、方法与装置
CN103548022A (zh) Utf-8模式匹配系统和方法
CN104115472A (zh) 用于内容导向网络中可扩展路由的方法
CN106603686A (zh) 一种基于分布式存储系统的文件传输方法
CN101651710A (zh) 基于p2p的容灾备份方法
US11689428B1 (en) Systems and methods for visualization based on historical network traffic and future projection of infrastructure assets
CN103997540A (zh) 网络分布式存储的实现方法及存储系统、客户终端设备
CN110727738B (zh) 基于数据分片的全局路由系统、电子设备及存储介质
CN102054000A (zh) 数据查询方法、装置及系统
CN102195815A (zh) 网络管理方法和装置
CN103780682A (zh) 一种面向Ad Hoc网络的信息共享系统
CN104301434A (zh) 一种基于集群的高速通信架构及方法
CN106302421A (zh) 一种信息拦截处理方法以及装置
CN114064668A (zh) 用于存储管理的方法、电子设备和计算机程序产品
CN103530335A (zh) 电力计量采集系统的入库操作方法及装置
CN104486094A (zh) 基于物理拓扑光树修正的多播业务疏导方法
EP3461083B1 (en) Data processing method and device
CN104333594A (zh) 基于光传输网络的云平台资源采集加速方法和系统
CN102045228B (zh) 一种环网保护信息的发现方法及系统
CN115021861B (zh) 设备管理方法及装置
CN101686121A (zh) 一种数据同步方法、系统及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210113

Address after: No.2006 Xiyuan Avenue, Chengdu, Sichuan 611731

Patentee after: University of Electronic Science and technology of Sichuan foundation for education development

Address before: Room 402, area a, Liye building, science and Technology Park, China sensor network university, Taike Park, New District, Wuxi City, Jiangsu Province, 214135

Patentee before: WUXI UESTC TECHNOLOGY DEVELOPMENT Co.,Ltd.

TR01 Transfer of patent right