CN114513522A - 一种北向接口资源导出系统 - Google Patents

一种北向接口资源导出系统 Download PDF

Info

Publication number
CN114513522A
CN114513522A CN202210006021.9A CN202210006021A CN114513522A CN 114513522 A CN114513522 A CN 114513522A CN 202210006021 A CN202210006021 A CN 202210006021A CN 114513522 A CN114513522 A CN 114513522A
Authority
CN
China
Prior art keywords
resource
data
export
query
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210006021.9A
Other languages
English (en)
Other versions
CN114513522B (zh
Inventor
王培成
姚志伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fiberhome Telecommunication Technologies Co Ltd
Wuhan Fiberhome Technical Services Co Ltd
Original Assignee
Fiberhome Telecommunication Technologies Co Ltd
Wuhan Fiberhome Technical Services Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fiberhome Telecommunication Technologies Co Ltd, Wuhan Fiberhome Technical Services Co Ltd filed Critical Fiberhome Telecommunication Technologies Co Ltd
Priority to CN202210006021.9A priority Critical patent/CN114513522B/zh
Publication of CN114513522A publication Critical patent/CN114513522A/zh
Application granted granted Critical
Publication of CN114513522B publication Critical patent/CN114513522B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44521—Dynamic linking or loading; Link editing at or after load time, e.g. Java class loading
    • G06F9/44526—Plug-ins; Add-ons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种北向接口资源导出系统，包括多实例导出服务和统一的报表资源访问服务，所述多实例导出服务，用于根据不同的北向接口标准，导出不同的资源数据，生成文件、压缩文件、上传文件至云服务器；所述统一的报表资源访问服务，用于完成资源数据同步，转换为统一的数据模型持久化存储于本地数据库，并且保证数据实时性与后台数据的一致性。统一的北向资源访问模块在启动时，将后台服务数据、及设备状态数据同步至本地数据库中，并实时刷新本地资源数据；任务分派模块在接收到导出任务后，将导出任务根据不同资源类型分成不同的小任务，下发给不同的分布式多实例导出服务。避免了数据模型重复转换，提高了北向接口资源导出效率。

Description

一种北向接口资源导出系统
技术领域
本发明属于通信技术领域，更具体地，涉及一种北向接口资源导出系统。
背景技术
随着我国5G商用的快速推进，对传输网的带宽要求也越来越大，因此，传输设备也变得越来越多。北向接口作为设备商网管与上层综合网管的统一访问接口，需要快速响应上层综合网管的所有请求，导出所有设备资源、业务资源，生成资源文件，上传至文件服务器，供上层综合网管刷新资源数据。
目前，北向接口导出一项资源需要从后台多个服务获取数据，再组建成一份符合北向接口标准的资源数据，导致资源文件生成耗时较长，上层综合网管无法及时刷新资源数据。同时，由于数据来自至于不同服务，数据的完整性不可控，后台某个服务运行不正常时，导致数据缺失。
北向接口资源导出服务使用多线程方案来提高资源生成效率，该方案对导出效率提升有限，尤其是对于网管集约化场景，管理的设备呈指数级增加，显得力不从心。单个服务器CPU资源、内存资源有限，总有达到极限的一天。同时，由于多个线程并发执行，占用的内存资源不可控，在大配置场景下，经常出现因内存无法分配导致系统崩溃。
由于北向接口导出数据来自至于不同服务，状态数据来至于设备，导致向后台服务、设备频繁发起大量RPC(Remote Procedure Call，远程过程调用)请求，后台服务、设备需对这些RPC请求作出响应，如果调用了一些查询较慢的RPC接口，会阻塞后台服务、设备的请求队列，导致新来的RPC请求无法及时响应。
北向接口资源数据直接来至于不同的后台服务，以及设备状态数据，导致北向接口资源导出性能严重依赖后台服务、设备的运行效率。后台服务、设备的一个很小改动，都可能影响应用层的查询效率。经常出现在一个版本完成资源导出效率优化后，在另一个开发版本导出效率仍然不达标。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种北向接口资源导出系统，其目的在于将资源数据预先同步至本地数据库，减少RPC调用频次，同时使用分布式多实例来增加资源导出计算能力，由此解决全量资源导出慢，处理时间长的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种北向接口资源导出系统，包括多实例导出服务和统一的报表资源访问服务，其中：
所述多实例导出服务，用于根据不同的北向接口标准，导出不同的资源数据，生成文件、压缩文件、上传文件至云服务器；
所述统一的报表资源访问服务，用于完成资源数据同步，转换为统一的数据模型持久化存储于本地数据库，并且保证数据实时性与后台数据的一致性。
本发明的一个实施例中，所述多实例导出服务分为任务分派模块、导出总体框架以及导出模型插件，其中：
所述任务分派模块，用于将接收到的导出任务按照不同资源类型拆分为不同的小任务，获取当前可用的导出服务实例，将这些小任务下发给这些可用的导出服务实例；
导出总体框架，用于在接收到任务分配模块下发的任务后，根据传入的北向接口标准类型、导出资源类型，加载不同的导出模型插件，根据当前的资源类型向统一的报表资源访问服务请求资源数据，并将请求到的资源数据放入数据队列中；转换线程组不断从数据队列中取数据，转换为符合当前标准的数据模型，接着将转换后的数据放入文件生成队列中，文件生成线程不断从队列中取数据，根据当前资源类型，将数据写入不同的文件中，等待数据查询线程、数据转换线程、文件生成线程任务完成后，将文件压缩并上传到云服务器中；
所述导出模型插件，用于将资源数据生成符合不同北向接口标准模型，所有导出模型插件实现遵循统一的接口定义，便于导出总体框架加载执行。
本发明的一个实施例中，所述统一的报表资源访问服务2由全量同步模块、增量同步模块、数据模型转换、以及资源查询模块组成，其中：
所述全量同步模块，用于检查本地缓存使用的数据模型与当前程序使用的数据模型是否一致，不一致则清空本地数据库缓存；向后台请求资源时标信息，同时获取本地缓存资源的时标信息，根据后台资源与本地资源的时标信息，计算出全量资源增加、修改、删除资源索引，并执行相应的增加、修改、删除操作；
所述增量同步模块，用于将接收到的消息关联转换函数，放入待转换队列中，数据转换线程将待转换数据转换为北向统一的数据模型，并序列化数据，同步至本地数据库中；
所述数据模型转换，用于完成资源数据模型转换，将全量同步模块、增量同步模块的资源数据转换为北向统一的资源数据，并转换为序列化数据；
所述资源查询模块，用于对各种资源查询提供统一的封装，并提供RPC接口供其它服务查询。
本发明的一个实施例中，所述全量同步模块在资源条目有时标信息时实现全量同步包括：
S2101:全量同步模块初始化：其中，包括初始化线程池和关联线程池运行函数；并且，初始化同步任务分派线程，关联分派工作函数，并初始化同步的资源类型列表；同步任务分派线程完成初始化后，扫描待同步的资源类型，依次加入线程池中，供线程池中各个空闲线程消费；若线程池中无空闲线程，则阻塞等待空闲线程；
S2102：服务启动时，检查数据模型是否变更：每个资源同步任务开始时，从本地数据库中随机加载该资源的一条数据，使用当前模型进行反序列化，如果反序列化成功，直接进入步骤S2103；反之反序列化不成功，则先清空当前资源本地数据库缓存；
S2103:获取后台资源与本地资源时标信息，计算增删改资源索引：向后台请求当前资源的时标信息，即每条子资源的更新时间；并且，从本地数据库中获取当前资源的所有资源时标信息；时标信息获取完成后，计算增删改资源索引，即遍历所有资源，比较后台时标信息与本地数据库存储的时标信息；如果当前资源索引在本地数据库中未找到，而后台存在，则为新增资源，加入新增资源列表中；如果当前资源索引在本地数据库能找到，但从后台获取的时标信息比本地数据库中的资源关联的时标信息新，则为需更新的资源，加入更新列表中；如果当前资源索引无法从后台资源列表中找到，则证明该资源已经删除，加入到删除列表中；增删改资源索引计算完成后，根据计算出的删除资源索引，删除本地数据库中对应的资源；
S2104:计算资源同步模式，便于资源同步时采用不同的查询策略：首先，判断变更资源是否超过指定阈值；设增加资源数量为nadd，修改资源为nupdate，当前资源类型全量资源数量为n，则阈值
Figure BDA0003455498310000041
时，使用全量查询，即同步后台资源全量数据；反之，则使用增量查询，即根据步骤S2103计算出的增加、修改资源索引，下发增加、修改资源索引进行查询；
S2105:同步资源数据，完成数据模型转换：迭代查询增加、修改资源详细数据，该批次数据获取完成后，将查询到的资源数据关联模型转换函数；并且，将关联了转换函数的数据放入待转换数据队列中，进行数据模型转换；接着，通过判断迭代查询是否还有下一批次数据，判断当前资源类型是否同步完成；数据还没同步完成，循环迭代查询下一批次数据；反之，直接进入步骤S2106，结束同步资源数据；
S2106:订阅后台资源上报主题：所有资源都同步完成后，订阅后台资源上报主题，便于实时接收后台资源数据上报。
本发明的一个实施例中，所述数据模型转换在资源条目有时标信息时对S2105队列中的数据进行数据模型转换包括：
S2301：数据模型转换初始化；
S2302：取资源数据，完成数据模型转换：模型转换线程不断从队列中取数据，如果无法获取到数据，休眠一段时间，继续检查队列中是否有数据；反之，如果队列中有数据，取关联的转换函数，待转换的业务数据，将业务数据转换成北向统一的数据，并序列化为北向统一的数据；
S2303:将转换后的数据模型同步至本地数据库：根据当前转换函数判断待转换的业务数据是增加、修改还是删除，同步本地数据库资源；如果是增加资源条目，增加该资源条目至本地数据库；如果是修改资源，则更新本地数据库该资源条目；如果是删除该资源条目，则从本地数据库中删除该资源数据。
本发明的一个实施例中，所述全量同步模块在资源条目无时标信息时实现全量同步包括：
S2111：全量同步模块初始化：初始化线程池，关联线程池运行函数；并且，初始化同步任务分派线程，关联分派工作函数，并初始化同步的资源类型列表；同步任务分派线程完成初始化后，扫描待同步的资源类型，依次加入线程池中，供线程池中各个空闲线程消费；若线程池中无空闲线程，则阻塞等待空闲线程；
S2112：检查数据模型是否变更：每个资源同步任务首先从本地数据库中随机加载一条数据，使用当前模型进行反序列化，如果反序列化成功，证明数据库中使用的数据模型和全量同步模块使用的数据模型一致；即数据库中缓存的数据可以正常使用，直接进入步骤S2113；反之，反序列化不成功，则说明全量同步模块使用的数据模型已升级到新的版本，本地缓存的数据无法使用，需先清空当前资源本地数据库缓存，再执行步骤S2113；
S2113：检查是否需进行全量同步：从本地数据库库中查询全量同步标记，检查当前待同步资源是否完成过全量同步，若完成过全量同步，则直接进入步骤S2114，跳过全量资源同步流程；反之，需进行全量资源同步，向后台服务查询资源数据，将查询到的资源数据关联模型转换函数，并将关联了转换函数的数据放入待转换数据队列中，进行数据模型转换；
S2114：从缓存的上报流水号订阅上报主题，获取服务停止期间增量消息：从本地数据库中获取上报流水号，并从当前流水号订阅上报主题，接收统一的报表资源访问服务停止期间的后台资源变更消息。
本发明的一个实施例中，所述资源查询模块进行资源查询包括：
S2401：下发迭代查询任务：下发迭代查询任务，该任务包括资源类型、查询数量；接着判断是否为该资源第一次迭代查询，若是则进入步骤S2402；否则进入步骤S2403；
S2402：生成异步迭代查询任务，并将任务加入线程池：生成迭代查询任务标识，并关联异步查询任务，放入缓存中；并且将生成的异步查询任务放入线程池，供线程池中空闲线程执行；
S2403：从资源缓存队列中取出满足要求的资源数据：从查询队列中取出一批数据，每批数据多少由入参控制；判断取出的一批数据是否大于等于指定查询数量，如果大于指定查询数量，则直接返回；反之则判断是否超时；如果超时，结束当前异步查询任务；反之则循环从队列中取数据。
本发明的一个实施例中，所述异步查询任务包括：
先从数据库中取出查询资源索引集合，再分批从数据库中取出详细数据，进行数据转换后，放入数据队列。
本发明的一个实施例中，所述导出总体框架的实现具体包括：
S1101：导出总体框架初始化，加载导出模型插件：加载导出模型插件，并初始化数据查询、数据转换、文件写入线程；
S1102：从统一的报表资源访问服务查询数据，并放入待转换队列中：根据当前资源类型，向统一的报表资源访问服务查询资源数据，一批资源数据查询完成后，将查询到的资源数据放入待处理队列中；接着，判断资源数据是否查询完成，若未查询完成，则循环执行步骤S1102；反之，结束当前查询任务；
S1103：数据模型转换，并将转换后的模型数据放入文件队列中：数据模型转换线程则不断从步骤S1102队列中取数据；若取出数据成功，则将该数据转换为当前北向接口标准、当前资源类型的数据模型；反之队列为空，则进一步判断资源查询任务是否完成；若查询完成，结束该查询任务；反之，则循环从队列中取数据，重复执行步骤S1103；将转换好的北向数据模型放入文件队列中，供文件生成线程生成对应的文件；
S1104:写文件、压缩文件、上传文件：将取出的模型数据首先写缓存；如果缓存大于指定阈值rammax＝3MB，则将缓存数据写入到文件，并清空当前缓存；反之则写缓存，跳过写文件步骤；将文件写缓存，主要原因是文件写入较慢，通过使用缓存提高写文件速度；并且将生成文件压缩，并将压缩后的文件上传至文件服务器，便于上层综合网管获取资源文件；最后向任务分配模块上报任务执行完成。
本发明的一个实施例中，所述北向接口标准包括CORBA(Common Object RequestBroker Architecture，公共对象请求代理体系结构)、MTOSI(Multi-TechnologyOperations Systems Interface，多重技术运营系统接口)、TAPI(Transport API，传输应用程序接口)。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有如下有益效果：
(1)通过上述方案，统一的北向资源访问模块在启动时，将后台服务数据、及设备状态数据同步至本地数据库中，并实时刷新本地资源数据；任务分派模块在接收到导出任务后，将导出任务根据不同资源类型分成不同的小任务，下发给不同的分布式多实例导出服务。导出服务在接收到导出任务后，根据导出任务中的北向接口标准类型、资源类型，加载不同插件，完成资源的快速导出。通过将资源数据同步至本地数据库，大大减少了后台服务、设备的RPC请求，提高了资源数据查询效率，同时，也避免了数据模型重复转换；另一方面，导出服务采用分布式多实例部署，将一个大任务拆分为不同的小任务，下发给不同的导出服务实例完成，大幅提高了北向接口资源导出效率；
(2)在该方案中，导出服务采用分布式多实例部署，利用分布式多实例优势，资源导出计算能力支持水平扩展，可以根据当前管理设备数量、当前北向接口标准对导出效率要求，动态扩充资源导出计算能力；
(3)由于在资源访问模块采用了统一的数据模型，并将数据序列化存储，不同北向接口标准资源导出采用插件加载，有效避免了相似功能重复编码；
(4)资源导出数据从原来的后台服务、设备切换到统一的报表资源访问服务，大大降低了对后台服务、设备的RPC请求数量，一定程度上避免了调用慢查询接口阻塞后台服务、设备请求队列，影响后台服务正常运行的情况；
(5)资源数据导出数据来源切换到了统一的报表资源访问服务，不再向下请求后台服务、设备，隔离了后台服务、设备代码修改对资源导出效率影响。
附图说明
图1是本发明提供的北向接口资源导出系统的结构示意图；
图2是本发明提供的在资源条目有时标信息时全量同步的流程示意图；
图3是本发明提供的资源全量同步的数据模型转换、增量同步模块流程示意图；
图4是本发明提供的在资源条目无时标信息时全量同步的流程示意图；
图5是本发明提供的资源全量同步的另一实施例的数据模型转换、增量同步模块流程示意图；
图6为本发明提供的资源查询模块的流程图；
图7是本发明资源导出服务分布式多实例部署示意图；
图8是本发明任务分派模块的流程图；
图9是本发明导出总体框架的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同；本文中在发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明；本发明的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本发明的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本发明方案，下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述。
图1是本发明中一种北向接口资源导出系统的结构示意图。本系统包括多实例导出服务1、统一的报表资源访问服务2。
多实例导出服务1主要用于根据不同的北向接口标准，导出不同的资源数据，生成文件、压缩文件、上传文件至云服务器。具体地，多实例导出服务1分为任务分派模块10、导出总体框架11以及导出模型插件12。
任务分派模块10将接收到的导出任务按照不同资源类型拆分为不同的小任务。同时，获取当前可用的导出服务实例，将这些小任务下发给这些可用的导出服务实例。
导出总体框架11接收到任务分配模块10下发的任务后，根据传入的北向接口标准类型、导出资源类型，加载不同的导出模型插件。导出模型插件12加载完成后，根据当前的资源类型向统一的报表资源访问服务请求资源数据，并将请求到的资源数据放入导出总体框架11的数据队列中。导出总体框架11的转换线程组则不断从数据队列中取数据，转换为符合当前标准的数据模型，接着将转换后的数据放入导出总体框架11的文件生成队列中。同时，导出总体框架11的文件生成线程不断从队列中取数据，根据当前资源类型，将数据写入不同的文件中。等待数据查询线程、数据转换线程、文件生成线程任务完成后，将文件压缩，上传到云服务器中。
导出模型插件12将资源数据生成符合不同北向接口标准模型，所有导出模型插件实现遵循统一的接口定义，便于导出总体框架11加载执行。
统一的报表资源访问服务2主要完成资源数据同步，转换为统一的数据模型，并持久化存储于本地数据库。同时，保证数据实时性，与后台数据的一致性。统一的报表资源访问服务2主要由全量同步模块21、增量同步模块22、数据模型转换23、以及资源查询模块24组成。
全量同步模块21首先检查本地缓存使用的数据模型与当前程序使用的数据模型是否一致，不一致则证明数据模型已升级，清空本地数据库缓存。接着，向后台请求资源时标信息，同时获取本地缓存资源的时标信息。根据后台资源与本地资源的时标信息，计算出全量资源增加、修改、删除资源索引并执行相应的增加、修改、删除操作；具体地，根据删除的资源索引删除本地数据库相关资源。接着，向后台请求增加、修改资源详细数据，再将查询到的资源详细数据关联转换函数，放入待转换队列中。
增量同步模块22在接收到后台资源数据发生变更后，上报增删改数据到消息总线，消息总线则把消息推送到增量同步模块。该模块将接收到的消息关联转换函数，放入待转换队列中。同上，数据转换线程将待转换数据转换为北向统一的数据模型，并序列化数据，同步至本地数据库中。
数据模型转换23完成资源数据模型转换，将全量同步模块、增量同步模块的资源数据转换为北向统一的资源数据，并转换为序列化数据。
资源查询模块24对各种资源查询提供统一的封装，并提供RPC接口供其它服务查询。
接下来，参考图2具体描述统一的报表资源访问服务的全量同步模块进行资源数据同步的详细步骤：
S2101:全量同步模块初始化。
其中，包括初始化线程池，关联线程池运行函数；并且，初始化同步任务分派线程，关联分派工作函数，并初始化同步的资源类型列表。同步任务分派线程完成初始化后，扫描待同步的资源类型，依次加入线程池中，供线程池中各个空闲线程消费。若线程池中无空闲线程，则阻塞等待空闲线程。需注意到，不同业务资源类型会重复步骤S2102-S2105，即不同资源类型全量同步步骤是一样的。不同的是，不同业务资源类型后台使用的数据模型，以及提供数据模型转换函数有所区别。这里的业务资源类型包括隧道(Tunnel)、伪线(PW)、二层业务(L2VPN)、三层业务(L3VPN)、SR(Segment Routing)隧道、灵活的以太网通道(FlexEthernet Channel)。
S2102：服务启动时，检查数据模型是否变更。
每个资源同步任务开始时，从本地数据库中随机加载该资源的一条数据，使用当前模型进行反序列化，如果反序列化成功，证明数据库中使用的数据模型和全量同步模块使用的数据模型一致，即数据库中缓存的数据可以正常使用，不必全量加载数据，直接进入步骤S2103；反之，反序列化不成功，则说明全量同步模块使用的数据模型已升级到新的版本，本地缓存的数据无法使用，需先清空当前资源本地数据库缓存。需要说明的是，本发明使用的数据模型都是使用的是ICE(Internet Communications Engine)语言定义，它具有编程语言无关性、操作系统平台无关性，可以比较容易进行数据序列化、反序列化。
S2103:获取后台资源与本地资源时标信息，计算增删改资源索引。
为了快速识别出资源增删改信息，向后台请求当前资源的时标信息，即每条子资源的更新时间。同时，从本地数据库中获取当前资源的所有资源时标信息。时标信息获取完成后，计算增删改资源索引，即遍历所有资源，比较后台时标信息与本地数据库存储的时标信息。如果当前资源索引在本地数据库中未找到，而后台存在，则为新增资源，加入新增资源列表中；如果当前资源索引在本地数据库能找到，但从后台获取的时标信息比本地数据库中的资源关联的时标信息新，则为需更新的资源，加入更新列表中；如果当前资源索引无法从后台资源列表中找到，则证明该资源已经删除，加入到删除列表中。增删改资源索引计算完成后，根据计算出的删除资源索引，删除本地数据库中对应的资源。
S2104:计算资源同步模式，便于资源同步时采用不同的查询策略。
首先，判断变更资源是否超过指定阈值。设增加资源数量为nadd，修改资源为nupdate，当前资源类型全量资源数量为n，则阈值
Figure BDA0003455498310000121
时，使用全量查询，即同步后台资源全量数据；反之，则使用增量查询，即根据步骤S2103计算出的增加、修改资源索引，下发增加、修改资源索引进行查询。
S2105:同步资源数据，完成数据模型转换。
迭代查询增加、修改资源详细数据，该批次数据获取完成后，将查询到的资源数据关联模型转换函数。同时，将关联了转换函数的数据放入待转换数据队列中，进行数据模型转换。接着，通过判断迭代查询是否还有下一批次数据，判断当前资源类型是否同步完成。数据还没同步完成，循环迭代查询下一批次数据；反之，直接进入步骤S2106，结束同步资源数据。需注意的是，这里使用了迭代查询，是为了避免因资源数据量太大，占用内存较大，导致程序因内存耗尽导致程序崩溃。
S2106:订阅后台资源上报主题。
所有资源都同步完成后，订阅后台资源上报主题，便于实时接收后台资源数据上报。
如图3所示，为数据模型转换流程图。数据模型转换线程消费图2中步骤S2105队列中的数据，不断从队列中取数据，取出关联的转换函数，待转换数据，转换成北向统一的数据模型，包括：
S2301：数据模型转换初始化，主要完成数据模型转换线程初始化。
S2302：取资源数据，完成数据模型转换。
模型转换线程不断从队列中取数据，如果无法获取到数据，休眠一段时间，继续检查队列中是否有数据；反之，如果队列中有数据，取关联的转换函数，待转换的业务数据，将业务数据转换成北向统一的数据，并序列化为北向统一的数据。
S2303:将转换后的数据模型同步至本地数据库。
根据当前转换函数判断待转换的业务数据是增加、修改，还是删除，同步本地数据库资源。如果是增加资源条目，增加该资源条目至本地数据库；如果是修改资源，则更新本地数据库该资源条目；如果是删除该资源条目，则从本地数据库中删除该资源数据；
同样的，增量同步模块可以参考图3，后台有资源数据增加、修改以及删除上报时，则将增加、修改和删除的资源数据关联转换函数，放入待转换队列中。注意到，这里的队列和全量同步模块S2105使用的队列是一致的，不同的是，关联的处理函数不一样。处理上报的数据也同样使用步骤S2302、S2303，在此不再赘述。
上面阐述的全量同步模块的实施例是在资源条目有时标信息的情况下有效，且资源数量不是特别大，一般小于一百万。而对于一些大批量资源，比如端口资源，它的资源数量达到上亿级别，通过遍历比较端口资源的时标信息是不现实的。针对这种大数据资源，我们提供了另外一种全量数据同步的实施例，下面介绍该实施例的详细步骤：
参考图4，为无时标信息的全量同步模块流程图，包括如下步骤：
S2111：全量同步模块初始化。
初始化线程池，关联线程池运行函数；同时，初始化同步任务分派线程，关联分派工作函数，并初始化同步的资源类型列表。同步任务分派线程完成初始化后，扫描待同步的资源类型，依次加入线程池中，供线程池中各个空闲线程消费。若线程池中无空闲线程，则阻塞等待空闲线程。
其中，步骤S2112-S2114为线程池中每个线程执行的资源同步任务的详细步骤，同时，需注意到，不同业务资源类型会重复步骤S2112、S2113，即不同资源类型全量同步步骤是一样的。不同的是，不同业务资源类型后台使用的数据模型，以及提供数据模型转换函数是有区别的。这里的业务资源类型包括物理端口、逻辑端口。
S2112：检查数据模型是否变更。
每个资源同步任务首先从本地数据库中随机加载一条数据，使用当前模型进行反序列化，如果反序列化成功，证明数据库中使用的数据模型和全量同步模块使用的数据模型一致。即数据库中缓存的数据可以正常使用，直接进入步骤S2113。反之，反序列化不成功，则说明全量同步模块使用的数据模型已升级到新的版本，本地缓存的数据无法使用，需先清空当前资源本地数据库缓存，再执行步骤S2113。
S2113：检查是否需进行全量同步。
从本地数据库库中查询全量同步标记，检查当前待同步资源是否完成过全量同步，若完成过全量同步，则直接进入步骤S2114，跳过全量资源同步流程；反之，需进行全量资源同步，向后台服务查询资源数据，将查询到的资源数据关联模型转换函数，并将关联了转换函数的数据放入待转换数据队列中，进行数据模型转换。
S2114：从缓存的上报流水号订阅上报主题，获取服务停止期间增量消息。
从本地数据库中获取上报流水号，并从当前流水号订阅上报主题，接收统一的报表资源访问服务停止期间的后台资源变更消息。
图5为另一种数据模型转换实施例，其目的是适配未有时标信息资源的全量同步模块。该流程图与图3的流程图相比，在接收上报数据的同时，增加一个步骤S2312，将上报的流水号持久化存储于本地数据库，其它步骤与图3的流程一致，在此不再赘述。
从图4实施例的步骤可以看出，与图2实施例不同的是，不再通过获取后台资源时标信息来比较后台与本地资源的差异信息，而是像步骤S2113描述的那样，检查是否完成过全量数据同步。如果完成过全量数据同步，则读取该资源本地缓存的上报流水号，从该流水号订阅后台资源变更数据。上报数据同步模块在接收到后台数据上报时，更新本地数据库上报的流水号，正如步骤S2312描述的那样。利用消息总线缓存变更上报数据，完成数据的增量式同步。例如，本地流水号SNlocal＝n1，消息总线缓存的最新流水号是SNremote＝n2，其中n2＞n1。从n1处订阅消息，则订阅主题成功后，消息总线会把未接收的消息msg∈(n1,n2]按照先后顺序上报上来，增量同步模块依次处理这些消息，完成消息增量同步。
下面对资源查询模块进行详细描述，参考图6，具体步骤包括：
S2401：下发迭代查询任务。
下发迭代查询任务，该任务包括资源类型、查询数量等。接着，判断是否为该资源第一次迭代查询，若是，则进入步骤S2402；否则，进入步骤S2403。
S2402：生成异步迭代查询任务，并将任务加入线程池。
由于数据库存储的是序列化数据，从数据库查询上来的数据还需经过数据模型转换，该过程有点耗时，故生成异步迭代查询任务。生成迭代查询任务标识，并关联异步查询任务，放入缓存中。同时，将生成的异步查询任务放入线程池，供线程池中空闲线程执行。
S2403：从资源缓存队列中取出满足要求的资源数据。
从查询队列中取出一批数据，每批数据多少由入参控制。判断取出的一批数据是否大于等于指定查询数量，如果大于指定查询数量，则直接返回；反之，则判断是否超时。如果超时，结束当前异步查询任务；反之，则循环从队列中取数据。
异步查询任务执行的步骤是：先从数据库中取出查询资源索引集合，再分批从数据库中取出详细数据，进行数据转换后，放入队列。注意到，这里不是一次从数据库中查询所有数据，是因为一次查询所有数据，占用内存较大，影响服务正常运行。
上面描述的是统一的报表资源访问服务详细执行步骤。而多实例导出服务分为任务分派模块、导出总体框架，以及导出模型插件。接下来，详细描述多实例导出服务的详细步骤：
参考图7，资源导出服务采用分布式多实例部署，即在不同的服务器上部署多个导出服务实例，提高资源导出计算能力。需注意的是，一台服务器上根据当前CPU资源大小，既可以部署多个导出实例，也可以部署一个导出服务实例。设管理的设备总数为ndevice-total，导出服务实例个数大致可以根据以下公式计算：
n＝ndevice-total/1000。
图8为任务分配模块的流程图，任务分配包括：
S1001，接收到资源导出任务后，初始化任务分派模块。
S1002，获取当前空闲的导出服务实例；
S1003，根据资源类型，拆分为不同的小任务。
S1004，将这些小任务下发给各个导出服务实例。同时，各个导出服务任务完成后，将完成状态上报给任务分配模块，将该实例置为空闲状态。
下面详细介绍导出总体框架，详细流程图参考图9。
S1101：导出总体框架初始化，加载导出模型插件。
加载导出模型插件，并初始化数据查询、数据转换、文件写入线程。
S1102：从统一的报表资源访问服务查询数据，并放入待转换队列中。
根据当前资源类型，向统一的报表资源访问服务查询资源数据，一批资源数据查询完成后，将查询到的资源数据放入待处理队列中。接着，判断资源数据是否查询完成，若未查询完成，则循环执行步骤S1102；反之，结束当前查询任务。
S1103：数据模型转换，并将转换后的模型数据放入文件队列中。
数据模型转换线程则不断从步骤S1102队列中取数据。若取出数据成功，则将该数据转换为当前北向接口标准、当前资源类型的数据模型；反之，队列为空，则进一步判断资源查询任务是否完成。若查询完成，结束该查询任务；反之，则循环从队列中取数据，重复执行步骤S113。将转换好的北向数据模型放入文件队列中，供文件生成线程生成对应的文件。
S1104:写文件、压缩文件、上传文件。
将取出的模型数据首先写缓存。如果缓存大于指定阈值rammax＝3MB(MillionByte)，则将缓存数据写入到文件，并清空当前缓存；反之，则写缓存，跳过写文件步骤。将文件写缓存，主要原因是文件写入较慢，通过使用缓存提高写文件速度。同时，将生成文件压缩，并将压缩后的文件上传至文件服务器，便于上层综合网管获取资源文件。最后，向任务分配模块上报任务执行完成。
导出模型插件主要将查询到的数据转换为不同的北向接口标准，并输出到文件中。导出模型插件遵循统一的接口定义，不同的插件实现不同的北向接口标准模型转换，这里的北向接口标准包括CORBA(Common Object Request Broker Architecture，公共对象请求代理体系结构)、MTOSI(Multi-Technology Operations Systems Interface，多重技术运营系统接口)、TAPI(Transport API，传输应用程序接口)。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种北向接口资源导出系统，其特征在于，包括多实例导出服务和统一的报表资源访问服务，其中：
所述多实例导出服务，用于根据不同的北向接口标准，导出不同的资源数据，生成文件、压缩文件、上传文件至云服务器；
所述统一的报表资源访问服务，用于完成资源数据同步，转换为统一的数据模型持久化存储于本地数据库，并且保证数据实时性与后台数据的一致性。
2.如权利要求1所述的北向接口资源导出系统，其特征在于，所述多实例导出服务分为任务分派模块、导出总体框架以及导出模型插件，其中：
所述任务分派模块，用于将接收到的导出任务按照不同资源类型拆分为不同的小任务，获取当前可用的导出服务实例，将这些小任务下发给这些可用的导出服务实例；
导出总体框架，用于在接收到任务分配模块下发的任务后，根据传入的北向接口标准类型、导出资源类型，加载不同的导出模型插件，根据当前的资源类型向统一的报表资源访问服务请求资源数据，并将请求到的资源数据放入数据队列中；转换线程组不断从数据队列中取数据，转换为符合当前标准的数据模型，接着将转换后的数据放入文件生成队列中，文件生成线程不断从队列中取数据，根据当前资源类型，将数据写入不同的文件中，等待数据查询线程、数据转换线程、文件生成线程任务完成后，将文件压缩并上传到云服务器中；
所述导出模型插件，用于将资源数据生成符合不同北向接口标准模型，所有导出模型插件实现遵循统一的接口定义，便于导出总体框架加载执行。
3.如权利要求1或2所述的北向接口资源导出系统，其特征在于，所述统一的报表资源访问服务由全量同步模块、增量同步模块、数据模型转换、以及资源查询模块组成，其中：
所述全量同步模块，用于检查本地缓存使用的数据模型与当前程序使用的数据模型是否一致，不一致则清空本地数据库缓存；向后台请求资源时标信息，同时获取本地缓存资源的时标信息，根据后台资源与本地资源的时标信息，计算出全量资源增加、修改、删除资源索引，并执行相应的增加、修改、删除操作；
所述增量同步模块，用于将接收到的消息关联转换函数，放入待转换队列中，数据转换线程将待转换数据转换为北向统一的数据模型，并序列化数据，同步至本地数据库中；
所述数据模型转换，用于完成资源数据模型转换，将全量同步模块、增量同步模块的资源数据转换为北向统一的资源数据，并转换为序列化数据；
所述资源查询模块，用于对各种资源查询提供统一的封装，并提供RPC接口供其它服务查询。
4.如权利要求3所述的北向接口资源导出系统，其特征在于，所述全量同步模块在资源条目有时标信息时实现全量同步包括：
S2101:全量同步模块初始化：其中，包括初始化线程池和关联线程池运行函数；并且，初始化同步任务分派线程，关联分派工作函数，并初始化同步的资源类型列表；同步任务分派线程完成初始化后，扫描待同步的资源类型，依次加入线程池中，供线程池中各个空闲线程消费；若线程池中无空闲线程，则阻塞等待空闲线程；
S2102：服务启动时，检查数据模型是否变更：每个资源同步任务开始时，从本地数据库中随机加载该资源的一条数据，使用当前模型进行反序列化，如果反序列化成功，直接进入步骤S2103；反之反序列化不成功，则先清空当前资源本地数据库缓存；
S2103:获取后台资源与本地资源时标信息，计算增删改资源索引：向后台请求当前资源的时标信息，即每条子资源的更新时间；并且，从本地数据库中获取当前资源的所有资源时标信息；时标信息获取完成后，计算增删改资源索引，即遍历所有资源，比较后台时标信息与本地数据库存储的时标信息；如果当前资源索引在本地数据库中未找到，而后台存在，则为新增资源，加入新增资源列表中；如果当前资源索引在本地数据库能找到，但从后台获取的时标信息比本地数据库中的资源关联的时标信息新，则为需更新的资源，加入更新列表中；如果当前资源索引无法从后台资源列表中找到，则证明该资源已经删除，加入到删除列表中；增删改资源索引计算完成后，根据计算出的删除资源索引，删除本地数据库中对应的资源；
S2104:计算资源同步模式，便于资源同步时采用不同的查询策略：首先，判断变更资源是否超过指定阈值；设增加资源数量为nadd，修改资源为nupdate，当前资源类型全量资源数量为n，则阈值
Figure FDA0003455498300000031
时，使用全量查询，即同步后台资源全量数据；反之，则使用增量查询，即根据步骤S2103计算出的增加、修改资源索引，下发增加、修改资源索引进行查询；
S2105:同步资源数据，完成数据模型转换：迭代查询增加、修改资源详细数据，该批次数据获取完成后，将查询到的资源数据关联模型转换函数；并且，将关联了转换函数的数据放入待转换数据队列中，进行数据模型转换；接着，通过判断迭代查询是否还有下一批次数据，判断当前资源类型是否同步完成；数据还没同步完成，循环迭代查询下一批次数据；反之，直接进入步骤S2106，结束同步资源数据；
S2106:订阅后台资源上报主题：所有资源都同步完成后，订阅后台资源上报主题，便于实时接收后台资源数据上报。
5.如权利要求4所述的北向接口资源导出系统，其特征在于，所述数据模型转换在资源条目有时标信息时对S2105队列中的数据进行数据模型转换包括：
S2301：数据模型转换初始化；
S2302：取资源数据，完成数据模型转换：模型转换线程不断从队列中取数据，如果无法获取到数据，休眠一段时间，继续检查队列中是否有数据；反之，如果队列中有数据，取关联的转换函数，待转换的业务数据，将业务数据转换成北向统一的数据，并序列化为北向统一的数据；
S2303:将转换后的数据模型同步至本地数据库：根据当前转换函数判断待转换的业务数据是增加、修改还是删除，同步本地数据库资源；如果是增加资源条目，增加该资源条目至本地数据库；如果是修改资源，则更新本地数据库该资源条目；如果是删除该资源条目，则从本地数据库中删除该资源数据。
6.如权利要求3所述的北向接口资源导出系统，其特征在于，所述全量同步模块在资源条目无时标信息时实现全量同步包括：
S2111：全量同步模块初始化：初始化线程池，关联线程池运行函数；并且，初始化同步任务分派线程，关联分派工作函数，并初始化同步的资源类型列表；同步任务分派线程完成初始化后，扫描待同步的资源类型，依次加入线程池中，供线程池中各个空闲线程消费；若线程池中无空闲线程，则阻塞等待空闲线程；
S2112：检查数据模型是否变更：每个资源同步任务首先从本地数据库中随机加载一条数据，使用当前模型进行反序列化，如果反序列化成功，证明数据库中使用的数据模型和全量同步模块使用的数据模型一致；即数据库中缓存的数据可以正常使用，直接进入步骤S2113；反之，反序列化不成功，则说明全量同步模块使用的数据模型已升级到新的版本，本地缓存的数据无法使用，需先清空当前资源本地数据库缓存，再执行步骤S2113；
S2113：检查是否需进行全量同步：从本地数据库库中查询全量同步标记，检查当前待同步资源是否完成过全量同步，若完成过全量同步，则直接进入步骤S2114，跳过全量资源同步流程；反之，需进行全量资源同步，向后台服务查询资源数据，将查询到的资源数据关联模型转换函数，并将关联了转换函数的数据放入待转换数据队列中，进行数据模型转换；
S2114：从缓存的上报流水号订阅上报主题，获取服务停止期间增量消息：从本地数据库中获取上报流水号，并从当前流水号订阅上报主题，接收统一的报表资源访问服务停止期间的后台资源变更消息。
7.如权利要求3所述的北向接口资源导出系统，其特征在于，所述资源查询模块进行资源查询包括：
S2401：下发迭代查询任务：下发迭代查询任务，该任务包括资源类型、查询数量；接着判断是否为该资源第一次迭代查询，若是则进入步骤S2402；否则进入步骤S2403；
S2402：生成异步迭代查询任务，并将任务加入线程池：生成迭代查询任务标识，并关联异步查询任务，放入缓存中；并且将生成的异步查询任务放入线程池，供线程池中空闲线程执行；
S2403：从资源缓存队列中取出满足要求的资源数据：从查询队列中取出一批数据，每批数据多少由入参控制；判断取出的一批数据是否大于等于指定查询数量，如果大于指定查询数量，则直接返回；反之则判断是否超时；如果超时，结束当前异步查询任务；反之则循环从队列中取数据。
8.如权利要求7所述的北向接口资源导出系统，其特征在于，所述异步查询任务包括：
先从数据库中取出查询资源索引集合，再分批从数据库中取出详细数据，进行数据转换后，放入数据队列。
9.如权利要求2所述的北向接口资源导出系统，其特征在于，所述导出总体框架的实现具体包括：
S1101：导出总体框架初始化，加载导出模型插件：加载导出模型插件，并初始化数据查询、数据转换、文件写入线程；
S1102：从统一的报表资源访问服务查询数据，并放入待转换队列中：根据当前资源类型，向统一的报表资源访问服务查询资源数据，一批资源数据查询完成后，将查询到的资源数据放入待处理队列中；接着，判断资源数据是否查询完成，若未查询完成，则循环执行步骤S1102；反之，结束当前查询任务；
S1103：数据模型转换，并将转换后的模型数据放入文件队列中：数据模型转换线程则不断从步骤S1102队列中取数据；若取出数据成功，则将该数据转换为当前北向接口标准、当前资源类型的数据模型；反之队列为空，则进一步判断资源查询任务是否完成；若查询完成，结束该查询任务；反之，则循环从队列中取数据，重复执行步骤S1103；将转换好的北向数据模型放入文件队列中，供文件生成线程生成对应的文件；
S1104:写文件、压缩文件、上传文件：将取出的模型数据首先写缓存；如果缓存大于指定阈值rammax＝3MB，则将缓存数据写入到文件，并清空当前缓存；反之则写缓存，跳过写文件步骤；将文件写缓存，主要原因是文件写入较慢，通过使用缓存提高写文件速度；并且将生成文件压缩，并将压缩后的文件上传至文件服务器，便于上层综合网管获取资源文件；最后向任务分配模块上报任务执行完成。
10.如权利要求1或2所述的北向接口资源导出系统，其特征在于，所述北向接口标准包括CORBA(Common Object Request Broker Architecture，公共对象请求代理体系结构)、MTOSI(Multi-Technology Operations Systems Interface，多重技术运营系统接口)、TAPI(Transport API，传输应用程序接口)。
CN202210006021.9A 2022-01-04 2022-01-04 一种北向接口资源导出系统 Active CN114513522B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210006021.9A CN114513522B (zh) 2022-01-04 2022-01-04 一种北向接口资源导出系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210006021.9A CN114513522B (zh) 2022-01-04 2022-01-04 一种北向接口资源导出系统

Publications (2)

Publication Number Publication Date
CN114513522A true CN114513522A (zh) 2022-05-17
CN114513522B CN114513522B (zh) 2023-05-16

Family

ID=81550753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210006021.9A Active CN114513522B (zh) 2022-01-04 2022-01-04 一种北向接口资源导出系统

Country Status (1)

Country Link
CN (1) CN114513522B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116186130A (zh) * 2022-12-26 2023-05-30 北京万里开源软件有限公司 一种MySQL协议数据库的数据导入导出方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160094657A1 (en) * 2014-09-30 2016-03-31 Alcatel-Lucent Canada, Inc. Event-driven synchronization in snmp managed networks
CN107645413A (zh) * 2017-09-15 2018-01-30 国网山东省电力公司信息通信公司 智能化电话交换网核心侧接入侧全自动配置平台及方法
CN108092813A (zh) * 2017-12-21 2018-05-29 郑州云海信息技术有限公司 数据中心综合管理系统服务器硬件管理框架及实现方法
CN108540313A (zh) * 2018-03-21 2018-09-14 烽火通信科技股份有限公司 一种基于类型标识符的北向接口采集电路结构的方法
CN110545199A (zh) * 2019-07-24 2019-12-06 浪潮思科网络科技有限公司 一种基于Netflow的SDN网络流量统计装置及方法
CN110719194A (zh) * 2019-09-12 2020-01-21 中国联合网络通信集团有限公司 一种网络数据的分析方法及装置
CN111586678A (zh) * 2020-03-18 2020-08-25 国网江苏省电力有限公司信息通信分公司 一种电力通信无线专用网络运维支撑平台
CN112312345A (zh) * 2020-10-30 2021-02-02 上海市信产通信服务有限公司 基于容器云平台和大数据提升轨道交通运营能力的方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160094657A1 (en) * 2014-09-30 2016-03-31 Alcatel-Lucent Canada, Inc. Event-driven synchronization in snmp managed networks
CN107645413A (zh) * 2017-09-15 2018-01-30 国网山东省电力公司信息通信公司 智能化电话交换网核心侧接入侧全自动配置平台及方法
CN108092813A (zh) * 2017-12-21 2018-05-29 郑州云海信息技术有限公司 数据中心综合管理系统服务器硬件管理框架及实现方法
CN108540313A (zh) * 2018-03-21 2018-09-14 烽火通信科技股份有限公司 一种基于类型标识符的北向接口采集电路结构的方法
CN110545199A (zh) * 2019-07-24 2019-12-06 浪潮思科网络科技有限公司 一种基于Netflow的SDN网络流量统计装置及方法
CN110719194A (zh) * 2019-09-12 2020-01-21 中国联合网络通信集团有限公司 一种网络数据的分析方法及装置
CN111586678A (zh) * 2020-03-18 2020-08-25 国网江苏省电力有限公司信息通信分公司 一种电力通信无线专用网络运维支撑平台
CN112312345A (zh) * 2020-10-30 2021-02-02 上海市信产通信服务有限公司 基于容器云平台和大数据提升轨道交通运营能力的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116186130A (zh) * 2022-12-26 2023-05-30 北京万里开源软件有限公司 一种MySQL协议数据库的数据导入导出方法及系统
CN116186130B (zh) * 2022-12-26 2023-09-12 北京万里开源软件有限公司 一种MySQL协议数据库的数据导入导出方法及系统

Also Published As

Publication number Publication date
CN114513522B (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
US11146502B2 (en) Method and apparatus for allocating resource
CN101188566B (zh) 一种集群环境下数据缓存同步的方法及系统
US20180349313A1 (en) Parameter server and method for sharing distributed deep learning parameter using the same
CN104202423B (zh) 一种通过软件架构扩展缓存的系统
CN111177159B (zh) 一种数据处理的系统、方法和数据更新设备
CN109657174A (zh) 用于更新数据的方法和装置
CN106776783A (zh) 非结构化数据存储管理方法、服务器和系统
CN109639773B (zh) 一种动态构建的分布式数据集群控制系统及其方法
CN103019859A (zh) 一种对服务请求调度的方法和系统
CN113031864B (zh) 一种数据处理方法、装置、电子设备及存储介质
CN102026228B (zh) 通信网络性能数据的统计方法和设备
CN114513522B (zh) 一种北向接口资源导出系统
CN113885780A (zh) 数据同步方法、装置、电子设备、系统和存储介质
CN114528255A (zh) 元数据管理方法、电子设备及计算机程序产品
CN102006156B (zh) 配置数据的板间同步方法及系统
CN113360577A (zh) 一种mpp数据库数据处理方法、装置、设备及存储介质
CN115242660B (zh) 基于中心化的异构算力联邦系统及组网和执行方法
CN101751292B (zh) Atc系统中一种实现多机关键数据一致性功能的方法
WO2023273157A1 (zh) 一种工作流生成方法、装置、设备及存储介质
US7613710B2 (en) Suspending a result set and continuing from a suspended result set
CN114925078A (zh) 数据更新方法、系统、电子设备及存储介质
CN111177109A (zh) 一种删除过期键的方法和装置
CN114237858A (zh) 一种基于多集群网络的任务调度方法及系统
CN112463305A (zh) 一种云端虚拟化gpu的管理方法、系统及相关装置
CN112445590A (zh) 一种计算资源接入及调度系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant