CN114363190B - 一种基于镜像快照提供网络仿真数据的方法和装置 - Google Patents

Abstract

本发明公开了一种基于镜像快照提供网络仿真数据的方法和装置，方法包括步骤：获取预先配置的源数据配置模板、目标数据配置模板和任务配置模板；根据源数据配置模板中的信息连接现网数据库；访问现网数据库读取定义的源数据配置模板信息并记录；根据目标数据配置模板中的信息连接网络仿真平台数据库；将现网记录数据信息写到仿真平台数据库中。本发明根据灵活定义的用户需要镜像的数据库表信息，结合Disruptor高性能队列技术，将现网拓扑、流量、业务等数据库表镜像至网络仿真平台，为网络仿真平台提供真实数据来源，更好地模拟实际网络的故障、流量等行为，解决了现网规模大、数据多、多次查询和转换等导致的系统性能下降的问题。

Description

一种基于镜像快照提供网络仿真数据的方法和装置

技术领域

本发明涉及IP骨干网和5G承载网络中的应用技术领域，具体涉及一种基于镜像快照提供网络仿真数据的方法和装置。

背景技术

现网主要是真实用户实际使用的网络，基于现网镜像的网络仿真可以模拟割接、扩容、升级过程中的网络维护场景，对方案进行预验证，评估对网络的影响，提前识别方案的风险性和可行性，支撑维护人员判断是否现网部署，降低现网存在的风险。由于现网数据库条目很多，如果采用数据的查询再写入的方式，则会因为数据多次查询和转换导致网络仿真平台所在的系统的性能下降。

发明内容

技术目的：针对上述技术问题，本发明公开了一种基于镜像快照提供网络仿真数据的方法和装置，能够灵活定义用户需要镜像的数据库表，并结合使用Disruptor高性能队列技术，为网络仿真平台提供真实数据来源，更好地模拟实际网络的故障、流量等行为，解决了现网规模大、数据多、多次查询和转换等导致网络仿真平台所在的系统性能下降的问题。

技术方案：为实现上述技术目的，本发明采用了如下技术方案：

一种基于镜像快照提供网络仿真数据的方法，其特征在于：包括步骤：

获取预先配置的源数据配置模板、目标数据配置模板和任务配置模板，源数据配置模板中包括一个以上的源数据库表的信息和源数据库连接信息，目标数据配置模板中包括一个以上的目标数据库表的信息和目标数据库连接信息，任务配置模板中包括源数据配置模板和目标数据配置模板之间的关联关系、以及待镜像快照的源数据库表和目标数据库表之间的关联关系的信息；

根据源数据配置模板中的源数据库连接信息连接现网数据库；

通过Disruptor并发框架执行任务配置模板中的所有任务，根据源数据配置模板中的源数据库表的信息，在现网数据库中进行数据查询和获取，并将获得的数据以发布事件形式发出；

根据目标数据配置模板中的目标数据库连接信息连接网络仿真平台数据库；

监听事件并获取事件中的数据，将该数据存储到网络仿真平台数据库中。

作为优选，所述源数据库连接信息包括源数据配置模板id、源数据库连接方式、源数据库网址、源数据库驱动、源数据库用户名、源数据库密码和SQL语句，所述SQL语句用于从现网数据库中查询和获取数据；

所述目标数据库连接信息包括目标数据配置模板id、目标数据库连接方式、目标数据库网址、目标数据库驱动、目标数据库用户名和目标数据库密码。

作为优选，所述源数据配置模板中还配置了待镜像快照的数据库表条目数量规则，所述目标数据配置模板中还配置了表入库时是否清空原有表项规则，以及表入库失败错误时是否忽略规则。

作为优选，所述任务配置模板中，关联关系的信息包括源数据配置模板id和目标数据配置模板id。

作为优选，Disruptor并发框架发布事件时，将根据源数据配置模板查询到的数据进行缓存和序列化后发出，从事件获取的数据以反序列化方式存储到网络仿真平台数据库中。

一种基于镜像快照提供网络仿真数据的装置，其特征在于，包括：

配置信息获取模块，用于根据业务需求定义源数据配置模板、目标数据配置模板和任务配置模板，源数据配置模板中配置了一个以上的源数据库表的信息和源数据库连接信息，目标数据配置模板中配置了一个以上的目标数据库表的信息和目标数据库连接信息，任务配置模板中配置了待镜像快照的源数据库表和目标数据库表之间的关联关系的信息；

连接模块，根据源数据配置模板中的源数据库连接信息连接现网数据库；以及根据目标数据配置模板中的目标数据库连接信息连接网络仿真平台数据库；

Disruptor传递模块，用于通过Disruptor并发框架执行任务配置模板中的所有任务，根据源数据配置模板中的源数据库表的信息在现网数据库中进行数据查询和获取，并将获得的数据以发布事件形式发出；以及监听事件并获取事件中的数据，将该数据存储到网络仿真平台数据库中。

作为优选，所述连接模块采用JDBC连接方式，访问现网数据库和网络仿真平台数据库。

作为优选，所述源数据库连接信息包括：源数据配置模板id，数据库连接方式，源数据库URL，源数据库驱动，源数据库用户名、源数据库密码和SQL语句，SQL语句用于从现网数据库中查询和获取数据；

所述目标数据库连接信息包括：目标数据配置模板id，数据库连接方式，目标数据库URL，目标数据库驱动，目标数据库用户名、目标数据库密码。

作为优选，所述源数据配置模板中还配置了待镜像快照的数据库表条目数量规则；目标数据配置模板中还配置了表入库时是否清空原有表项规则，以及表入库失败错误时是否忽略规则。

作为优选，所述源数据库表包括网络拓扑数据库表、业务数据数据库表、链路性能数据库表和接口流量数据库表。

一种介质，存储有计算机可执行指令，其特征在于：所述指令在被处理单元执行时用于实现所述方法。

一种电子设备，其特征在于：包括处理单元和存储单元，存储有计算机可执行指令，所述指令在被所述处理单元执行时用于实现所述方法。

有益效果：与现有技术相比，本发明具有如下技术效果：

本发明的方法中可以根据预先定义的用户需要镜像的数据库表信息，结合Disruptor高性能队列技术，访问现网数据库读取定义的源数据配置模板信息并记录，然后将现网记录数据信息写到对应的仿真平台数据库中，解决现网规模大、数据多导致的性能问题，克服了现有技术中对数据多次查询和转换导致系统的性能下降的问题；

本发明的装置整体架构清晰明了，各个功能模块职责明确，解决了网络仿真数据镜像性能问题，能够实现将现网拓扑、业务数据、链路性能、接口流量等1：1镜像至网络仿真平台。

本发明的数据处理方式可以支持某个时刻点的快照拷贝，也可以支持数据冗余的镜像，为后续执行网络仿真提供真实数据来源，以便更好地模拟实际网络的故障、流量等行为。

附图说明

图1为本发明的基于镜像快照提供网络仿真数据的方法的流程图；

图2为源数据配置模板的示例图；

图3为目标数据配置模板的示例图；

图4为任务配置模板的示例图；

图5为本发明中源数据配置模板、目标数据配置模板和任务配置模板的解析流程图；

图6为本发明中数据查询和事件发布的流程图；

图7为本发明中更新网络仿真平台数据库的流程图。

具体实施方式

下面结合附图对本发明做详细的说明。

为了解决现网数据过大导致镜像数据的性能问题，本发明提供了基于配置文件进行镜像快照来提供数据拷贝一种装置和方法，可以实现灵活定义需要镜像的数据库表，利用高性能队列技术解决同步数据性能问题。

实施例1

如图1所示，本实施例提供一种基于镜像快照提供网络仿真数据的方法，包括步骤：

(1)获取预先配置的源数据配置模板、目标数据配置模板和任务配置模板；

源数据配置模板中包括一个以上的源数据库表的信息和源数据库连接信息，目标数据配置模板中包括一个以上的目标数据库表的信息和目标数据库连接信息，任务配置模板中包括源数据配置模板和目标数据配置模板之间的关联关系、以及待镜像快照的源数据库表和目标数据库表之间的关联关系的信息。

(2)根据定义的源数据配置模板中的信息连接现网数据库；

如图2示例源数据配置模板中，源数据库连接信息包括源数据配置模板id、源数据库连接方式、源数据库URL(Uniform Resource Locator)、源数据库驱动、源数据库用户名、源数据库密码和SQL(Structured Query Language)语句；根据所述源数据配置模板id确定待镜像快照的源数据库表，根据数据库连接方式确定连接现网数据库的方式，根据源数据库URL、源数据库驱动连接到现网数据库，并通过源数据库用户名、源数据库密码登录现网数据库，根据SQL语句从现网数据库中查询和获取数据。

(3)以Disruptor并发框架执行任务配置模板中的所有任务，根据定义的源数据配置模板在现网数据库中进行数据查询和获取，并将获得的数据以发布事件形式发出；

如图3示例任务配置模板中，关联关系的信息包括源数据配置模板id和目标数据配置模板id。

(4)根据定义的目标数据配置模板中的信息连接网络仿真平台数据库；

如图4示例目标数据配置模板中，目标数据库连接信息包括目标数据配置模板id、目标数据库连接方式、目标数据库URL、目标数据库驱动、目标数据库用户名、目标数据库密码，根据所述目标数据配置模板id确定镜像快照的源数据库表，根据数据库连接方式确定连接目标数据库的方式，根据目标数据库URL、目标数据库驱动连接到网络仿真平台数据库，并通过目标数据库用户名、数据库密码登录网络仿真平台数据库。

源数据库和目标数据库可以支持不同数据库连接方式，源数据库连接方式为JDBC连接方式，目标数据库连接方式可以采用JDBC连接方式，也可根据网络仿真平台一侧的实际环境定义。

(5)监听事件并获取事件中的数据，将该数据存储到网络仿真平台数据库中。

进一步在，可以在源数据配置模板中配置待镜像快照的数据库表条目数量规则，然后在读取现网数据库时，通过SQL的LIMIT语句进行控制规模，达到通过SQL语句限制表数据条目规模的目的。

也可以在目标数据配置模板中，定义表条目写库策略，如表入库失败错误时是否忽略规则，即对写失败的条目进行忽略，还是写失败一个条目则整个表就失败，可根据数据重要性进行规划；也可以定义网络仿真平台数据库的写规则，如写库前是否清空原有表项规则，主要用于多次镜像。

如图5所示为源数据配置模板、目标数据配置模板和任务配置模板的解析流程。解析源数据配置模板和目标数据配置模板时，按照配置模板id进行存储，其中源数据库表、目的数据库表以数据库表id为key，进行Map方式存储，解析任务配置模板时，以定义的内容结构进行List方式存储。

具体地，本实施例采用Disruptor高性能并发框架通过发布事件，Disruptor是一个高性能的线程间异步通信的框架，即在同一个JVM(Java Virtual Machine虚拟机)进程中的多线程间消息传递。Disruptor涉及三个角色：生产者，消费者，disruptor对象，使用生产者—消费者模型。如图6所示，生产者将根据定义的源数据配置模板在现网数据库中进行数据查询和获取的数据，缓存序列化后进行发送。

如图7所示，消费者通过监听事件把反序列化后的数据进行接收，这个过程中，消费者不用感知具体的源数据配置模板内容，只用按照发送前数据存储结构方式进行对应的解析即可，即从事件取出的数据以反序列化方式存储到网络仿真平台数据库中。

此外，由于一个网络对应的拓扑、业务数据、链路性能、接口流量等都有各自的数据库表，因此可以分别定义拓扑、业务数据、链路性能、接口流量等的源数据配置模板，在定义的源数据配置模板中包括各自的数据库表名称，然后按照上述方法实现现网拓扑、业务数据、链路性能、接口流量等1：1镜像至网络仿真平台。

实施例2

本实施例提供了一种基于镜像快照提供网络仿真数据的装置，装置包括配置信息获取模块，连接模块，以及Disruptor高性能并发框架，其中，

配置信息获取模块，获取预先配置的源数据配置模板、目标数据配置模板和任务配置模板，源数据配置模板中包括一个以上的源数据库表的信息和源数据库连接信息，目标数据配置模板中包括一个以上的目标数据库表的信息和目标数据库连接信息，任务配置模板中包括源数据配置模板和目标数据配置模板之间的关联关系、以及待镜像快照的源数据库表和目标数据库表之间的关联关系的信息。

连接模块，根据源数据配置模板中的源数据库连接信息连接现网数据库；以及根据目标数据配置模板中的目标数据库连接信息连接网络仿真平台数据库。

Disruptor连接模块，用于通过Disruptor并发框架执行任务配置模板中的所有任务，根据源数据配置模板中的源数据库表的信息在现网数据库中进行数据查询和获取，并将获得的数据以发布事件形式发出；以及监听事件并取出事件中的数据，将数据存储到网络仿真平台数据库中。

具体地，源数据配置模板包括源数据配置模板id、数据库连接方式、源数据库URL、源数据库驱动、源数据库用户名、源数据库密码和SQL语句；根据所述源数据配置模板id确定待镜像快照的源数据库表，根据数据库连接方式确定连接现网数据库的方式，根据源数据库URL、源数据库驱动连接到现网数据库，并通过源数据库用户名、源数据库密码登录现网数据库，根据SQL语句从现网数据库中查询和获取数据。

具体地，目标源数据配置模板包括目标数据配置模板id、数据库连接方式、目标数据库URL、目标数据库驱动、目标数据库用户名、目标数据库密码，根据所述目标数据配置模板id确定镜像快照的源数据库表，根据数据库连接方式确定连接目标数据库的方式，根据目标数据库URL、目标数据库驱动连接到网络仿真平台数据库，并通过目标数据库用户名、数据库密码登录网络仿真平台数据库。

具体地，任务配置模板中信息的主要作用是进行源数据配置模板和目标数据配置模板的关联，可配置多个任务，每个任务关联一个源数据配置模板中的源数据库表和一个目标数据配置模板中的目标数据库表。

进一步地，连接模块可采用JDBC连接方式，读源数据配置模板，写对应目标配置模板，读和写的方式是通过JDBC连接进行处理，即连接现网数据库进行表数据读操作，连接网络仿真平台数据库进行表数据的写操作。根据所述的源数据配置模板的数据库URL、数据库驱动、数据库用户名、数据库密码获取数据库连接(如JDBC连接)，执行SQL语句的方法包括executeQuery(查询)和batchUpdate(更新)，如对现网数据库中的数据库表执行executeQuery方法操作进行数据查询，对网络仿真平台数据库中的数据库表表执行batchUpdate方法操作进行数据更新。

上述源数据库表包括网络拓扑数据库表、业务数据数据库表、链路性能数据库表和接口流量数据库表等，可在定义的源数据配置模板中包括各自的数据库表名称，然后按照上述方法实现现网拓扑、业务数据、链路性能、接口流量等1：1镜像至网络仿真平台。

本发明的又一实施例中，提供一种介质，存储有计算机可执行指令，指令在被处理单元执行时用于实现实施例1所述方法。

本发明的又一实施例中，提供一种电子设备，其特征在于：包括处理单元和存储单元，存储有计算机可执行指令，所述指令在被所述处理单元执行时用于实现实施例1所述方法。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种基于镜像快照提供网络仿真数据的方法，其特征在于：包括步骤：

获取预先配置的源数据配置模板、目标数据配置模板和任务配置模板，源数据配置模板中包括一个以上的源数据库表的信息和源数据库连接信息，目标数据配置模板中包括一个以上的目标数据库表的信息和目标数据库连接信息，任务配置模板中包括源数据配置模板和目标数据配置模板之间的关联关系、以及待镜像快照的源数据库表和目标数据库表之间的关联关系的信息；

根据源数据配置模板中的源数据库连接信息连接现网数据库；

通过Disruptor并发框架执行任务配置模板中的所有任务，根据源数据配置模板中的源数据库表的信息，在现网数据库中进行数据查询和获取，并将获得的数据以发布事件形式发出；

根据目标数据配置模板中的目标数据库连接信息连接网络仿真平台数据库；

监听事件并获取事件中的数据，将该数据存储到网络仿真平台数据库中。

2.根据权利要求1所述的一种基于镜像快照提供网络仿真数据的方法，其特征在于：所述源数据库连接信息包括源数据配置模板id、源数据库连接方式、源数据库网址、源数据库驱动、源数据库用户名、源数据库密码和SQL语句，所述SQL语句用于从现网数据库中查询和获取数据；

所述目标数据库连接信息包括目标数据配置模板id、目标数据库连接方式、目标数据库网址、目标数据库驱动、目标数据库用户名和目标数据库密码。

3.根据权利要求1所述的一种基于镜像快照提供网络仿真数据的方法，其特征在于：所述源数据配置模板中还配置了待镜像快照的数据库表条目数量规则，所述目标数据配置模板中还配置了表入库时是否清空原有表项规则，以及表入库失败错误时是否忽略规则。

4.根据权利要求2所述的一种基于镜像快照提供网络仿真数据的方法，其特征在于：所述任务配置模板中，源数据配置模板和目标数据配置模板之间的关联关系的信息包括源数据配置模板id和目标数据配置模板id。

5.根据权利要求1所述的一种基于镜像快照提供网络仿真数据的方法，其特征在于：Disruptor并发框架发布事件时，将根据源数据配置模板查询到的数据进行缓存和序列化后发出，从事件获取的数据以反序列化方式存储到网络仿真平台数据库中。

6.一种基于镜像快照提供网络仿真数据的装置，其特征在于，包括：

配置信息获取模块，用于根据业务需求定义源数据配置模板、目标数据配置模板和任务配置模板，源数据配置模板中配置了一个以上的源数据库表的信息和源数据库连接信息，目标数据配置模板中配置了一个以上的目标数据库表的信息和目标数据库连接信息，任务配置模板中配置了待镜像快照的源数据库表和目标数据库表之间的关联关系的信息；

连接模块，根据源数据配置模板中的源数据库连接信息连接现网数据库；以及根据目标数据配置模板中的目标数据库连接信息连接网络仿真平台数据库；

Disruptor传递模块，用于通过Disruptor并发框架执行任务配置模板中的所有任务，根据源数据配置模板中的源数据库表的信息在现网数据库中进行数据查询和获取，并将获得的数据以发布事件形式发出；以及监听事件并获取事件中的数据，将该数据存储到网络仿真平台数据库中。

7.根据权利要求6所述的一种基于镜像快照提供网络仿真数据的装置，其特征在于：所述连接模块采用JDBC连接方式，访问现网数据库和网络仿真平台数据库。

8.根据权利要求6所述的一种基于镜像快照提供网络仿真数据的装置，其特征在于：所述源数据库连接信息包括：源数据配置模板id，数据库连接方式，源数据库URL，源数据库驱动，源数据库用户名、源数据库密码和SQL语句，SQL语句用于从现网数据库中查询和获取数据；

所述目标数据库连接信息包括：目标数据配置模板id，数据库连接方式，目标数据库URL，目标数据库驱动，目标数据库用户名、目标数据库密码。

9.根据权利要求6所述的一种基于镜像快照提供网络仿真数据的装置，其特征在于：所述源数据配置模板中还配置了待镜像快照的数据库表条目数量规则；目标数据配置模板中还配置了表入库时是否清空原有表项规则，以及表入库失败错误时是否忽略规则。

10.根据权利要求6所述的一种基于镜像快照提供网络仿真数据的装置，其特征在于：所述源数据库表包括网络拓扑数据库表、业务数据数据库表、链路性能数据库表和接口流量数据库表。

11.一种计算机可读存储介质，存储有计算机可执行指令，其特征在于：所述指令在被处理单元执行时用于实现权利要求1至5中任一项所述方法。

12.一种电子设备，其特征在于：包括处理单元和存储单元，存储有计算机可执行指令，所述指令在被所述处理单元执行时用于实现权利要求1至5中任一项所述方法。