CN116028572A - 通信业务数据的处理方法、装置和计算机存储介质 - Google Patents
通信业务数据的处理方法、装置和计算机存储介质 Download PDFInfo
- Publication number
- CN116028572A CN116028572A CN202111239756.8A CN202111239756A CN116028572A CN 116028572 A CN116028572 A CN 116028572A CN 202111239756 A CN202111239756 A CN 202111239756A CN 116028572 A CN116028572 A CN 116028572A
- Authority
- CN
- China
- Prior art keywords
- data
- communication service
- service data
- data set
- time point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种通信业务数据的处理方法和装置,其中,处理方法包括:获取基于查询时间点的查询请求;查询主数据库得到在当前时间点的第一通信业务数据集,查询镜像数据库中的增量备份数据得到第二通信业务数据集;合并第一通信业务数据集和第二通信业务数据集形成合并数据集,并根据主键和查询请求对应的查询时间点筛选合并数据集中的通信业务数据,得到筛选数据集;根据筛选数据集构建用于表示通信业务数据状态的通信业务拓扑画像,本发明实现了查询时间点的通信业务数据并据此构建历史时间点的通信拓扑画像,根据得到的通信业务拓扑画像可快速得到通信网络的历史业务情况,从而为基于历史数据的分析、仿真、预测等提供了数据基础和数据底座。
Description
技术领域
本发明属于通信技术领域,具体而言,涉及一种通信业务数据的处理方法、装置和计算机存储介质。
背景技术
数字孪生就是在信息世界对物理世界的等价映射,包括三个部分:物理空间的实体产品、虚拟空间的虚拟产品、物理空间和虚拟空间之间的数据和信息交互接口。
镜像网络是“数字孪生”在通信行业的实践。镜像网络是实际通信网络的镜像,是实际通信网络在数字空间的等价映射,可独立在数字空间进行分析、仿真、预测,并与实际网络进行交互,更好(更快、更容易、更主动、更智能)的实现通信网络的全生命周期管理。
镜像网络涉及大量历史变更的通信业务数据的数据镜像,包括配置变更、告警、性能、状态等等,但是如何快速查询时间点的通信业务数据且即使查找到通信业务数据,也无法快速得到通信网络的历史业务情况,也因此无法为基于历史数据的分析、仿真、预测等提供数据基础和数据底座,针对上述问题,目前业内还没有提出相应的解决方案。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本发明实施例提供了一种通信业务数据的处理方法、装置和计算机存储介质,能够实现查询历史时间点的通信业务数据和根据查找到的通信业务数据能够快速得到历史通信网络的业务情况,从而为基于历史数据的分析、仿真、预测等提供数据基础和数据底座。
第一方面,本发明实施例提供了一种通信业务数据的处理方法,通信业务数据存储于主数据库和镜像数据库,所述镜像数据库用于对所述主数据库进行增量备份,所述处理方法包括:
获取基于查询时间点的查询请求;
查询所述主数据库得到在当前时间点的第一通信业务数据集,查询所述镜像数据库中的增量备份数据得到第二通信业务数据集;
合并所述第一通信业务数据集和所述第二通信业务数据集形成合并数据集,并根据数据主键和所述查询请求对应的查询时间点筛选所述合并数据集中的通信业务数据,得到筛选数据集;
根据所述筛选数据集构建用于表示通信业务数据状态的通信业务拓扑画像。
第二方面,本发明实施例提供了通信业务数据的处理装置,包括至少一个处理器和用于与所述至少一个处理器通信连接的存储器;所述存储器存储有能够被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如第一方面所述的通信业务数据的处理方法。
第三方面,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如第一方面所述通信业务数据的处理方法。
本发明实施例提供的通信业务数据的处理方法,至少具有如下有益效果:当获取到基于查询时间点的查询请求,本发明实施例可以通过查询主数据库得到当前时间点的第一通信业务数据集和查询镜像数据库中的增量备份数据得到第二通信业务数据集后将第一通信业务数据集和第二通信业务数据集合并成合并数据集,根据数据主键和查询时间点对合并数据集中的通信业务数据进行筛选,筛选出的通信业务数据形成筛选数据集,筛选数据集是在查询时间点对应的通信业务数据,所以可以根据筛选数据集构建用于表示通信业务数据状态的通信业务拓扑画像,而根据得到的通信业务拓扑画像可以快速得到通信网络的历史业务情况,从而为基于历史数据的分析、仿真、预测等提供了数据基础和数据底座。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解,并且构成说明书的一部分,与本发明的示例一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。
图1是本发明一个实施例提供的通信业务数据的处理方法的整体方法流程图;
图2是本发明一个实施例提供的得到第二通信业务数据集的流程图;
图3是本发明一个实施例提供的得到第一通信业务数据集的流程图;
图4是本发明一个实施例提供的得到筛选数据集的流程图;
图5是本发明一个实施例提供的镜像数据库对主数据库进行增量备份的示意图;
图6是本发明一个实施例提供的数据删除场景与查询时间点的相对关系示意图;
图7是本发明一个实施例提供的数据创建场景与查询时间点的相对关系示意图;
图8是本发明一个实施例提供的数据修改场景与查询时间点的相对关系示意图;
图9是本发明实施例提供的通信业务数据的处理装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
数字孪生就是在信息世界对物理世界的等价映射,包括三个部分:物理空间的实体产品、虚拟空间的虚拟产品、物理空间和虚拟空间之间的数据和信息交互接口。
镜像网络是“数字孪生”在通信行业的实践。镜像网络是实际通信网络的镜像,是实际通信网络在数字空间的等价映射,可独立在数字空间进行分析、仿真、预测,并与实际网络进行交互,更好(更快、更易、更主动、更智能)的实现通信网络的全生命周期管理。
镜像网络涉及大量历史变更的通信业务数据的数据镜像,包括配置变更、告警、性能、状态等等,但是如何快速查询时间点的通信业务数据且即使查找到通信业务数据,也无法快速得到通信网络的历史业务情况,也因此无法为基于历史数据的分析、仿真、预测等提供数据基础和数据底座,针对上述问题,目前业内还没有提出相应的解决方案。
基于此,本发明实施例提供了一种通信网络业务数据的处理方法、装置及计算机存储介质,查询历史时间点的通信业务数据并据此构建历史时间点通信业务数据的状态的通信拓扑画像,而根据得到的通信业务拓扑画像可以快速得到通信网络的历史业务情况,从而为基于历史数据的分析、仿真、预测等提供了数据基础和数据底座。
参照图1,本发明实施例提供了一种通信业务数据的处理方法,通信业务数据存储于主数据库和镜像数据库,镜像数据库用于对主数据库进行增量备份,处理方法包括但不限于以下步骤S100、步骤S200、步骤S300和步骤S400。
步骤S100,获取基于查询时间点的查询请求;
步骤S200,查询主数据库得到在当前时间点的第一通信业务数据集,查询镜像数据库中的增量备份数据得到第二通信业务数据集;
步骤S300,合并第一通信业务数据集和第二通信业务数据集形成合并数据集,并根据数据主键和查询请求对应的查询时间点筛选合并数据集中的通信业务数据,得到筛选数据集;
步骤S400,根据筛选数据集构建用于表示通信业务数据状态的通信业务拓扑画像。
本发明实施例中通信业务数据存储于主数据库和镜像数据库,镜像数据库用于对主数据库进行增量备份,为更好地解释本发明,下面对镜像数据库对主数据库增量备份流程进行举例说明。
参照图5,主数据库和镜像数据库的库表是一一对应的,主数据库上需要备份的库表设置有对应的事件触发器,当应用App根据业务需要,对数据库表t进行操作(增加/删除/修改)后,设置在数据库表t上的对应的事件触发器被触发,把数据库表t的变更日志记录到中间表t_log_s中,然后经过一定的时间间隔如一分钟,设置在第一数据库上的定时器被触发,将第一数据库的中间表t_log_s的内容通过数据库异步处理模块FDW(Foreign DataWrappers,外部数据包装器)同步到第二数据库的中间表t_log_s中,镜像数据库根据中间表t_log_s进行更新且在经过一定的时间间隔如一分钟后,设置在镜像数据库上的定时器也被触发,将中间表t_log_s转化为s_t表的增量备份数据,s_t表是镜像数据库中与主数据库中的t表相对应的备份表,而可以想到的是根据实际数据量和业务系统的性能要求,在同步主数据库和镜像数据库的中间表t_log_s时也可以采用其他不同于上述设置定时器触发同步的方式,例如,如果实际数据量少而业务系统要求性能高即反应速度快如用户账号的密码修改,这时的同步方式可以选择通过数据库内设置的日志变更通知进行同步,从而在用户的账号的密码修改后能够快速同步到镜像数据库中,防止由于系统崩溃,而出现重要数据丢失的情况。本发明对此不做限定,本领域技术人员可以根据实际情况进行选择。
镜像数据库对主数据库增量备份,较之传统的全量存储,不仅数据备份的处理时间少而且大大的缩减了不必要的数据存储,可以提高镜像数据库的空间的利用率从而达到海量存储镜像数据的目的。
可以想到的是,为了进一步的提高镜像数据库的空间的利用率,镜像数据库的数据库类型可以采用时序数据库,传统的数据库对类似于通信网络中业务数据的时序数据压缩不佳,会占用大量的存储资源,而时序数据库可以根据时序数据的按照时间递增和维度重复的特性合理的选择编码压缩算法,从而对于通信网络中业务数据进行较好的压缩进而提高镜像数据库的空间的利用率,可以存储更多的镜像数据。
值得注意的是,在步骤S200中查询到镜像数据库的增量备份数据通过以下字段进行备份:
用于记录数据操作类型的数据操作类型字段;
用于记录变更前数据记录的变更前数据记录字段;
用于记录变更后数据记录的变更后数据记录字段;
用于记录数据变更时间的数据变更时间字段;
其中,变更前数据记录和变更后数据记录以通信业务数据的方式存储。
增量备份数据在镜像数据库中的一种具体数据结构如表1所示。
表1.增量备份数据的数据结构
在表1中op为用于记录数据操作类型的数据操作类型字段,具有创建、删除、修改三种取值,old_rec为用于记录变更前数据记录的变更前数据记录字段,new_rec为用于记录变更后数据记录的变更后数据记录字段,crt_time为用于记录数据变更时间的数据变更时间字段,下面为了表述方便,统一用op、old_rec、new_rec和crt_time表述对应的镜像数据库中的增量备份数据用于备份的字段。
值得一提的是,new_rec和old_rec存储以通信业务数据的方式进行存储以方便后面的数据集合并处理,而op有创建、删除、修改三种取值,op取值不同对应存储的old_rec和new_rec的值也应对应不同,可以想到的是,为方便后续的查询处理,应给出每种op取值不同对应的old_rec和new_rec的值,在此给出如表2所示的op值不同,镜像数据库中存储的old_rec和new_rec的值的一种示例,如表2所示,op取值为创建,对应存储的old_rec的值为空值即为null,new_rec的值为创建的具体记录;op取值为删除,对应存储old_rec为删除的具体记录,new_rec的值为空值即也为null;最后对于op取值为修改,对应存储的old_rec应是在修改之前的具体记录,new_rec为在修改之后的具体记录。
op | old_rec | new_rec |
创建 | null | 具体记录 |
删除 | 具体记录 | null |
修改 | 修改前记录 | 修改后记录 |
表2.op取值不同,对应存储的old_rec和new_rec的值
可以理解的是,op取值不同即数据操作的场景的不同与所查询的查询时间点的相对关系也会不同,参照图6可得,op取值为删除的场景与指定的历史查询时间点的相对关系。在场景301中,指定的历史查询时间点在删除的时间点之后,也就是说明查询时间点的数据应没有在删除时间点对应已经删除的数据;在场景302中,查询时间点在删除时间点之前,则说明查询时间点的数据应有在删除时间点对应删除的数据。其中,图6包括两条时间轴,分别是场景301和场景302,在场景301中虚线框用于表示在查询时间点之前删除的数据在查询时间点查询不到的数据的集合,在场景302中的实线框用于表示在查询时间点之后删除的数据在查询时间点应能查到的数据的集合。所以对于op取值删除的变更场景,查询查询时间点的通信业务数据的查询结果应是查询到镜像数据库中大于指定的查询时间点的且时间最小的old_rec或者查询到null。
进一步地,参照图7可得op取值为创建的场景与所查询的查询时间点的相对关系。在场景401中,查询时间点在创建的时间点之后,也就是说明在查询时间点的数据应有在创建时间点对应已经创建的数据;在场景402中,查询时间点在创建时间点之前,则说明查询时间点的数据应没有在创建时间点对应创建的数据。其中,图7包括两条时间轴,分别是场景401和场景402,在场景401中虚线框用于表示在查询时间点之前创建所以应能够在查询时间点查询到的数据的集合,在场景402中的实线框用于表示在查询时间点之前已经创建好的数据集合,因查询时间点之后创建的数据不属于该集合,因而查询时间点之后创建的数据不应在查询时间点所能够查询到的数据集合中出现。所以对于op取值为创建的变更场景,查询查询时间点的通信业务数据的查询结果应是查询到镜像数据库中小于查询时间点的时间最大的new_rec或者查询到null。
更进一步地,参照图8可得op取值为修改的场景与所查询的查询时间点的相对关系。在场景501中,查询时间点在修改的时间点之后,则说明查询时间点的数据应有在修改时间点对应修改后的数据。在场景502中,查询时间点在修改的时间点之前,也就是说明查询时间点的数据应有在修改时间点之前对应未修改的数据;其中,图8包括两条时间轴,分别是场景501和场景502,在场景501中虚线框用于表示在查询时间点之前进行修改后的数据的集合,在场景502中实线框用于表示在查询时间点之后进行修改前的数据的集合。所以对于op取值为修改的变更场景,查询查询时间点的通信业务数据的查询结果应是查询到镜像数据库中大于查询时间点的时间最小的old_rec或小于查询时间点的时间最大的new_rec。
将上述每种op的取值的场景与查询时间点的相对关系进行合并优化,参照图2,得出步骤S200中得到第二通信业务数据集的细化步骤:
步骤S210,查找镜像数据库中的增量备份数据记录中小于查询时间点的最大时间点对应的变更后数据记录,作为第一数据集;
步骤S220,查找镜像数据库中的增量备份数据记录中大于查询时间点的最小时间点对应的变更前数据记录,作为第二数据集;
步骤S230,根据第一数据集和第二数据集得到第二通信业务数据集。
可以理解的是,如果对查询时间点前后的所有的new_rec和old_rec都进行查询,会造成后面查询出来的结果集中拥有大量的无效数据,后面需要对结果集进行清洗,因在查询时间点之前查询到old_rec,则说明在查询时间点前查询的通信业务数据发生了变更,但是在查询时间前该变更已经完成,所以在查询时间点的通信业务数据应是该变更后的数据;同理在查询时间之后查询到new_rec则说明变更是在查询时间点之后发生的,查询的时间点的通信业务数据也应是该变更前的数据。所以,综上,步骤S210和步骤S220做的是有效查询,提前将无效的数据进行清除,提高了第二通信业务数据集中数据的精确性。
可以想到的是,上述步骤S210中查找镜像数据库中的增量备份数据记录中小于查询时间点的最大时间点对应的变更后数据记录,作为第一数据集的过程可以为,先查找镜像数据库中的增量备份数据记录中小于查询时间点的变更后数据记录作为第一变更后数据集,后将第一变更后数据集按照主键进行分组,每一分组中取时间最大的一份通信业务数据形成第一数据集,而同理上述步骤S220中查找镜像数据库中的增量备份数据记录中大于查询时间点的最小时间点对应的变更前数据记录,作为第二数据集的过程可以为,先查找镜像数据库中的增量备份记录中大于查询时间点的变更前数据记录作为第一变更前数据集,后将第一变更前数据集按照主键进行分组,每一分组去时间最小的一份通信业务数据形成第二数据集。
值得注意的是,虽然第二通信业务数据集包含了从镜像数据库开始对主数据库进行备份到当前时间的时间段内发生变更的有效的增量备份数据,并可以根据第二通信业务数据集得出从镜像数据库开始对主数据库进行备份到当前时间的时间段内发生过变更的通信业务数据在查询时间点的通信业务数据,但是不能排除的是,在查询时间点的通信业务数据中有的从镜像数据库开始对主数据库进行备份到当前时间的时间段内没有发生过一次变更,所以执行步骤S200中查询主数据库得到在当前时间点的第一通信业务数据集,而为了方便后续的第一通信业务数据集和第二通信业务数据集的合并处理,参照图3,步骤S200中的到第一通信业务数据集的细化步骤如下:
步骤S240,查找主数据库中的通信业务数据,作为第三数据集;
步骤S250,将当前时间点赋予第三数据集中的通信业务数据,得到第一通信业务数据集。
可以想到的是,为了得到查询时间点的对应的通信业务数据,应对第一通信业务数据集和第二通信业务数据集进行合并处理和筛选处理,参照图4,步骤S300的细化步骤如下:
步骤S310,将合并数据集中的通信业务数据按照数据主键进行分组;
步骤S320,选取每个分组中最小时间对应的通信业务数据,形成最小时间数据集;
步骤S330,删除最小时间数据集中数据操作类型字段为删除且小于查询时间点的通信业务数据,以及数据操作类型字段为创建且大于查询时间点的通信业务数据,形成筛选数据集。
步骤S310中先对第一通信业务数据集和第二通信业务数据集的合并数据集按照数据主键进行分组,可以理解的是,数据主键可以是常用的uuid格式,而将数据主键设置成uuid格式主要是为了保障该数据主键是唯一的,防止数据主键不唯一导致数据库查询结果不准确。
步骤S320中,选取每个分组中最小时间对应的通信业务数据的理由如下:
可以理解的是,合并数据集中,对于同一份通信业务数据的new_rec、old_rec和当前记录的时间的大小关系是new_rec<old_rec<当前记录。如果一份通信业务数据在第二通信业务数据集中既有new_rec又有old_rec的具体记录值,则说明该份通信业务数据在查询时间点前后都发生过一次变更,这时new_rec和old_rec所记录的具体值是一样的,所以选择new_rec和old_rec所得到的查询结果一致,而可以想到的是如果一份通信业务数据在第二通信业务数据集中只有new_rec,则说明该份通信业务数据在查询时间前已经发生变更,所以在查询时间点的查询结果应是new_rec而不是第一通信业务数据集中当前该份通信业务数据,因为在查询时间点后该份通信业务数据可能发生了改变,而对于如果一份通信业务数据在第二通信业务数据集中只有old_rec的情况也是同理,最后对于合并数据集中只有一份通信业务数据只有第一通信业务数据集中的当前通信业务数据的情况,选取第一通信业务数据中的当前通信业务数据即可。
可以想到的是,在执行完步骤S320后,参照图5和图6可得最小时间集中还可能包含前面被删除的通信业务记录的new_rec或后面被创建的通信业务记录的old_rec,而参照上表2,可得该new_rec和old_rec的值都为null,为了进一步的提高查询结果的精确性,需要对最小时间集中的数据进行筛选,所以执行步骤S330,删除最小时间数据集中数据操作类型字段为删除且小于查询时间点的通信业务数据,以及数据操作类型字段为创建且大于查询时间点的通信业务数据,得到最后的筛选数据集。
值得注意的是,在实际的通信业务数据处理时,当步骤S100中获取的查询请求中仅包括一个查询时间点时,后面根据筛选数据集构建的通信业务拓扑画像表示在查询时间点处通信业务数据的状态;当步骤S100中获取的查询请求包括具有多个查询时间点的查询时间区间,后面根据筛选数据集构建的通信业务拓扑画像表示在查询时间区间通信业务数据的变化情况。而可以想到的是,当步骤S100中获取的查询请求包括具有多个查询时间点的查询时间区间时,通信业务拓扑画像包括多个与查询时间点对应的图像帧,可以按照预设的时间间隔在上述图像帧中进行选取并进行均匀播放,如上述查询时间区间是某一天的14:00-14:20,可以将得到的图像帧按照一分钟的时间间隔进行播放,而对于一分钟内的图像帧,如14:01:30此刻的图像帧进行舍弃,通信业务拓扑画像包括多个与查询时间点对应的图像帧时,还可以按照通信业务数据是否在查询时间区间内发生变更的条件进行选取播放,如上述查询时间区间是某一天的14:01-14:30,通信业务数据在只14:01:50发生了变更,则只选取该时刻的图像帧,而对于没有发生变更的时刻的图像帧进行舍弃,进一步地,为体现通信业务数据的变化,在播放图像帧时,默认画出在查询区间起点的图像帧,而能够理解的是,图像帧按照通信业务数据是否在查询时间区间内发生变更的条件还可以根据实际情况加上设定的阈值的条件,如虽然在查询区间内某一时刻该份通信业务数据发生了变更,但是是正常的通信网络的变化,所以可以不选取这一时刻的图像帧,但是如果在区间内另一时刻整个通信网络发生了拥堵情况即变更超过了设定的阈值,则选取该时刻的图像帧进行分析。
参照图9,以通信业务数据的处理装置1000中的控制处理器1001和存储器1002可以通过总线连接为例。存储器1002作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外,存储器1002可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器、闪存器件、或其他非暂态固态存储器件。在一些实施方式中,存储器1002可选包括相对于控制处理器1001远程设置的存储器,这些远程存储器可以通过网络连接至虚拟网络的优化装置1000。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本领域技术人员可以理解,图9中示出的装置结构并不构成对通信业务数据的处理装置1000的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
本发明实施例的还提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个控制处理器执行,例如,被图9中的一个控制处理器1001执行,可使得上述一个或多个控制处理器执行上述方法实施例中的虚拟网络的优化方法,例如,执行以上描述的图1中的方法步骤S100至步骤S400、图2中的方法步骤S210至步骤S230、图3中的方法步骤S240至步骤S250和图4中的方法步骤S310至步骤S330。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
以上是对本申请的较佳实施进行了具体说明,但本申请并不局限于上述实施方式,熟悉本领域的技术人员在不违背本申请精神的前提下还可作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种通信业务数据的处理方法,通信业务数据存储于主数据库和镜像数据库,所述镜像数据库用于对所述主数据库进行增量备份,所述处理方法包括:
获取基于查询时间点的查询请求;
查询所述主数据库得到在当前时间点的第一通信业务数据集,
查询所述镜像数据库中的增量备份数据得到第二通信业务数据集;
合并所述第一通信业务数据集和所述第二通信业务数据集形成合并数据集,并根据数据主键和所述查询请求对应的查询时间点筛选所述合并数据集中的通信业务数据,得到筛选数据集;
根据所述筛选数据集构建用于表示通信业务数据状态的通信业务拓扑画像。
2.根据权利要求1所述的通信业务数据的处理方法,其特征在于,所述增量备份数据通过以下字段进行增量备份:
用于记录数据操作类型的数据操作类型字段;
用于记录变更前数据记录的变更前数据记录字段;
用于记录变更后数据记录的变更后数据记录字段;
用于记录数据变更时间的数据变更时间字段;
其中,所述变更前数据记录和所述变更后数据记录以通信业务数据的方式存储。
3.根据权利要求2所述的通信业务数据的处理方法,其特征在于,所述查询所述镜像数据库中的增量备份数据记录得到第二通信业务数据集,包括:
查找所述镜像数据库中的增量备份数据记录中小于所述查询时间点的最大时间点对应的变更后数据记录,作为第一数据集;
查找所述镜像数据库中的增量备份数据记录中大于所述查询时间点的最小时间点对应的变更前数据记录,作为第二数据集;
根据所述第一数据集和所述第二数据集得到第二通信业务数据集。
4.根据权利要求2所述的通信业务数据的处理方法,其特征在于,所述查询所述主数据库得到在当前时间点的第一通信业务数据集,包括:
查找所述主数据库中的通信业务数据,作为第三数据集;
将当前时间点赋予所述第三数据集中的通信业务数据,得到第一通信业务数据集。
5.根据权利要求2所述的通信业务数据的处理方法,其特征在于,所述根据数据主键和所述查询请求对应的查询时间点筛选所述合并数据集中的通信业务数据,得到筛选数据集,包括:
将所述合并数据集中的通信业务数据按照数据主键进行分组;
选取每个分组中最小时间对应的通信业务数据,形成最小时间数据集;
删除所述最小时间数据集中数据操作类型字段为删除且小于所述查询时间点的通信业务数据,以及数据操作类型字段为创建且大于所述查询时间点的通信业务数据,形成筛选数据集。
6.根据权利要求1所述的通信业务数据的处理方法,其特征在于,当所述查询请求仅包括一个查询时间点,所述通信业务拓扑画像表示在所述查询时间点处通信业务数据的状态;
当所述查询请求包括具有多个查询时间点的查询时间区间,所述通信业务拓扑画像表示在所述查询时间区间通信业务数据的变化情况。
7.根据权利要求6所述的通信业务数据的处理方法,其特征在于,当所述查询请求包括具有多个查询时间点的查询时间区间,所述通信业务拓扑画像包括多个与查询时间点对应的图像帧,通过以下方式显示所述通信业务拓扑画像:
以预设时间间隔在所述通信业务拓扑画像中选取图像帧,将选取的图像帧按时间顺序播放;
或者,
根据通信业务数据的变更情况在所述通信业务拓扑画像中选取图像帧,将选取的图像帧按时间顺序播放。
8.根据权利要求1所述的通信业务数据的处理方法,其特征在于,所述镜像数据库的数据库类型是时序数据库。
9.一种通信业务数据的处理装置,其特征在于,包括至少一个处理器和用于与所述至少一个处理器通信连接的存储器;所述存储器存储有能够被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至7中任意一项所述的通信业务数据的处理方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如权利要求1至7中任意一项所述的通信业务数据的处理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111239756.8A CN116028572A (zh) | 2021-10-25 | 2021-10-25 | 通信业务数据的处理方法、装置和计算机存储介质 |
PCT/CN2022/110030 WO2023071367A1 (zh) | 2021-10-25 | 2022-08-03 | 通信业务数据的处理方法、装置和计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111239756.8A CN116028572A (zh) | 2021-10-25 | 2021-10-25 | 通信业务数据的处理方法、装置和计算机存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116028572A true CN116028572A (zh) | 2023-04-28 |
Family
ID=86089890
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111239756.8A Pending CN116028572A (zh) | 2021-10-25 | 2021-10-25 | 通信业务数据的处理方法、装置和计算机存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN116028572A (zh) |
WO (1) | WO2023071367A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117033087B (zh) * | 2023-10-10 | 2024-01-19 | 武汉吧哒科技股份有限公司 | 数据处理方法、装置、存储介质及管理服务器 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104298760B (zh) * | 2014-10-23 | 2019-02-05 | 北京京东尚科信息技术有限公司 | 一种应用于数据仓库的数据处理方法和数据处理装置 |
US9940205B2 (en) * | 2015-03-27 | 2018-04-10 | EMC IP Holding Company LLC | Virtual point in time access between snapshots |
US10133761B2 (en) * | 2015-12-02 | 2018-11-20 | Quantum Corporation | Metadump spatial database system |
CN110196758A (zh) * | 2018-05-10 | 2019-09-03 | 腾讯科技(深圳)有限公司 | 数据处理方法和装置、存储介质及电子装置 |
CN112825069A (zh) * | 2019-11-21 | 2021-05-21 | 阿里巴巴集团控股有限公司 | 数据库数据的分析方法、设备、系统及存储介质 |
-
2021
- 2021-10-25 CN CN202111239756.8A patent/CN116028572A/zh active Pending
-
2022
- 2022-08-03 WO PCT/CN2022/110030 patent/WO2023071367A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023071367A1 (zh) | 2023-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10331641B2 (en) | Hash database configuration method and apparatus | |
WO2018095299A1 (zh) | 一种时序数据管理方法、设备和装置 | |
CN106599292B (zh) | 针对实时视频数据和图像数据进行存储的方法及系统 | |
CN111061758B (zh) | 数据存储方法、装置及存储介质 | |
CN110413571A (zh) | 基于MongoDB大规模遥感影像数据分布式存储方法 | |
CN111523004B (zh) | 一种边缘计算网关数据的存储方法及系统 | |
CN111414424B (zh) | 一种配置数据自动同步redis的方法、系统、介质及设备 | |
CN114722092A (zh) | 时序数据处理方法、系统、存储介质和电子设备 | |
CN115146002A (zh) | 跨数据中心的数据同步方法及装置 | |
CN116028572A (zh) | 通信业务数据的处理方法、装置和计算机存储介质 | |
WO2017000592A1 (zh) | 数据处理方法、装置及系统 | |
CN107798063A (zh) | 快照处理方法和快照处理装置 | |
CN116756253B (zh) | 关系型数据库的数据存储、查询方法、装置、设备和介质 | |
CN108427675B (zh) | 构建索引的方法及设备 | |
JP2023531751A (ja) | 車載データ記憶方法およびシステム | |
CN111767282A (zh) | 基于MongoDB的存储系统及数据插入方法和存储介质 | |
CN116303789A (zh) | 多分片多副本数据库并行同步方法、装置及可读介质 | |
CN115525603A (zh) | 存储统计方法、装置、计算机可读存储介质与ai设备 | |
CN115269519A (zh) | 一种日志检测方法、装置及电子设备 | |
CN114297196A (zh) | 元数据存储方法、装置、电子设备及存储介质 | |
CN110990394B (zh) | 分布式面向列数据库表的行数统计方法、装置和存储介质 | |
CN114253938A (zh) | 数据管理方法、数据管理装置及存储介质 | |
CN112131433B (zh) | 区间计数查询方法及装置 | |
CN109992701B (zh) | 一种链表实现方法、装置、设备及可读存储介质 | |
CN116760844A (zh) | 数字孪生模型的数据同步方法、装置、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |