CN113836183A - 将逻辑流表推送到客户端的方法、系统、设备和存储介质 - Google Patents

将逻辑流表推送到客户端的方法、系统、设备和存储介质 Download PDF

Info

Publication number
CN113836183A
CN113836183A CN202111064275.8A CN202111064275A CN113836183A CN 113836183 A CN113836183 A CN 113836183A CN 202111064275 A CN202111064275 A CN 202111064275A CN 113836183 A CN113836183 A CN 113836183A
Authority
CN
China
Prior art keywords
data
queue
flow table
client
pushing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111064275.8A
Other languages
English (en)
Inventor
王玉东
黄吉旺
彭彬彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Jinan data Technology Co ltd
Original Assignee
Inspur Jinan data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Jinan data Technology Co ltd filed Critical Inspur Jinan data Technology Co ltd
Priority to CN202111064275.8A priority Critical patent/CN113836183A/zh
Publication of CN113836183A publication Critical patent/CN113836183A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2358—Change logging, detection, and notification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种将逻辑流表推送到客户端的方法、系统、设备和存储介质，方法包括：订阅多个开放虚拟网络集群的南北向数据库，将南北向数据库订阅推送的数据保存到缓存中；响应于订阅全部数据库的全量数据，获取数据库全量数据添加到推送队列中；响应于订阅部分数据库的部分字段，根据过滤条件动态生成逻辑表表达式，过滤事件队列数据和新旧数据队列数据，并将过滤后的数据添加到所述推送队列中；以及基于推送队列与客户端的连接协议将所述推送队列中的数据推送到对应的客户端中。本发明将南北向数据库订阅推送的数据保存到缓存中，客户端订阅逻辑流表时，系统根据订阅条件生成逻辑表和过滤表达式并推送给客户端。

Description

将逻辑流表推送到客户端的方法、系统、设备和存储介质
技术领域
本发明涉及云平台领域，更具体地，特别是指一种将逻辑流表推送到客户端的方法、系统、设备和存储介质。
背景技术
OVN(Open Virtual Network，开放虚拟网络)是OVS(Open Virtual Switch，开放虚拟交换机)提供的原生虚拟化网络方案，旨在解决传统SDN(Software Defined Network，软件定义网络)架构的性能问题。OVN架构数据保存在OVN北向数据库(northbounddatabase)和OVN南向数据库(southbound database)的逻辑流表中。当数据中心有多个kubernetes容器集群、openstack虚拟化集群或者两种集群同时存在时，用户由获取容器或者虚拟机OVN网络信息来分析容器或者虚拟机网络分配情况以及实现容器或者虚拟机间网络互联的需求。Kubernetes和openstack编程语言不同，目前，常用的解决方案是分别编写kubernetes和openstack插件，使用ovn-nbctl/sbctl命令获取网络信息，但这样劣势在于：
1、需要多个团队分别开发和部署插件，大量重复开发运维工作增加了人力成本。
2、使用ovn-nbctl/sbctl命令查询OVN数据库获取逻辑流表，不能实时的获取OVN逻辑流表的变化，实时性比较弱；每次查询需要连接一次OVN数据库，降低了OVN数据库性能。
3、开发中定义的滤逻辑流表的条件，满足不了不同客户不同场景的需求。
发明内容
有鉴于此，本发明实施例的目的在于提出一种将逻辑流表推送到客户端的方法、系统、计算机设备及计算机可读存储介质，本发明使用原生OVSDB协议订阅OVN数据库，通过kubernetes的configmap(是K8s中的配置管理组件，可以将配置以key-value(键值对)的形式传递，可以保存用户使用的配置信息)存储逻辑流表，动态修改客户端订阅逻辑流表，通过gRPC或WebSocket协议推送OVN逻辑流表，可以实时动态调整系统订阅逻辑流表，运维成本低；根据客户端需求动态生成golang(语言)表达式来过滤缓存装置数据，减少开发成本，提高过滤速率；推送成功和失败数据记录到CRD(Custom Resource Definition，自定义资源)中，客户端可以监听此CRD实时获取分析展示。
基于上述目的，本发明实施例的一方面提供了一种将逻辑流表推送到客户端的方法，包括如下步骤：订阅多个开放虚拟网络集群的南北向数据库，将南北向数据库订阅推送的数据保存到缓存中；响应于订阅全部数据库的全量数据，获取数据库全量数据添加到推送队列中；响应于订阅部分数据库的部分字段，根据过滤条件动态生成逻辑表表达式，过滤事件队列数据和新旧数据队列数据，并将过滤后的数据添加到所述推送队列中；以及基于推送队列与客户端的连接协议将所述推送队列中的数据推送到对应的客户端中。
在一些实施方式中，方法还包括：响应于逻辑流表发生变化，将变化后的数据更新到全量数据队列；对比变化前后的数据以得到变化事件，并将所述变化事件更新到所述事件队列；以及将变化前的旧数据和变化后的新数据更新到所述新旧数据队列。
在一些实施方式中，方法还包括：在每个客户端创建自定义资源，在所述自定义资源中记录数据库地址、逻辑流表推送成功或失败的信息。
在一些实施方式中，方法还包括：创建应用配置管理存储要监听的逻辑流表，并在所述应用配置管理中通过键值对来配置所述逻辑流表。
本发明实施例的另一方面，提供了一种将逻辑流表推送到客户端的系统，包括：订阅模块，配置用于订阅多个开放虚拟网络集群的南北向数据库，将南北向数据库订阅推送的数据保存到缓存中；全量模块，配置用于响应于订阅全部数据库的全量数据，获取数据库全量数据添加到推送队列中；分量模块，配置用于响应于订阅部分数据库的部分字段，根据过滤条件动态生成逻辑表表达式，过滤事件队列数据和新旧数据队列数据，并将过滤后的数据添加到所述推送队列中；以及推送模块，配置用于基于推送队列与客户端的连接协议将所述推送队列中的数据推送到对应的客户端中。
在一些实施方式中，系统还包括队列模块，配置用于：响应于逻辑流表发生变化，将变化后的数据更新到全量数据队列；对比变化前后的数据以得到变化事件，并将所述变化事件更新到所述事件队列；以及将变化前的旧数据和变化后的新数据更新到所述新旧数据队列。
在一些实施方式中，系统还包括记录模块，配置用于：在每个客户端创建自定义资源，在所述自定义资源中记录数据库地址、逻辑流表推送成功或失败的信息。
在一些实施方式中，系统还包括创建模块，配置用于：创建应用配置管理存储要监听的逻辑流表，并在所述应用配置管理中通过键值对来配置所述逻辑流表。
本发明实施例的又一方面，还提供了一种计算机设备，包括：至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现如上方法的步骤。
本发明实施例的再一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时实现如上方法步骤的计算机程序。
本发明具有以下有益技术效果：使用原生OVSDB协议订阅OVN数据库，通过kubernetes的configmap存储逻辑流表，动态修改客户端订阅逻辑流表，通过gRPC或WebSocket协议推送OVN逻辑流表，可以实时动态调整系统订阅逻辑流表，运维成本低；根据客户端需求动态生成golang表达式来过滤缓存装置数据，减少开发成本，提高过滤速率；推送成功和失败数据记录到CRD中，客户端可以监听此CRD实时获取分析展示。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本发明提供的将逻辑流表推送到客户端的方法的实施例的示意图；
图2为本发明提供的将逻辑流表推送到客户端的系统的实施例的示意图；
图3为本发明提供的将逻辑流表推送到客户端的计算机设备的实施例的硬件结构示意图；
图4为本发明提供的将逻辑流表推送到客户端的计算机存储介质的实施例的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
本发明实施例的第一个方面，提出了一种将逻辑流表推送到客户端的方法的实施例。图1示出的是本发明提供的将逻辑流表推送到客户端的方法的实施例的示意图。如图1所示，本发明实施例包括如下步骤：
S1、订阅多个开放虚拟网络集群的南北向数据库，将南北向数据库订阅推送的数据保存到缓存中；
S2、响应于订阅全部数据库的全量数据，获取数据库全量数据添加到推送队列中；
S3、响应于订阅部分数据库的部分字段，根据过滤条件动态生成逻辑表表达式，过滤事件队列数据和新旧数据队列数据，并将过滤后的数据添加到所述推送队列中；以及
S4、基于推送队列与客户端的连接协议将所述推送队列中的数据推送到对应的客户端中。
本发明实施例主要思想是基于原生OVSDB协议订阅多个ovn集群的南北向数据库，将南北向数据库订阅推送的数据保存到缓存中。客户端订阅某个ovn南北向数据库的某些逻辑流表时，系统根据用于订阅条件生成逻辑表golang模型和过滤表达式，过滤缓存中逻辑流表数据并通过gRPC或WebSocket协议推送给客户端，达到自动推送的效果。
本发明实施例中主要包括ovn集群连接装置、逻辑流表订阅监听装置、逻辑流表缓存装置、客户端连接订阅装置、过滤分析装置、推送装置。其中逻辑流表订阅监听装置主要是通过监听不同的ovn集群configmap，来动态调整订阅监听ovn逻辑流表数量。客户端连接订阅装置主要根据用于订阅生成客户端需要的ovn逻辑流表订阅缓存。ovn逻辑流表订阅队列主要包含用户希望监听的数据库流表以及流表过滤条件。
OVN集群连接装置主要用于存储多个ovn集群数据库连接信息的配置和连接ovn集群，当在连接信息的配置中添加一个ovn集群数据库信息时，连接装置会立刻感知到变化，验证连接是否有效，并将数据库连接添加到连接数据库缓存队列；当在连接信息的配置中删除一个ovn集群数据库信息时，关闭数据库连接，并从连接数据库缓存队列删除。
逻辑流表订阅监听装置将要监听的逻辑流表存储到configmap中，当要增加修改删除某个逻辑流表时，可以直接编辑此configmap。当configmap发生变化时，kubernetes的api-server会将主要的变化推送到逻辑流表判断模块，然后进行添加或者删除逻辑流表的订阅。
逻辑流表缓存装置主要包括全量数据队列、事件队列和新旧数据队列。
客户端连接订阅装置：客户端通过gRPC或者WebSocket协议与此装置建立连接，发送订阅数据库地址参数、数据库ovn逻辑流表和逻辑流表项参数，来向该装置订阅需要监听的数据库、数据库逻辑流表以及逻辑流表项。此装置接收到客户端参数后，生成逻辑流表订阅缓存保存客户端订阅参数，缓存主要记录客户端订阅的数据库、数据库逻辑流表以及逻辑流表项过滤参数供过滤分析装置使用。当客户端订阅多个数据库时，生成多个逻辑流表订阅缓存。
过滤分析装置：分析客户端连接订阅装置生成的逻辑流表订阅队列数据，当客户端希望获取全量逻辑流表数据时，此装置将缓存装置中全量数据复制一份到推送队列。当客户端希望获取部分逻辑流表数据，此装置从订阅队列获取逻辑流表项过滤参数，动态生成逻辑流表golang表达式，根据表达式过滤缓存装置中事件队列和新旧数据队列数据，并然后追加到推送队列中。
推送装置主要包括推送端、已推送数据和推送失败数据信息记录。推送端从推送队列获取推送数据，通过gRPC或者WebSocket协议推送给客户端。使用Kubernetes自定义资源CRD技术存储已推送和推送失败数据记录。
由于configmap和CRD等属于Kubernetes中定义的资源，所以本发明实施例需要部署在Kubernetes集群中。
创建ovn集群数据库连接配置，连接配置主要包括数据库连接地址和数据库密钥等信息，使用连接地址区分不同的数据库。数据库信息添加到该配置后，通过OVSDB协议连接ovn数据库。
在一些实施方式中，方法还包括：创建应用配置管理存储要监听的逻辑流表，并在所述应用配置管理中通过键值对来配置所述逻辑流表。创建名称为ovn-watch的configmap或者创建带有注解为“ovn-watch:true”的任意名称的configmap来存储要监听的逻辑流表。在configmap中通过“表名称”：“是否监听true/false”的键值对来配置具体逻辑流表，例如需要监听Logical_Switch流表时配置键值对“Logical_Switch”：“true”，关闭Logical_Switch流表监听时，可删除Logical_Switch键值对或者将键值对修改为“Logical_Switch”：“false”。修改configmap来新增删除逻辑流表时，Kubernetes Api-server(Application Programming Interface Server，应用程序接口服务)会将configmap变化推送到对比模块判断并添加或者删除对应逻辑流表的订阅。
订阅多个开放虚拟网络集群的南北向数据库，将南北向数据库订阅推送的数据保存到缓存中。客户端根据需求连接订阅逻辑流表，客户端连接订阅装置与客户端建立连接并生成逻辑流表订阅缓存。逻辑流表订阅缓存记录客户端订阅的逻辑流表以及过滤逻辑流表条件。
在一些实施方式中，方法还包括：响应于逻辑流表发生变化，将变化后的数据更新到全量数据队列；对比变化前后的数据以得到变化事件，并将所述变化事件更新到所述事件队列；以及将变化前的旧数据和变化后的新数据更新到所述新旧数据队列。订阅逻辑流表后，逻辑流表发生变化时会主动推送到逻辑流表缓存装置。逻辑流表缓存装置一方面将数据更新到全量数据队列，另一方面对比前后数据的变化得出数据变化事件(增加、修改还是删除)将其更新到事件队列，同时将新旧数据更新到新旧数据队列。这些数据队列数据为推送客户端提供基本数据保障。
响应于订阅全部数据库的全量数据，获取数据库全量数据添加到推送队列中。客户端订阅全部数据库的全量数据时，从缓存装置中获取数据库流表全量数据添加到推送队列。
响应于订阅部分数据库的部分字段，根据过滤条件动态生成逻辑表表达式，过滤事件队列数据和新旧数据队列数据，并将过滤后的数据添加到所述推送队列中。当客户端订阅部分数据库的部分字段时，根据缓存中过滤条件动态生成逻辑表golang表达式，并过滤事件和新旧数据队列数据，追加到推送队列中。
基于推送队列与客户端的连接协议将所述推送队列中的数据推送到对应的客户端中。
在一些实施方式中，方法还包括：在每个客户端创建自定义资源，在所述自定义资源中记录数据库地址、逻辑流表推送成功或失败的信息。推送端从推送队列获取数据，通过与客户端连接协议推送给客户端。推送失败和成功的表数据记录到kubernetes自定义crd中。根据客户端信息在kubernetes集群中为每个客户端创建名称为“xxx-push_sucess_crd”和“push_fail_crd”的CRD，CRD中记录数据库地址，逻辑流表推送或失败的记录信息，可供用户查看。
本发明实施例使用原生OVSDB协议订阅OVN数据库，通过kubernetes的configmap存储逻辑流表，动态修改客户端订阅逻辑流表，通过gRPC或WebSocket协议推送OVN逻辑流表，可以实时动态调整系统订阅逻辑流表，运维成本低；根据客户端需求动态生成golang表达式来过滤缓存装置数据，减少开发成本，提高过滤速率；推送成功和失败数据记录到CRD中，客户端可以监听此CRD实时获取分析展示。
需要特别指出的是，上述将逻辑流表推送到客户端的方法的各个实施例中的各个步骤均可以相互交叉、替换、增加、删减，因此，这些合理的排列组合变换之于将逻辑流表推送到客户端的方法也应当属于本发明的保护范围，并且不应将本发明的保护范围局限在实施例之上。
基于上述目的，本发明实施例的第二个方面，提出了一种将逻辑流表推送到客户端的系统。如图2所示，系统200包括如下模块：订阅模块，配置用于订阅多个开放虚拟网络集群的南北向数据库，将南北向数据库订阅推送的数据保存到缓存中；全量模块，配置用于响应于订阅全部数据库的全量数据，获取数据库全量数据添加到推送队列中；分量模块，配置用于响应于订阅部分数据库的部分字段，根据过滤条件动态生成逻辑表表达式，过滤事件队列数据和新旧数据队列数据，并将过滤后的数据添加到所述推送队列中；以及推送模块，配置用于基于推送队列与客户端的连接协议将所述推送队列中的数据推送到对应的客户端中。
在一些实施方式中，系统还包括队列模块，配置用于：响应于逻辑流表发生变化，将变化后的数据更新到全量数据队列；对比变化前后的数据以得到变化事件，并将所述变化事件更新到所述事件队列；以及将变化前的旧数据和变化后的新数据更新到所述新旧数据队列。
在一些实施方式中，系统还包括记录模块，配置用于：在每个客户端创建自定义资源，在所述自定义资源中记录数据库地址、逻辑流表推送成功或失败的信息。
在一些实施方式中，系统还包括创建模块，配置用于：创建应用配置管理存储要监听的逻辑流表，并在所述应用配置管理中通过键值对来配置所述逻辑流表。
本发明实施例使用原生OVSDB协议订阅OVN数据库，通过kubernetes的configmap存储逻辑流表，动态修改客户端订阅逻辑流表，通过gRPC或WebSocket协议推送OVN逻辑流表，可以实时动态调整系统订阅逻辑流表，运维成本低；根据客户端需求动态生成golang表达式来过滤缓存装置数据，减少开发成本，提高过滤速率；推送成功和失败数据记录到CRD中，客户端可以监听此CRD实时获取分析展示。
基于上述目的，本发明实施例的第三个方面，提出了一种计算机设备，包括：至少一个处理器；以及存储器，存储器存储有可在处理器上运行的计算机指令，指令由处理器执行以实现如下步骤：S1、订阅多个开放虚拟网络集群的南北向数据库，将南北向数据库订阅推送的数据保存到缓存中；
S2、响应于订阅全部数据库的全量数据，获取数据库全量数据添加到推送队列中；S3、响应于订阅部分数据库的部分字段，根据过滤条件动态生成逻辑表表达式，过滤事件队列数据和新旧数据队列数据，并将过滤后的数据添加到所述推送队列中；以及S4、基于推送队列与客户端的连接协议将所述推送队列中的数据推送到对应的客户端中。
在一些实施方式中，步骤还包括：响应于逻辑流表发生变化，将变化后的数据更新到全量数据队列；对比变化前后的数据以得到变化事件，并将所述变化事件更新到所述事件队列；以及将变化前的旧数据和变化后的新数据更新到所述新旧数据队列。
在一些实施方式中，步骤还包括：在每个客户端创建自定义资源，在所述自定义资源中记录数据库地址、逻辑流表推送成功或失败的信息。
在一些实施方式中，步骤还包括：创建应用配置管理存储要监听的逻辑流表，并在所述应用配置管理中通过键值对来配置所述逻辑流表。
本发明实施例使用原生OVSDB协议订阅OVN数据库，通过kubernetes的configmap存储逻辑流表，动态修改客户端订阅逻辑流表，通过gRPC或WebSocket协议推送OVN逻辑流表，可以实时动态调整系统订阅逻辑流表，运维成本低；根据客户端需求动态生成golang表达式来过滤缓存装置数据，减少开发成本，提高过滤速率；推送成功和失败数据记录到CRD中，客户端可以监听此CRD实时获取分析展示。
如图3所示，为本发明提供的上述将逻辑流表推送到客户端的计算机设备的一个实施例的硬件结构示意图。
以如图3所示的装置为例，在该装置中包括一个处理器301以及一个存储器302。
处理器301和存储器302可以通过总线或者其他方式连接，图3中以通过总线连接为例。
存储器302作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的将逻辑流表推送到客户端的方法对应的程序指令/模块。处理器301通过运行存储在存储器302中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现将逻辑流表推送到客户端的方法。
存储器302可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据将逻辑流表推送到客户端的方法的使用所创建的数据等。此外，存储器302可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器302可选包括相对于处理器301远程设置的存储器，这些远程存储器可以通过网络连接至本地模块。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个将逻辑流表推送到客户端的方法对应的计算机指令303存储在存储器302中，当被处理器301执行时，执行上述任意方法实施例中的将逻辑流表推送到客户端的方法。
执行上述将逻辑流表推送到客户端的方法的计算机设备的任何一个实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
本发明还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时执行将逻辑流表推送到客户端的方法的计算机程序。
如图4所示，为本发明提供的上述将逻辑流表推送到客户端的计算机存储介质的一个实施例的示意图。以如图4所示的计算机存储介质为例，计算机可读存储介质401存储有被处理器执行时执行如上方法的计算机程序402。
最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，将逻辑流表推送到客户端的方法的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，程序的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。上述计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (10)

1.一种将逻辑流表推送到客户端的方法，其特征在于，包括如下步骤：
订阅多个开放虚拟网络集群的南北向数据库，将南北向数据库订阅推送的数据保存到缓存中；
响应于订阅全部数据库的全量数据，获取数据库全量数据添加到推送队列中；
响应于订阅部分数据库的部分字段，根据过滤条件动态生成逻辑表表达式，过滤事件队列数据和新旧数据队列数据，并将过滤后的数据添加到所述推送队列中；以及
基于推送队列与客户端的连接协议将所述推送队列中的数据推送到对应的客户端中。
2.根据权利要求1所述的方法，其特征在于，方法还包括：
响应于逻辑流表发生变化，将变化后的数据更新到全量数据队列；
对比变化前后的数据以得到变化事件，并将所述变化事件更新到所述事件队列；以及
将变化前的旧数据和变化后的新数据更新到所述新旧数据队列。
3.根据权利要求1所述的方法，其特征在于，方法还包括：
在每个客户端创建自定义资源，在所述自定义资源中记录数据库地址、逻辑流表推送成功或失败的信息。
4.根据权利要求1所述的方法，其特征在于，方法还包括：
创建应用配置管理存储要监听的逻辑流表，并在所述应用配置管理中通过键值对来配置所述逻辑流表。
5.一种将逻辑流表推送到客户端的系统，其特征在于，包括：
订阅模块，配置用于订阅多个开放虚拟网络集群的南北向数据库，将南北向数据库订阅推送的数据保存到缓存中；
全量模块，配置用于响应于订阅全部数据库的全量数据，获取数据库全量数据添加到推送队列中；
分量模块，配置用于响应于订阅部分数据库的部分字段，根据过滤条件动态生成逻辑表表达式，过滤事件队列数据和新旧数据队列数据，并将过滤后的数据添加到所述推送队列中；以及
推送模块，配置用于基于推送队列与客户端的连接协议将所述推送队列中的数据推送到对应的客户端中。
6.根据权利要求5所述的系统，其特征在于，系统还包括队列模块，配置用于：
响应于逻辑流表发生变化，将变化后的数据更新到全量数据队列；
对比变化前后的数据以得到变化事件，并将所述变化事件更新到所述事件队列；以及
将变化前的旧数据和变化后的新数据更新到所述新旧数据队列。
7.根据权利要求5所述的系统，其特征在于，系统还包括记录模块，配置用于：
在每个客户端创建自定义资源，在所述自定义资源中记录数据库地址、逻辑流表推送成功或失败的信息。
8.根据权利要求5所述的系统，其特征在于，系统还包括创建模块，配置用于：
创建应用配置管理存储要监听的逻辑流表，并在所述应用配置管理中通过键值对来配置所述逻辑流表。
9.一种计算机设备，其特征在于，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现权利要求1-4任意一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-4任意一项所述方法的步骤。
CN202111064275.8A 2021-09-10 2021-09-10 将逻辑流表推送到客户端的方法、系统、设备和存储介质 Pending CN113836183A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111064275.8A CN113836183A (zh) 2021-09-10 2021-09-10 将逻辑流表推送到客户端的方法、系统、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111064275.8A CN113836183A (zh) 2021-09-10 2021-09-10 将逻辑流表推送到客户端的方法、系统、设备和存储介质

Publications (1)

Publication Number Publication Date
CN113836183A true CN113836183A (zh) 2021-12-24

Family

ID=78959076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111064275.8A Pending CN113836183A (zh) 2021-09-10 2021-09-10 将逻辑流表推送到客户端的方法、系统、设备和存储介质

Country Status (1)

Country Link
CN (1) CN113836183A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120072411A1 (en) * 2010-09-16 2012-03-22 Microsoft Corporation Data representation for push-based queries
CN102724304A (zh) * 2012-06-06 2012-10-10 哈尔滨工程大学 订阅/发布系统中信息仓库联邦及数据同步方法
US20130290354A1 (en) * 2012-04-26 2013-10-31 Sap Ag Calculation Models Using Annotations For Filter Optimization
CN103516788A (zh) * 2013-09-13 2014-01-15 杭州东方通信软件技术有限公司 一种数据推送方法及其Flash客户端和服务器
US20170339001A1 (en) * 2015-02-12 2017-11-23 Alibaba Group Holding Limited Methods and apparatuses for pushing a message
CN109885764A (zh) * 2019-01-29 2019-06-14 努比亚技术有限公司 一种订阅信息处理方法、移动终端及计算机可读存储介质
CN110324370A (zh) * 2018-03-29 2019-10-11 北京京东尚科信息技术有限公司 服务端向客户端推送数据的方法和装置
CN111193789A (zh) * 2019-12-25 2020-05-22 微民保险代理有限公司 订阅信息推送方法、装置、计算机设备和可读存储介质
CN112541101A (zh) * 2020-12-11 2021-03-23 武汉旷视金智科技有限公司 订阅数据的推送方法、装置、电子设备及计算机存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120072411A1 (en) * 2010-09-16 2012-03-22 Microsoft Corporation Data representation for push-based queries
US20130290354A1 (en) * 2012-04-26 2013-10-31 Sap Ag Calculation Models Using Annotations For Filter Optimization
CN102724304A (zh) * 2012-06-06 2012-10-10 哈尔滨工程大学 订阅/发布系统中信息仓库联邦及数据同步方法
CN103516788A (zh) * 2013-09-13 2014-01-15 杭州东方通信软件技术有限公司 一种数据推送方法及其Flash客户端和服务器
US20170339001A1 (en) * 2015-02-12 2017-11-23 Alibaba Group Holding Limited Methods and apparatuses for pushing a message
CN110324370A (zh) * 2018-03-29 2019-10-11 北京京东尚科信息技术有限公司 服务端向客户端推送数据的方法和装置
CN109885764A (zh) * 2019-01-29 2019-06-14 努比亚技术有限公司 一种订阅信息处理方法、移动终端及计算机可读存储介质
CN111193789A (zh) * 2019-12-25 2020-05-22 微民保险代理有限公司 订阅信息推送方法、装置、计算机设备和可读存储介质
CN112541101A (zh) * 2020-12-11 2021-03-23 武汉旷视金智科技有限公司 订阅数据的推送方法、装置、电子设备及计算机存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李耿;朱美正;: "数据订阅分发技术的研究与实现", 计算机工程与设计, no. 12, 28 June 2010 (2010-06-28), pages 2876 - 2879 *

Similar Documents

Publication Publication Date Title
CN108847989B (zh) 基于微服务架构的日志处理方法、业务服务系统以及电子设备
US20220070065A1 (en) Enriched flow data for network analytics
US11567959B2 (en) Self-contained files for generating a visualization of query results
US11422873B2 (en) Efficient message queuing service using multiplexing
US11838351B1 (en) Customizable load balancing in a user behavior analytics deployment
Shapira et al. Kafka: the definitive guide
US11086974B2 (en) Customizing a user behavior analytics deployment
US9497250B2 (en) Runtime grouping of tuples in a streaming application
CN111131379B (zh) 一种分布式流量采集系统和边缘计算方法
CN106254466B (zh) 基于局域网的hdfs分布式文件共享方法
CN108924215B (zh) 一种基于树形结构的服务发现处理方法及装置
CN113760652B (zh) 基于应用的全链路监控的方法、系统、设备和存储介质
CN114830080B (zh) 数据分发流程配置方法及装置、电子设备、存储介质
CN107423090B (zh) 一种Flash播放器异常日志管理方法及系统
US9307015B1 (en) Cloud black box for cloud infrastructure
CN107783891A (zh) 一种采集nginx日志的方法及服务器
CN111597157A (zh) 一种改进日志处理系统架构的方法
CN113836183A (zh) 将逻辑流表推送到客户端的方法、系统、设备和存储介质
CN113504872B (zh) 一种云物理机挂载虚拟磁盘的方法、系统、设备及介质
CN117955978A (zh) 一种数据传输方法及相关装置
CN115510016A (zh) 一种基于目录分片的客户端应答方法、装置及介质
US20190280924A1 (en) Configuration management using ovsdb protocol
CN110401647A (zh) 一种idc信息安全管理系统
Sasidharan Implementation of High Available and Scalable Syslog Server with NoSQL Cassandra Database and Message Queue
US20230168871A1 (en) Systems, methods, and devices for automatic application programming interface model generation based on network traffic

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination