CN116954821A - 数据处理方法、装置、设备及计算机可读存储介质 - Google Patents

数据处理方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN116954821A
CN116954821A CN202310899759.7A CN202310899759A CN116954821A CN 116954821 A CN116954821 A CN 116954821A CN 202310899759 A CN202310899759 A CN 202310899759A CN 116954821 A CN116954821 A CN 116954821A
Authority
CN
China
Prior art keywords
data processing
client
processing method
cluster
rule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310899759.7A
Other languages
English (en)
Inventor
金鑫
游峰
徐冰
杨海
黄鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Financial Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Financial Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Financial Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202310899759.7A priority Critical patent/CN116954821A/zh
Publication of CN116954821A publication Critical patent/CN116954821A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/60Software deployment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/45562Creating, deleting, cloning virtual machine instances

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据处理方法、装置、设备及计算机可读存储介质,其方法包括:接收到fabric8客户端发送的创建请求时,确定k8s集群是否满足预设部署要求;若满足预设部署要求,则初始化k8s客户端以及rabbitmq Operator自定义资源操作对象;基于所述创建请求对应的配置数据,存储对应的规则至执行容器对应的PV持久卷中;创建所述规则对应的资源,并将所述PV持久卷挂载至对应的服务器。本发明通过Fabric8客户端、K8s集群交互实现rabbitmq集群执行容器部署,不需要第三方依赖即可完成应用的部署。

Description

数据处理方法、装置、设备及计算机可读存储介质
技术领域
本发明涉及数据处理技术领域,尤其涉及一种数据处理方法、装置、设备及计算机可读存储介质。
背景技术
rabbitmq的执行容器部署现有方案为通过helm技术来部署rabbitmq集群,通过helm技术需要编写多个部署模版yaml,对特有参数进行提取。在k8s上部署还需要安装helm依赖来运行rabbitmq的集群部署。
现有rabbitmq的执行容器部署,类似于操作系统镜像文件,可以使用它来部署以特定方式设置的操作系统环境的副本,但在需要新增定制化功能的情况下,必须从头构建,才可以适应需要新增定制化功能,导致部署模式封闭程度高,定制化功能配置步骤繁琐。在需要修改配置或新增定制化功能的情况下,需要从头构建相应程序,形成新的规则执行相关程序,且已经启动并正在运行的集群不支持自定义配置或部署特殊的应用程序。
发明内容
本发明的主要目的在于提供一种数据处理方法、装置、设备及计算机可读存储介质,旨在解决现有执行容器部署定制化功能配置步骤繁琐且已经启动并正在运行的集群不支持自定义配置或部署特殊的应用程序的技术问题。
为实现上述目的,本发明提供一种数据处理方法,所述数据处理方法包括以下步骤:
接收到fabric8客户端发送的创建请求时,确定k8s集群是否满足预设部署要求;
若满足预设部署要求,则初始化k8s客户端以及rabbitmq Operator自定义资源操作对象;
基于所述创建请求对应的配置数据,存储对应的规则至执行容器对应的PV持久卷中;
创建所述规则对应的资源,并将所述PV持久卷挂载至对应的服务器。
进一步地,所述初始化k8s客户端以及rabbitmq Operator自定义资源操作对象的步骤包括:
获取k8s客户端对应的配置数据,基于所述配置数据初始化k8s客户端;
基于operator的yaml部署文件和与crd对应的Java对象,初始化rabbitmqOperator自定义资源操作对象。
进一步地,所述基于所述创建请求对应的配置数据,存储对应的规则至执行容器对应的PV持久卷中的步骤包括:
解析所述K8s客户端对应的数据,以获得特有参数;
将所述特有参数以及所述创建请求对应的配置数据确定所述规则,并将规则存储至执行容器对应的PV持久卷中。
进一步地,所述接收到fabric8客户端发送的创建请求时,确定k8s集群是否满足预设部署要求的步骤包括:
确定创建资源请求对应的命名空间是否存在;
若所述命名空间不存在,则确定k8s集群的资源是否满足最小创建资源需求,其中,若k8s集群的资源满足最小创建资源需求,则确定k8s集群满足预设部署要求。
进一步地,所述创建所述规则对应的资源的步骤包括:
通过operator获取PV持久卷中更新的规则;
通过operator基于更新的规则创建资源,并将更新的规则发送至对应的执行容器。
进一步地,所述数据处理方法还包括:
获取集群中各个节点的节点流量;
确定所述节点流量是否存在大于预设流量的目标节点流量;
若存在目标节点流量,则通过opertor生成rabbitmq node节点,并将rabbitmqnode节点加入集群。
进一步地,所述数据处理方法还包括:
基于各个节点的节点流量及服务性能,确定服务拐点;
确定服务拐点对应的拐点位置散点分布,基于拐点位置散点分布确定所述预设流量。
此外,为实现上述目的,本发明还提供一种数据处理装置,所述数据处理装置包括:
确定模块,用于接收到fabric8客户端发送的创建请求时,确定k8s集群是否满足预设部署要求;
初始化模块,用于若满足预设部署要求,则初始化k8s客户端以及rabbitmqOperator自定义资源操作对象;
存储模块,用于基于所述创建请求对应的配置数据,存储对应的规则至执行容器对应的PV持久卷中;
挂载模块,用于创建所述规则对应的资源,并将所述PV持久卷挂载至对应的服务器。
此外,为实现上述目的,本发明还提供一种数据处理设备,所述数据处理设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序,所述数据处理程序被所述处理器执行时实现前述的数据处理方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有数据处理程序,所述数据处理程序被处理器执行时实现前述的数据处理方法的步骤。
本发明通过接收到创建请求时,确定k8s集群是否满足预设部署要求;接着若满足预设部署要求,则初始化k8s客户端以及rabbitmq Operator自定义资源操作对象;而后基于所述创建请求对应的配置数据,存储对应的规则至执行容器对应的PV持久卷中;然后创建所述规则对应的资源,并将所述PV持久卷挂载至对应的服务器。通过Fabric8客户端、K8s集群交互实现rabbitmq集群执行容器部署,不需要第三方依赖即可完成应用的部署。使用自定义资源特性,将特有参数开放给开发人员自我配置使用,加大了框架的开放程度,使得rabbitmq执行容器部署更加灵活;使用PV挂载,持久性存储相关规则,在需要修改配置或新增定制化功能的情况下,仅需更改集群配置那一部分即可实现。
附图说明
图1是本发明实施例方案涉及的硬件运行环境中数据处理设备的结构示意图;
图2为本发明数据处理方法第一实施例的流程示意图;
图3为本发明数据处理方法一实施例的场景示意图;
图4为本发明数据处理方法另一实施例的场景示意图;
图5为本发明数据处理装置一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,图1是本发明实施例方案涉及的硬件运行环境中数据处理设备的结构示意图。
本发明实施例数据处理设备可以是PC,也可以是智能手机、平板电脑、电子书阅读器、MP3(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、便携计算机等具有显示功能的可移动式终端设备。
如图1所示,该数据处理设备可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,数据处理设备还可以包括摄像头、RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块等等。
本领域技术人员可以理解,图1中示出的终端结构并不构成对数据处理设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据处理程序。
在图1所示的数据处理设备中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的数据处理程序。
在本实施例中,数据处理设备包括:存储器1005、处理器1001及存储在所述存储器1005上并可在所述处理器1001上运行的数据处理程序,其中,处理器1001调用存储器1005中存储的数据处理程序时,并执行以下各个实施例中数据处理方法的步骤。
本发明还提供一种数据处理方法,参照图2,图2为本发明数据处理方法第一实施例的流程示意图。
Rabbitmq是一种事务性消息队列。
Fabric8是基于java开发的包含k8s客户端的开源框架,可以调用k8s的功能接口,对k8s内置资源可以做增删改查操作。
Operator可以通过自定义控制器来完成特定化的执行容器部署,从而达到高度灵活化的执行容器管理。
Crd是Kubernetes API中增加新资源类型,而不需要修改Kubernetes源码来创建自定义的API server,该功能大大提高了Kubernetes的扩展能力。Pod是kubernetes上一种最基本资源,可以理解为小型unix服务器
Statefulset是kubernetes上维护有状态服务的资源,提供pv挂载、pod数量维护等功能。
本实施例中,该数据处理方法包括:
步骤S101,接收到fabric8客户端发送的创建请求时,确定k8s集群是否满足预设部署要求;
本实施例中,MQ服务器,作为后端服务,集成了fabric8客户端,可通过fabric8对K8s集群进行操作。与View前端、redis、数据库、MQ云服务建立通信。使用人员通过View前端向MQ云服务发起审批请求;MQ云服务向redis发起判断请求,在判断请求通过后MQ云服务向数据库发起数据入库请求;数据库回传保存成功消息后,MQ云服务向fabric8客户端发起客户端构建请求;在fabric8客户端构建客户端后,使用人员可以通过View前端得到回传信息。
本实施例中,fabric8客户端向operator发起创建资源请求,接收到fabric8客户端发送的创建请求时,确定k8s集群是否满足预设部署要求,具体的,确定创建资源请求对应的命名空间是否存在,k8s集群的资源是否满足最小创建资源需求,若创建资源请求对应的命名空间不存在且k8s集群的资源满足最小创建资源需求,则确定k8s集群满足预设部署要求。
步骤S102,若满足预设部署要求,则初始化k8s客户端以及rabbitmq Operator自定义资源操作对象;
本实施例中,在k8s集群满足预设部署要求时,初始化k8s客户端以及rabbitmqOperator自定义资源操作对象,具体的,获取k8s客户端对应的配置数据,基于所述配置数据初始化k8s客户端;基于operator的yaml部署文件和与crd对应的Java对象,初始化rabbitmq Operator自定义资源操作对象。
步骤S103,基于所述创建请求对应的配置数据,存储对应的规则至执行容器对应的PV持久卷中;
本实施例中,在k8s客户端以及rabbitmq Operator自定义资源操作对象之后,基于所述创建请求对应的配置数据,存储对应的规则至所述k8s客户端相对应的PV持久卷中,具体的,解析所述K8s客户端对应的数据,以获得特有参数,该特有参数为开发人员配置使用的特有参数,将开发人员配置使用的特有参数发送至执行容器,并将相应的配置与执行参数形成规则存储到与执行容器相对应的PV中。
步骤S104,创建所述规则对应的资源,并将所述PV持久卷挂载至对应的服务器。
本实施例中,operator获取PV持久卷中更新的规则(发生变化的规则);将更新的规则发送至对应的执行容器,operator创建所述规则对应的资源,具体的,operator创建一个自定义资源、一个实现pod与pv连接的中间资源pvc、和pod数量一致的pv、一个statefulset、pod等一系列资源。
在完成资源创建之后,将所述PV持久卷挂载至对应的服务器,将pv挂载到指定的服务器,使用nfs+sc、nfs服务需要在挂载服务器上做好相应配置,sc服务也需要提前在k8s集群中做好相应配置。
通过使用PV挂载,持久性存储与PV相对应的执行容器规则。在需要修改配置定制化功能的情况下,只需要获取修改集群配置部分即可实现,通过获取由K8s客户端传递过来的数据,将相应的配置与执行参数形成新的符合定制化需求的规则存储到与执行容器相对应的PV中,更新PV中存储的原有规则,并加载到执行容器中。从而达到支持规则持久化储存,及在已经启动并正在运行的集群修改自定义配置或部署特殊的应用程序。
本实施例提出的数据处理方法,通过接收到创建请求时,确定k8s集群是否满足预设部署要求;接着若满足预设部署要求,则初始化k8s客户端以及rabbitmq Operator自定义资源操作对象;而后基于所述创建请求对应的配置数据,存储对应的规则至执行容器对应的PV持久卷中;然后创建所述规则对应的资源,并将所述PV持久卷挂载至对应的服务器。通过Fabric8客户端、K8s集群交互实现rabbitmq集群执行容器部署,不需要第三方依赖即可完成应用的部署。使用自定义资源特性,将特有参数开放给开发人员自我配置使用,加大了框架的开放程度,使得rabbitmq执行容器部署更加灵活;使用PV挂载,持久性存储相关规则,在需要修改配置或新增定制化功能的情况下,仅需更改集群配置那一部分即可实现。
基于第一实施例,提出本发明数据处理方法的第二实施例,在本实施例中,步骤S102包括:
步骤S201,获取k8s客户端对应的配置数据,基于所述配置数据初始化k8s客户端;
步骤S202,基于operator的yaml部署文件和与crd对应的Java对象,初始化rabbitmq Operator自定义资源操作对象。
本实施例中,在k8s集群满足预设部署要求时,初始化k8s客户端以及rabbitmqOperator自定义资源操作对象,具体的,获取k8s客户端对应的配置数据,基于所述配置数据初始化k8s客户端;基于operator的yaml部署文件和与crd对应的Java对象,初始化rabbitmq Operator自定义资源操作对象。
本实施例提出的数据处理方法,通过获取k8s客户端对应的配置数据,基于所述配置数据初始化k8s客户端;接着基于operator的yaml部署文件和与crd对应的Java对象,初始化rabbitmq Operator自定义资源操作对象,实现通过Fabric8客户端、K8s集群交互进行rabbitmq集群执行容器部署,不需要第三方依赖即可完成应用的部署。
基于第一实施例,提出本发明数据处理方法的第三实施例,在本实施例中,步骤S103包括:
步骤S301,解析所述K8s客户端对应的数据,以获得特有参数;
步骤S302,将所述特有参数以及所述创建请求对应的配置数据确定所述规则,并将规则存储至执行容器对应的PV持久卷中。
本实施例中,在k8s客户端以及rabbitmq Operator自定义资源操作对象之后,解析所述K8s客户端对应的数据,以获得特有参数,该特有参数为开发人员配置使用的特有参数,将开发人员配置使用的特有参数发送至执行容器,并将相应的配置与执行参数形成规则存储到与执行容器相对应的PV中。
通过定义资源特性,将特有参数开放给开发人员自我配置使用,通过解析开发人员配置的特有参数,创建执行容器执行特有参数,并将特有参数形成执行容器运行规则持久性存储,从而完成特有参数的功能实现。从而加大了框架的开放程度,使得rabbitmq执行容器部署更加灵活。
本实施例提出的数据处理方法,通过解析所述K8s客户端对应的数据,以获得特有参数;接着将所述特有参数以及所述创建请求对应的配置数据确定所述规则,并将规则存储至执行容器对应的PV持久卷中。通过定义资源特性,将特有参数开放给开发人员自我配置使用,从而加大了框架的开放程度,使得rabbitmq执行容器部署更加灵活。
基于第一实施例,提出本发明数据处理方法的第四实施例,在本实施例中,步骤S101包括:
步骤S401,确定创建资源请求对应的命名空间是否存在;
步骤S402,若所述命名空间不存在,则确定k8s集群的资源是否满足最小创建资源需求,其中,若k8s集群的资源满足最小创建资源需求,则确定k8s集群满足预设部署要求。
本实施例中,接收到fabric8客户端发送的创建请求时,获取创建资源请求对应的命名空间,并确定创建资源请求对应的命名空间是否存在。
若所述命名空间不存在,获取k8s集群的资源(剩余资源),并确定k8s集群的资源是否满足最小创建资源需求,其中,若k8s集群的资源满足最小创建资源需求,则确定k8s集群满足预设部署要求。
本实施例提出的数据处理方法,通过确定创建资源请求对应的命名空间是否存在;接着若所述命名空间不存在,则确定k8s集群的资源是否满足最小创建资源需求,其中,若k8s集群的资源满足最小创建资源需求,则确定k8s集群满足预设部署要求,可准确确定k8s集群是否满足预设部署要求,以实现k8s集群中执行容器的准确部署。
基于第一实施例,提出本发明数据处理方法的第五实施例,在本实施例中,步骤S105包括:
步骤S501,通过operator获取PV持久卷中更新的规则;
步骤S502,通过operator基于更新的规则创建资源,并将更新的规则发送至对应的执行容器。
本实施例中,operator获取PV持久卷中更新的规则(发生变化的规则);将更新的规则发送至对应的执行容器,operator创建所述规则对应的资源,具体的,operator创建一个自定义资源、一个实现pod与pv连接的中间资源pvc、和pod数量一致的pv、一个statefulset、pod等一系列资源。
本实施例提出的数据处理方法,通过通过operator获取PV持久卷中更新的规则;接着通过operator基于更新的规则创建资源,并将更新的规则发送至对应的执行容器,可以准确创建执行容器对应的资源,以实现k8s集群中执行容器的准确部署。
基于上述各个实施例,提出本发明数据处理方法的第六实施例,在本实施例中,该数据处理方法还包括:
步骤S601,获取集群中各个节点的节点流量;
步骤S601,确定所述节点流量是否存在大于预设流量的目标节点流量;
步骤S601,若存在目标节点流量,则通过opertor生成rabbitmq node节点,并将rabbitmq node节点加入集群
本实施例中,还可以实时获取集群中各个节点的节点流量,并确定节点流量是否存在大于预设流量的目标节点流量。具体的,rabbitmq初始化集群中的3节点,cluseragent监控各个节点流量,上报节点流量值。
若存在目标节点流量,则通过opertor生成rabbitmq node节点,并将rabbitmqnode节点加入集群,具体的,触发调用opertor应用,动态生成2个rabbitmq node节点,动态加入集群。node节点全部加入集群,cluster agent上报状态,继续监控阀值。
若各个节点流量均小于预设最小流量,则在各个节点中确定节点流量最小的节点,在集群中删除该节点流量最小的节点。
本实施例提出的数据处理方法,通过获取集群中各个节点的节点流量;接着确定所述节点流量是否存在大于预设流量的目标节点流量;而后若存在目标节点流量,则通过opertor生成rabbitmq node节点,并将rabbitmq node节点加入集群,通过流量的阀值设置,根据流量变化对集群node节点进行扩缩。
基于第六实施例,提出本发明数据处理方法的第七实施例,在本实施例中,数据处理方法还包括:
步骤S701,基于各个节点的节点流量及服务性能,确定服务拐点;
步骤S702,确定服务拐点对应的拐点位置散点分布,基于拐点位置散点分布确定所述预设流量。
本实施例中,基于各个节点的节点流量及服务性能,确定服务拐点;参照图3,图3为流量性能曲线示意图,图3中流量曲线与性能曲线的交点即为服务拐点。
接着,确定服务拐点对应的拐点位置散点分布,基于拐点位置散点分布确定所述预设流量,具体的,参照图4,通过不断学习,训练得出拐点位置散点分布,散点集中的位置定义为服务可用性阀值,定义阀值左侧5%区间为服务及端口弹起值(预设流量)。
图4中,各个散点的值得公式为:
其中,H(X|Y)是条件熵,表示单个特征的信息熵,P(yi)表示某个特征在其特征内部所占的比例。
本实施例提出的数据处理方法,通过基于各个节点的节点流量及服务性能,确定服务拐点;接着确定服务拐点对应的拐点位置散点分布,基于拐点位置散点分布确定所述预设流量,可以准确确定预设流量,进而提升对集群进行扩容的准确性。
本发明还提供一种数据处理装置,参照图5,所述数据处理装置包括:
确定模块10,用于接收到fabric8客户端发送的创建请求时,确定k8s集群是否满足预设部署要求;
初始化模块20,用于若满足预设部署要求,则初始化k8s客户端以及rabbitmqOperator自定义资源操作对象;
存储模块30,用于基于所述创建请求对应的配置数据,存储对应的规则至执行容器对应的PV持久卷中;
挂载模块40,用于创建所述规则对应的资源,并将所述PV持久卷挂载至对应的服务器。
上述各程序单元所执行的方法可参照本发明数据处理方法各个实施例,此处不再赘述。
本发明还提供一种计算机可读存储介质。
本发明计算机可读存储介质上存储有数据处理程序,所述数据处理程序被处理器执行时实现如上所述的数据处理方法的步骤。
其中,在所述处理器上运行的数据处理程序被执行时所实现的方法可参照本发明数据处理方法各个实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据处理方法,其特征在于,所述数据处理方法包括以下步骤:
接收到fabric8客户端发送的创建请求时,确定k8s集群是否满足预设部署要求;
若满足预设部署要求,则初始化k8s客户端以及rabbitmq Operator自定义资源操作对象;
基于所述创建请求对应的配置数据,存储对应的规则至执行容器对应的PV持久卷中;
创建所述规则对应的资源,并将所述PV持久卷挂载至对应的服务器。
2.如权利要求1所述的数据处理方法,其特征在于,所述初始化k8s客户端以及rabbitmq Operator自定义资源操作对象的步骤包括:
获取k8s客户端对应的配置数据,基于所述配置数据初始化k8s客户端;
基于operator的yaml部署文件和与crd对应的Java对象,初始化rabbitmq Operator自定义资源操作对象。
3.如权利要求1所述的数据处理方法,其特征在于,所述基于所述创建请求对应的配置数据,存储对应的规则至执行容器对应的PV持久卷中的步骤包括:
解析所述K8s客户端对应的数据,以获得特有参数;
将所述特有参数以及所述创建请求对应的配置数据确定所述规则,并将规则存储至执行容器对应的PV持久卷中。
4.如权利要求1所述的数据处理方法,其特征在于,所述接收到fabric8客户端发送的创建请求时,确定k8s集群是否满足预设部署要求的步骤包括:
确定创建资源请求对应的命名空间是否存在;
若所述命名空间不存在,则确定k8s集群的资源是否满足最小创建资源需求,其中,若k8s集群的资源满足最小创建资源需求,则确定k8s集群满足预设部署要求。
5.如权利要求1所述的数据处理方法,其特征在于,所述创建所述规则对应的资源的步骤包括:
通过operator获取PV持久卷中更新的规则;
通过operator基于更新的规则创建资源,并将更新的规则发送至对应的执行容器。
6.如权利要求1至5任一项所述的数据处理方法,其特征在于,所述数据处理方法还包括:
获取集群中各个节点的节点流量;
确定所述节点流量是否存在大于预设流量的目标节点流量;
若存在目标节点流量,则通过opertor生成rabbitmq node节点,并将rabbitmq node节点加入集群。
7.如权利要求6所述的数据处理方法,其特征在于,所述数据处理方法还包括:
基于各个节点的节点流量及服务性能,确定服务拐点;
确定服务拐点对应的拐点位置散点分布,基于拐点位置散点分布确定所述预设流量。
8.一种数据处理装置,其特征在于,所述数据处理装置包括:
确定模块,用于接收到fabric8客户端发送的创建请求时,确定k8s集群是否满足预设部署要求;
初始化模块,用于若满足预设部署要求,则初始化k8s客户端以及rabbitmq Operator自定义资源操作对象;
存储模块,用于基于所述创建请求对应的配置数据,存储对应的规则至执行容器对应的PV持久卷中;
挂载模块,用于创建所述规则对应的资源,并将所述PV持久卷挂载至对应的服务器。
9.一种数据处理设备,其特征在于,所述数据处理设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序,所述数据处理程序被所述处理器执行时实现如权利要求1至7中任一项所述的数据处理方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有数据处理程序,所述数据处理程序被处理器执行时实现如权利要求1至7中任一项所述的数据处理方法的步骤。
CN202310899759.7A 2023-07-20 2023-07-20 数据处理方法、装置、设备及计算机可读存储介质 Pending CN116954821A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310899759.7A CN116954821A (zh) 2023-07-20 2023-07-20 数据处理方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310899759.7A CN116954821A (zh) 2023-07-20 2023-07-20 数据处理方法、装置、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN116954821A true CN116954821A (zh) 2023-10-27

Family

ID=88456017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310899759.7A Pending CN116954821A (zh) 2023-07-20 2023-07-20 数据处理方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116954821A (zh)

Similar Documents

Publication Publication Date Title
KR101198437B1 (ko) 컨텍스트 트리거형 배포 방법, 장치 및 컴퓨터 판독 가능한 저장매체
US9990214B2 (en) Dynamic agent delivery
JP2006244451A (ja) リソース管理システムおよびリソース管理プログラム、並びにリソース管理方法
CN110851987B (zh) 基于加速比预测计算时长的方法、装置和存储介质
CN109800030B (zh) 一种应用程序运行方法、装置及终端
CN111241051A (zh) 批量数据处理方法、装置、终端设备及存储介质
CN103533158A (zh) 移动平台虚拟化系统和方法
CN112121411A (zh) 震动控制方法、装置、电子设备和计算机可读存储介质
CN111949314A (zh) 应用安装包的生成方法、装置、服务器和存储介质
CN112114939A (zh) 一种分布式系统部署设备和方法
CN108418890B (zh) 脸部特效资源生成方法、装置、系统及可读存储介质
CN112965832B (zh) 一种远程过程调用rpc服务调用方法和相关装置
KR102205686B1 (ko) 후보 문자 순위화 방법 및 장치와 문자 입력 방법 및 장치
CN112423024A (zh) 一种视频转码方法、装置、计算机设备和存储介质
CN111240998B (zh) 测试用例处理方法和装置
CN113655940A (zh) 一种Linux兼容Android的模拟双指缩放方法及装置
CN116954821A (zh) 数据处理方法、装置、设备及计算机可读存储介质
CN107168648B (zh) 文件存储方法、装置及终端
CN114185845A (zh) 一种文件管理方法、装置、计算机设备及存储介质
CN114726905A (zh) 一种Tbox网络接入Android系统的方法、装置、设备及存储介质
CN115757287A (zh) 目标文件的构建方法、装置及存储介质
CN109768897B (zh) 一种服务器部署方法及装置
Bisignano et al. An" intent-oriented" approach for multi-device user interface design
EP2571292A1 (en) System and method for mobile context determination
CN113835846B (zh) k8s集群的创建方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination