CN110096336A - 数据监控方法、装置、设备和介质 - Google Patents

数据监控方法、装置、设备和介质 Download PDF

Info

Publication number
CN110096336A
CN110096336A CN201910356054.4A CN201910356054A CN110096336A CN 110096336 A CN110096336 A CN 110096336A CN 201910356054 A CN201910356054 A CN 201910356054A CN 110096336 A CN110096336 A CN 110096336A
Authority
CN
China
Prior art keywords
container
data monitoring
cluster
data
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910356054.4A
Other languages
English (en)
Other versions
CN110096336B (zh
Inventor
王杰
朱慧君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Manyun Software Technology Co Ltd
Original Assignee
Jiangsu Manyun Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Manyun Software Technology Co Ltd filed Critical Jiangsu Manyun Software Technology Co Ltd
Priority to CN201910356054.4A priority Critical patent/CN110096336B/zh
Publication of CN110096336A publication Critical patent/CN110096336A/zh
Application granted granted Critical
Publication of CN110096336B publication Critical patent/CN110096336B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects

Abstract

本发明实施例公开了一种数据监控方法、装置、设备和介质,涉及数据处理技术领域。所述方法包括:从数据监控容器集群关联的业务端获取业务数据监控请求,其中数据监控容器集群关联有唯一的业务端;从所述数据监控容器集群中的各数据监控容器中选择目标容器;调用所述目标容器中配置的数据监控处理进程,基于所述目标容器配置的运行环境配置信息对所述业务端进行数据监控。本发明实施例提供的一种数据监控方法、装置、设备和介质,减少了OpenTSDB集群部署时间,减少业务之间的相互影响。

Description

数据监控方法、装置、设备和介质
技术领域
本发明实施例涉及数据处理技术领域,尤其涉及一种数据监控方法、装置、设备和介质。
背景技术
OpenTSDB(Open time series data base,开发时间序列数据库)是一个分布式的、可伸缩的时间序列数据库。它的特点是能够提供最高毫秒级精度的时间序列数据存储,能够长久保存原始数据并且不失精度。它拥有很强的数据写入能力,支持大并发的数据写入,并且拥有可无限水平扩展的存储容量。它的强大的数据写入能力与存储能力得益于它底层依赖的HBase数据库。
现有技术中,OpenTSDB集群部署在传统物理机或虚拟机上,由于在传统物理机或虚拟机上分离不同业务的OpenTSDB集群的成本较高。因此采用不同业务混用相同OpenTSDB集群,并且读写集群也未做分离。
然而,OpenTSDB作为核心监控系统承载了公司大部分业务监控数据。随着公司业务规模的不断扩大,监控数据日益庞大,OpenTSDB集群的不稳定性日益加剧,现有技术的缺点体现如下:
1、一套集群从资源部署到集群部署完毕往往要花费较长的时间。
2、所有业务使用同一套集群,经常出现业务之间相互影响。
发明内容
本发明实施例提供一种数据监控方法、装置、设备和介质,以减少OpenTSDB集群部署时间,减少业务之间的相互影响。
第一方面,本发明实施例提供了一种数据监控方法,由数据监控容器集群所属设备执行,所述方法包括:
从数据监控容器集群关联的业务端获取业务数据监控请求,其中数据监控容器集群关联有唯一的业务端;
从所述数据监控容器集群中的各数据监控容器中选择目标容器;
调用所述目标容器中配置的数据监控处理进程,基于所述目标容器配置的运行环境配置信息对所述业务端进行数据监控。
第二方面,本发明实施例还提供了一种数据监控装置,所述装置包括:
请求获取模块,用于从数据监控容器集群关联的业务端获取业务数据监控请求,其中数据监控容器集群关联有唯一的业务端;
目标容器选择模块,用于从所述数据监控容器集群中的各数据监控容器中选择目标容器;
数据监控模块,用于调用所述目标容器中配置的数据监控处理进程,基于所述目标容器配置的运行环境配置信息对所述业务端进行数据监控。
第三方面,本发明实施例还提供了一种设备,所述设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明实施例中任一所述的数据监控方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例中任一所述的数据监控方法。
本发明实施例通过对数据监控处理进程容器化,利用容器集群创建成本低、速度快的特点,为不同业务端部署不同容器集群以对业务端进行数据监控,从而既可以减少数据监控容器集群的部署时间,也可以减少业务之间的相互影响。
附图说明
图1为本发明实施例一提供的一种数据监控方法的流程图;
图2是本发明实施例二提供的一种数据监控方法的流程图;
图3是本发明实施例三提供的一种数据监控方法的流程图;
图4a是本发明实施例四提供的一种集群读写分离的结构示意图;
图4b是本发明实施例四提供的一种OpenTSDB容器集群的结构示意图;
图5是本发明实施例五提供的一种数据监控装置的结构示意图;
图6为本发明实施例六提供的一种设备的结构示意图;
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种数据监控方法的流程图。本实施例可适用于对业务数据进行监控的情况。该方法可以由数据监控容器集群所属设备执行。参见图1,本实施例提供的数据监控方法包括:
S110、从数据监控容器集群关联的业务端获取业务数据监控请求,其中数据监控容器集群关联有唯一的业务端。
其中,数据监控容器集群包括至少一个数据监控容器,数据监控容器由数据监控进程容器化得到。
数据监控进程用于监控业务端数据的进程。进程(Process)是计算机中的程序关于某数据集合上的一次运行活动。
从数据监控容器集群关联的业务端获取业务数据监控请求之前,还包括:
部署多个数据监控容器集群,分配给不同业务使用。
典型地,所述数据监控容器集群中的各数据监控容器通过对OpenTSDB进程容器化得到。
OpenTSDB进程是基于OpenTSDB对业务端数据进行监控的进程。
S120、从所述数据监控容器集群中的各数据监控容器中选择目标容器。
具体地,可以按照循环轮流的方式从所述数据监控容器集群中的各数据监控容器中选择目标容器。
可选地,还可以根据数据监控容器的任务分配情况或使用情况确定目标容器。
S130、调用所述目标容器中配置的数据监控处理进程,基于所述目标容器配置的运行环境配置信息对所述业务端进行数据监控。
为实现业务容器与数据监控容器所属设备的分离,所述方法还包括:
若有新的容器生成则根据新容器对设备污点的容忍信息,以及新容器的标签与设备标签的匹配信息确定新容器所属设备。
其中,新的容器可以是为扩大集群容量增加的新的容器,也可以是对老的容器进行参数更新生成的新的容器。
在此之前,对数据监控容器所属设备设置污点,并对新的数据监控容器进行容忍该污点的属性设置,对新的业务容器进行不容忍该污点的属性设置,从而避免业务容器设置在数据监控容器所属设备上。
并且,对新的数据监控容器和数据监控容器所属设备进行相同标签的设置,从而通过标签的匹配,可以找到所属设备,实现业务容器与数据监控容器分别设置在不同设备上。
本发明实施例的技术方案,通过对数据监控处理进程容器化,利用容器集群创建成本低、速度快的特点,为不同业务端部署不同容器集群以对业务端进行数据监控,从而既可以减少数据监控容器集群的部署时间,也可以减少业务之间的相互影响。
实施例二
图2是本发明实施例二提供的一种数据监控方法的流程图。本实施例是在上述实施例的基础上提出的一种可选方案。参见图2,本实施例提供的数据监控方法,包括:
S210、从数据监控容器集群关联的业务端获取业务数据监控请求,其中数据监控容器集群关联有唯一的业务端。
S220、若所述业务数据监控请求是写数据请求,则在所述数据监控容器集群的写容器子集群中确定目标容器。
其中,写容器子集群包括至少一个写容器,该写容器由写数据进程容器化得到。
写数据进程是将有业务端数据写入数据库的进程。
S230、若所述业务数据监控请求是读数据请求,则在所述数据监控容器集群的读容器子集群中确定目标容器。
其中,读容器子集群包括至少一个读容器,该读容器由读数据进程容器化得到。
读数据进程是从数据库中读取数据并反馈给业务端的进程。
S240、调用所述目标容器中配置的数据监控处理进程,基于所述目标容器配置的运行环境配置信息对所述业务端进行数据监控。
本发明实施例的技术方案,通过集群读写拆分,实现读写分离,避免读写之间相互影响。从而提高对业务数据监控请求的响应速度。
实施例三
图3是本发明实施例三提供的一种数据监控方法的流程图。本实施例是在上述实施例的基础上提出的一种可选方案。参见图3,本实施例提供的数据监控方法包括:
S310、从数据监控容器集群关联的业务端获取业务数据监控请求,其中数据监控容器集群关联有唯一的业务端。
S320、从所述数据监控容器集群中的各数据监控容器中选择目标容器。
S330、调用所述目标容器中配置的数据监控处理进程,基于所述目标容器配置的运行环境配置信息对所述业务端进行数据监控。
S340、实时获取所述数据监控容器集群中的各数据监控容器的运行使用信息。
其中,运行使用信息反应数据监控容器的使用量情况,具体运行使用信息可以是CUP的使用情况以及内存的占用情况。
S350、根据所述运行使用信息对所述数据监控容器集群进行扩容或缩容。
具体地,所述根据所述运行使用信息对所述数据监控容器集群进行扩容,包括:
若所述容器的运行使用信息满足扩容条件,则增加所述数据监控容器集群中容器的数量或增大所述数据监控容器集群中容器的内存。
扩容条件可以是:判断CUP使用量是否大于设定使用量扩容阈值,和/或内存占用量是否大于设定占用量扩容阈值。
具体增大所述数据监控容器集群中容器的内存的方式是:创建新的数据监控容器,其中该容器的内存大小是在老的数据监控容器内存大小的基础上经过提升之后得到的;启用新的数据监控容器后,再销毁老的数据监控容器,以实现容器内存的增大。
具体地,所述根据所述运行使用信息对所述数据监控容器集群进行缩容,包括:
若所述容器的运行使用信息满足缩容条件,则减小所述数据监控容器集群中容器的数量或减小所述数据监控容器集群中容器的内存。
缩容条件可以是:判断CUP使用量是否小于设定使用量缩容阈值,和/或内存占用量是否小于设定占用量缩容阈值。
其中设定使用量缩容阈值小于设定使用量扩容阈值,设定占用量缩容阈值小于设定占用量扩容阈值。
本实施例对上述步骤的执行顺序不做限定,可选地S340和S350可以先于S330、S320或S310执行。
本实施例的技术方案,通过实时获取所述数据监控容器集群中的各数据监控容器的运行使用信息,根据所述运行使用信息对所述数据监控容器集群进行扩容或缩容从而实现集群的弹性扩缩容,保障业务高峰监控数据的稳定性。
也即解决了如下问题:
1、由于业务存在明显的波峰波谷,为保证平稳度过波峰的资源,造成波谷资源利用率就很低的问题。
2、在数据量增多时,由于集群中OpenTSDB进程均处于工作状态,接收的数据请求无法得到及时处理,从而导致数据请求长时间未响应。若长时间未响应,则确定该集群已无法正常工作。也即出现集群被打死的情况。
实施例四
本实施例是在上述实施例的基础上,以数据监控容器中的数据监控进程为OpenTSDB进程,也即数据监控容器为OpenTSDB容器为例,提出的一种可选方案。本实施例提供的数据监控方法包括:
对OpenTSDB进程进行容器化,具体过程如下:
第一阶段:
通过Taint(污点)、Toleration(容忍)、nodeSelector(节点筛选)、nodeLabel(节点标签)、externalTrafficPolicy(外部传输策略)等k8s特性,其中k8s是一个编排容器的工具,将中间件节点(也即容器所属设备)与线上其他业务进行隔离。具体步骤如下:
为OpenTSDB容器的中间件节点设置OpenTSDB容器可容忍,且其他业务容器不可容忍的污点属性。据此,可以将其他业务容器驱逐出该节点,实现OpenTSDB容器不被该节点驱逐。
为OpenTSDB容器的中间件节点创建与OpenTSDB容器匹配,且与其他业务容器不匹配的标签,以标示该节点。用于新生成的OpenTSDB容器对节点的筛选,实现分配新生成的OpenTSDB容器到指定节点。
通过上述配置可以实现OpenTSDB容器的中间件节点上只配置OpenTSDB容器,业务容器的中间件节点上只配置业务容器,从而实现OpenTSDB进程与线上其他业务的隔离。
第二阶段:
容器化OpenTSDB进程,使用Deployment(部署)定义yaml文件,通过env标签(环境标签)自定义HeapSize(堆栈,也即内存)大小,利用探针对OpenTSDB进程进行健康检查。具体步骤如下:
健康检查,用于检测OpenTSDB进程是否正常运行。
环境变量,用于往image(镜像)中传递参数,实现自定义heap size。
滚动升级,滚动升级中,将先启动升级后的新的OpenTSDB容器再销毁老的OpenTSDB容器。
第三阶段:
加入监控sidecar(sidecar是一种模式,将应用功能从应用本身剥离出来作为单独进程,该模式允许向应用无侵入添加多种功能),加入OpenTSDB监控进程并进行容器化,跟随OpenTSDB进程启动,通过Localhost(localhost在计算机网络中,localhost(意为“本地主机”,指“这台计算机”)是给回路网络接口(loopback)的一个标准主机名)访问OpenTSDB进程,传入监控数据,从而实现对OpenTSDB进程的监控。具体步骤如下:
容器化OpenTSDB监控进程。
Deployment yaml添加sidecar,实现监控sidecar,监控进程跟随OpenTSDB进程启动,与OpenTSDB进程共享Namespace(命名空间),使用Localhost直接访问OpenTSDB进程。
第四阶段:
针对业务的使用量,可在高峰期和非高峰期进行容器数量的弹性扩缩容,保障业务高峰监控数据的稳定性。
对生成的OpenTSDB容器集群进行部署,具体过程如下:
部署多套OpenTSDB容器集群,分配给不同业务使用。业务调用OpenTSDB容器集群的SLB地址进行访问。
同一业务的OpenTSDB容器集群又可以包括写容器子集群和读容器子集群,以实现对业务的读写分离,以便快速定位问题。后端存储使用同一套HBase集群,保证数据一致性。
具体部署方案,可参见图4a。其中OpenTSDB容器集群关联有对应的HBase数据库,OpenTSDB容器集群中的一部分OpenTSDB容器(也即写容器子集群)和OpenTSDB容器集群中的另一部分OpenTSDB容器(也即读容器子集群)用于将业务端数据写入HBase数据库进行存储,或读取HBase数据库中存储的数据。运维监控脚本(Opsmonitor)、falcon基础监控(opsfalcon)、所有在线服务(onlineservice)、大数据和算法(bdalg)、和grafana监控读(grafan_read)为不同业务端。
参见图4b,OpenTSDB容器集群和集群中各OpenTSDB容器所属节点(也即配置设备)构成监控集群。其中OpenTSDB容器集群包括多个OpenTSDB容器,OpenTSDB容器有中除了包括OpenTSDB进程,还包括监控OpenTSDB进程的监控进程。OpenTSDB容器设置在相同或不同节点上,节点配置有节点标签和污点。
本发明实施例的技术方案可以实现如下效果:
通过对OpenTSDB进程容器化,从而实现OpenTSDB容器集群的快速部署。
集群部署方案采用业务分离、读写分离的方式,从而减少业务间和读写间的相互影响,并快速定位问题。
通过集群的弹性扩缩容,实现OpenTSDB容器集群中OpenTSDB容器数量随业务量而变化,达到资源利用率最大化,并减少资源浪费。
容器化的自愈功能使得OpenTSDB容器集群具有了高稳定性。
需要说明的是,基于上述实施例的技术教导,本领域技术人员有动机将上述实施方式进行组合,以减少OpenTSDB集群部署时间,减少业务之间的相互影响。
实施例五
图5是本发明实施例五提供的一种数据监控装置的结构示意图。参见图5,本实施例提供的数据监控装置包括:请求获取模块10、目标容器选择模块20和数据监控模块30。
其中,请求获取模块10,用于从数据监控容器集群关联的业务端获取业务数据监控请求,其中数据监控容器集群关联有唯一的业务端;
目标容器选择模块20,用于从所述数据监控容器集群中的各数据监控容器中选择目标容器;
数据监控模块30,用于调用所述目标容器中配置的数据监控处理进程,基于所述目标容器配置的运行环境配置信息对所述业务端进行数据监控。
本发明实施例的技术方案,通过对数据监控处理进程容器化,利用容器集群创建成本低、速度快的特点,为不同业务端部署不同容器集群以对业务端进行数据监控,从而既可以减少数据监控容器集群的部署时间,也可以减少业务之间的相互影响。
进一步地,所述数据监控容器集群中的各数据监控容器通过对OpenTSDB进程容器化得到。
进一步地,所述目标容器选择模块,包括:写容器确定单元和读容器确单元。
其中,写容器确定单元,用于若所述业务数据监控请求是写数据请求,则在所述数据监控容器集群的写容器子集群中确定目标容器;
读容器确单元,用于若所述业务数据监控请求是读数据请求,则在所述数据监控容器集群的读容器子集群中确定目标容器。
进一步地,所述装置还包括:信息获取模块和弹性扩容模块。
信息获取模块,用于实时获取所述数据监控容器集群中的各数据监控容器的运行使用信息;
弹性扩容模块,用于根据所述运行使用信息对所述数据监控容器集群进行扩容或缩容。
进一步地,所述弹性扩容模块,包括:弹性扩容单元。
弹性扩容单元,用于若所述容器的运行使用信息满足扩容条件,则增加所述数据监控容器集群中容器的数量或增大所述数据监控容器集群中容器的内存。
进一步地,所述装置还包括:标签匹配模块。
标签匹配模块,用于若有新的容器生成则根据新容器对设备污点的容忍信息,以及新容器的标签与设备标签的匹配信息确定新容器所属设备。
本发明实施例所提供的数据监控装置可执行本发明任意实施例所提供的数据监控方法,具备执行方法相应的功能模块和有益效果。
实施例六
图6为本发明实施例六提供的一种设备的结构示意图,如图6所示,该设备包括处理器70、存储器71、输入装置72和输出装置73;设备中处理器70的数量可以是一个或多个,图6中以一个处理器70为例;设备中的处理器70、存储器71、输入装置72和输出装置73可以通过总线或其他方式连接,图6中以通过总线连接为例。
存储器71作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的数据监控方法对应的程序指令/模块(例如,数据监控装置中的请求获取模块10、目标容器选择模块20和数据监控模块30)。处理器70通过运行存储在存储器71中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述的数据监控方法。
存储器71可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器71可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器71可进一步包括相对于处理器70远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置72可用于接收输入的数字或字符信息,以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置73可包括显示屏等显示设备。
实施例七
本发明实施例七还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种数据监控方法,该方法包括:
从数据监控容器集群关联的业务端获取业务数据监控请求,其中数据监控容器集群关联有唯一的业务端;
从所述数据监控容器集群中的各数据监控容器中选择目标容器;
调用所述目标容器中配置的数据监控处理进程,基于所述目标容器配置的运行环境配置信息对所述业务端进行数据监控。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的数据监控方法中的相关操作.
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是,上述数据监控装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种数据监控方法,其特征在于,由数据监控容器集群所属设备执行,所述方法包括:
从数据监控容器集群关联的业务端获取业务数据监控请求,其中数据监控容器集群关联有唯一的业务端;
从所述数据监控容器集群中的各数据监控容器中选择目标容器;
调用所述目标容器中配置的数据监控处理进程,基于所述目标容器配置的运行环境配置信息对所述业务端进行数据监控。
2.根据权利要求1所述的方法,其特征在于,所述数据监控容器集群中的各数据监控容器通过对OpenTSDB进程容器化得到。
3.根据权利要求1所述的方法,其特征在于,所述从所述数据监控容器集群中的各数据监控容器中选择目标容器,包括:
若所述业务数据监控请求是写数据请求,则在所述数据监控容器集群的写容器子集群中确定目标容器;
若所述业务数据监控请求是读数据请求,则在所述数据监控容器集群的读容器子集群中确定目标容器。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
实时获取所述数据监控容器集群中的各数据监控容器的运行使用信息;
根据所述运行使用信息对所述数据监控容器集群进行扩容或缩容。
5.根据权利要求4所述的方法,其特征在于,所述根据所述运行使用信息对所述数据监控容器集群进行扩容,包括:
若所述容器的运行使用信息满足扩容条件,则增加所述数据监控容器集群中容器的数量或增大所述数据监控容器集群中容器的内存。
6.一种数据监控装置,其特征在于,所述装置包括:
请求获取模块,用于从数据监控容器集群关联的业务端获取业务数据监控请求,其中数据监控容器集群关联有唯一的业务端;
目标容器选择模块,用于从所述数据监控容器集群中的各数据监控容器中选择目标容器;
数据监控模块,用于调用所述目标容器中配置的数据监控处理进程,基于所述目标容器配置的运行环境配置信息对所述业务端进行数据监控。
7.根据权利要求6所述的装置,其特征在于,所述数据监控容器集群中的各数据监控容器通过对OpenTSDB进程容器化得到。
8.根据权利要求6所述的装置,其特征在于,所述目标容器选择模块,包括:
写容器确定单元,用于若所述业务数据监控请求是写数据请求,则在所述数据监控容器集群的写容器子集群中确定目标容器;
读容器确单元,用于若所述业务数据监控请求是读数据请求,则在所述数据监控容器集群的读容器子集群中确定目标容器。
9.一种设备,其特征在于,所述设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5中任一所述的数据监控方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-5中任一所述的数据监控方法。
CN201910356054.4A 2019-04-29 2019-04-29 数据监控方法、装置、设备和介质 Active CN110096336B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910356054.4A CN110096336B (zh) 2019-04-29 2019-04-29 数据监控方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910356054.4A CN110096336B (zh) 2019-04-29 2019-04-29 数据监控方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN110096336A true CN110096336A (zh) 2019-08-06
CN110096336B CN110096336B (zh) 2022-09-06

Family

ID=67446405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910356054.4A Active CN110096336B (zh) 2019-04-29 2019-04-29 数据监控方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN110096336B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110659104A (zh) * 2019-08-29 2020-01-07 重庆小雨点小额贷款有限公司 一种业务监控方法及相关设备
CN110825494A (zh) * 2019-11-01 2020-02-21 北京京东尚科信息技术有限公司 物理机调度方法及装置、计算机可存储介质
CN111541643A (zh) * 2020-03-18 2020-08-14 成都中科合迅科技有限公司 一种无侵入式实现业务系统安全审计的方法
CN111931028A (zh) * 2020-08-18 2020-11-13 北京微步在线科技有限公司 一种基于k8s的监控系统及监控方法
CN112506444A (zh) * 2020-12-28 2021-03-16 南方电网深圳数字电网研究院有限公司 基于Kubernetes集群的扩缩容控制方法和装置、电子设备
CN112540829A (zh) * 2020-12-16 2021-03-23 恒生电子股份有限公司 容器组驱逐方法、装置、节点设备及存储介质
CN112564994A (zh) * 2019-09-25 2021-03-26 北大方正集团有限公司 流量监测方法、装置、云服务器及存储介质
CN112835766A (zh) * 2021-02-10 2021-05-25 杭州橙鹰数据技术有限公司 应用监控方法及装置
CN113568706A (zh) * 2021-07-27 2021-10-29 北京百度网讯科技有限公司 针对业务的容器调整方法、装置、电子设备和存储介质
CN113641552A (zh) * 2021-07-22 2021-11-12 杭州朗澈科技有限公司 监控数据采集横向扩展方法、系统、电子设备和存储介质
CN114661312A (zh) * 2022-03-25 2022-06-24 江苏安超云软件有限公司 一种OpenStack集群嵌套部署方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018153218A1 (zh) * 2017-02-27 2018-08-30 腾讯科技(深圳)有限公司 一种资源处理方法、相关装置以及通信系统
CN108762912A (zh) * 2018-07-04 2018-11-06 郑州云海信息技术有限公司 一种容器集群弹性伸缩的方法和装置
CN108848157A (zh) * 2018-06-12 2018-11-20 郑州云海信息技术有限公司 一种Kubernetes集群容器监控的方法和装置
CN108958882A (zh) * 2018-06-06 2018-12-07 麒麟合盛网络技术股份有限公司 一种容器调整方法、装置和系统
CN109586999A (zh) * 2018-11-12 2019-04-05 深圳先进技术研究院 一种容器云平台状态监控预警系统、方法及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018153218A1 (zh) * 2017-02-27 2018-08-30 腾讯科技(深圳)有限公司 一种资源处理方法、相关装置以及通信系统
CN108958882A (zh) * 2018-06-06 2018-12-07 麒麟合盛网络技术股份有限公司 一种容器调整方法、装置和系统
CN108848157A (zh) * 2018-06-12 2018-11-20 郑州云海信息技术有限公司 一种Kubernetes集群容器监控的方法和装置
CN108762912A (zh) * 2018-07-04 2018-11-06 郑州云海信息技术有限公司 一种容器集群弹性伸缩的方法和装置
CN109586999A (zh) * 2018-11-12 2019-04-05 深圳先进技术研究院 一种容器云平台状态监控预警系统、方法及电子设备

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110659104A (zh) * 2019-08-29 2020-01-07 重庆小雨点小额贷款有限公司 一种业务监控方法及相关设备
CN110659104B (zh) * 2019-08-29 2022-06-24 重庆小雨点小额贷款有限公司 一种业务监控方法及相关设备
CN112564994A (zh) * 2019-09-25 2021-03-26 北大方正集团有限公司 流量监测方法、装置、云服务器及存储介质
CN110825494A (zh) * 2019-11-01 2020-02-21 北京京东尚科信息技术有限公司 物理机调度方法及装置、计算机可存储介质
CN111541643A (zh) * 2020-03-18 2020-08-14 成都中科合迅科技有限公司 一种无侵入式实现业务系统安全审计的方法
CN111541643B (zh) * 2020-03-18 2022-02-01 成都中科合迅科技有限公司 一种无侵入式实现业务系统安全审计的方法
CN111931028A (zh) * 2020-08-18 2020-11-13 北京微步在线科技有限公司 一种基于k8s的监控系统及监控方法
CN112540829A (zh) * 2020-12-16 2021-03-23 恒生电子股份有限公司 容器组驱逐方法、装置、节点设备及存储介质
CN112506444A (zh) * 2020-12-28 2021-03-16 南方电网深圳数字电网研究院有限公司 基于Kubernetes集群的扩缩容控制方法和装置、电子设备
CN112835766A (zh) * 2021-02-10 2021-05-25 杭州橙鹰数据技术有限公司 应用监控方法及装置
CN113641552A (zh) * 2021-07-22 2021-11-12 杭州朗澈科技有限公司 监控数据采集横向扩展方法、系统、电子设备和存储介质
CN113641552B (zh) * 2021-07-22 2023-12-05 深圳软通动力信息技术有限公司 监控数据采集横向扩展方法、系统、电子设备和存储介质
CN113568706A (zh) * 2021-07-27 2021-10-29 北京百度网讯科技有限公司 针对业务的容器调整方法、装置、电子设备和存储介质
CN113568706B (zh) * 2021-07-27 2024-01-19 北京百度网讯科技有限公司 针对业务的容器调整方法、装置、电子设备和存储介质
CN114661312A (zh) * 2022-03-25 2022-06-24 江苏安超云软件有限公司 一种OpenStack集群嵌套部署方法及系统

Also Published As

Publication number Publication date
CN110096336B (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
CN110096336A (zh) 数据监控方法、装置、设备和介质
WO2020258290A1 (zh) 日志数据收集方法、日志数据收集装置、存储介质和日志数据收集系统
US11809901B2 (en) Migrating the runtime state of a container between two nodes
US6968382B2 (en) Activating a volume group without a quorum of disks in the volume group being active
CN111061432B (zh) 一种业务迁移方法、装置、设备及可读存储介质
CN111143039B (zh) 一种虚拟机的调度方法、装置及计算机存储介质
CN110134503B (zh) 一种集群环境下的定时任务处理方法、装置及存储介质
CN112148430A (zh) 一种虚拟网络功能的虚拟机在线安全迁移的方法
CN103488523A (zh) 一种页的访问方法和页的访问装置、服务器
CN108287648A (zh) 软件的反馈管理方法、装置、电子设备和计算机存储介质
CN113051102A (zh) 文件备份方法、装置、系统、存储介质和计算机设备
CN110196680B (zh) 数据处理方法、装置及存储介质
CN112507187B (zh) 索引变更方法及装置
CN112433812A (zh) 一种虚拟机跨集群迁移方法、系统、设备及计算机介质
CN110442636A (zh) 一种数据的读写方法、装置及数据读写设备
CN115237960A (zh) 信息推送方法、装置、存储介质以及电子设备
CN111600771B (zh) 网络资源探测系统、方法
CN114564210A (zh) 一种副本部署方法、装置、系统、电子设备及存储介质
US20200341821A1 (en) Uid and gid shifting for containers in user namespaces
CN112910943B (zh) 一种服务提供方法、装置及系统
CN114301927B (zh) 一种分布式系统中主节点选取方法、装置及介质
CN114816774B (zh) 一种弹性的分布式强一致性方法及系统
CN117692322B (zh) 网卡配置方法、装置、电子设备及存储介质
CN111338752B (zh) 容器调整方法及装置
WO2022267676A1 (zh) 共享内存的数据处理方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20190806

Assignee: Nanjing Manyun Cold Chain Technology Co.,Ltd.

Assignor: JIANGSU MANYUN SOFTWARE TECHNOLOGY Co.,Ltd.

Contract record no.: X2023980038397

Denomination of invention: Data monitoring methods, devices, equipment, and media

Granted publication date: 20220906

License type: Common License

Record date: 20230724