CN112416719A - 针对数据库容器的监控处理方法、系统、设备和存储介质 - Google Patents

针对数据库容器的监控处理方法、系统、设备和存储介质 Download PDF

Info

Publication number
CN112416719A
CN112416719A CN202011401557.8A CN202011401557A CN112416719A CN 112416719 A CN112416719 A CN 112416719A CN 202011401557 A CN202011401557 A CN 202011401557A CN 112416719 A CN112416719 A CN 112416719A
Authority
CN
China
Prior art keywords
monitoring
container
database
containers
processing method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011401557.8A
Other languages
English (en)
Other versions
CN112416719B (zh
Inventor
杜同
信怀义
安卫杰
李颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
Original Assignee
China Construction Bank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp filed Critical China Construction Bank Corp
Priority to CN202011401557.8A priority Critical patent/CN112416719B/zh
Publication of CN112416719A publication Critical patent/CN112416719A/zh
Application granted granted Critical
Publication of CN112416719B publication Critical patent/CN112416719B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/327—Alarm or error message display
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本公开提供了一种针对数据库容器的监控处理方法、系统、设备和存储介质。所述监控处理方法包括：探测运行数据库容器的宿主机内的容器列表；获取所有容器的容器标识和监控信息；根据数据库组件标识和容器标识的对应关系，获取各个数据库组件的容器列表；根据数据库容器中相同种类容器的监控信息，生成统一格式的数据组并存放在消息队列中；从消息队列中获取需要的数据组，并基于监控项阈值判定是否存在异常；当存在异常时，发出告警并进行故障处理。本公开提供的监控处理方法能够自适应的获取需要的监控信息，从而提高监控项的同步效率，并将统一格式的数据组存放消息队列，以便于需要获取数据组的一方订阅和使用，能够降低资源消耗。

Description

针对数据库容器的监控处理方法、系统、设备和存储介质
技术领域
本发明涉及计算机应用技术领域，更为具体而言，涉及一种针对数据库容器的监控处理方法、系统、设备和存储介质。
背景技术
运维监控是日常应用系统运维中的核心内容，如：硬件监控、基础监控、系统日志监控等均为保障应用系统安全稳定运行的核心部分。
运维监控作为应用系统运维的基础性、常规性设置，高效、实时的监控方法能够帮助系统运维人员及时发现系统运行中存在异常和潜在风险，有助于运维人员及早地发现问题和风险并采取处置措施，避免问题和风险产生的影响扩大化。
由于Docker(一个开源的应用容器引擎)具备强大的弹性伸缩能力，因此，Docker应用正在大量普及，与此同时Docker对传统运维体系也带来巨大冲击，容器复杂的动态伸缩机制对传统运维体系造成巨大的压力。如何及时准确的反应操作系统和应用程序的状态和问题变得越来越急迫。在分布式应用程序环境下，监控系统需要管理大量监控对象，将产生巨大的性能压力。传统运维体系是针对物理机的监控，在一个物理机跑多个容器的情况下，系统是无法从一个监控图表里面区分各个容器的资源占用情况的。容器与通常的虚拟机在虚拟化程度上存在着差异，在监控手段上也有不同。对于一台虚拟机，可当作一个物理机对待，而容器虽然也可以当做虚拟机，但这不符合容器的使用理念。在监控的实现过程中，倾向于把容器当作是宿主机上的一系列进程树。针对容器的虚拟化技术特点，在容器的宿主机上对容器进行数据采集是完全可行的，而且能够做到更加高效。
为了保障系统的正常运行，支撑业务的正常运作，保证数据库容器运行时的可用性和可靠性是非常重要的，随着容器技术的广泛使用，目前数据库的运维工作存在以下几点问题：
(1)随着Docker技术的不断发展，在一台宿主机上可以启动多个数据库容器，并且宿主机上的数据库容器数量和状态是不稳定的，随着业务的开展，数据库容器的数量和状态常常发生变换。在目前的通用监控中，当在Docker宿主机上启动新的数据库容器或者停掉已有数据库容器时，需要手动在监控项中增删相对应的监控指标，人工增删的方式复杂且效率低下，对于多容器运行的宿主机来说，监控项同步的效率低下，导致无法实时监控相关数据库容器的状态。
(2)在对数据库容器进行运维监控时，一般需要对每一个数据库容器内外部状态进行监控，全面监控容器内外运行状态并进行上报，但这种方式将消耗大量资源，影响物理服务器的性能。
发明内容
为解决上述现有技术存在的问题或部分问题，本发明实施方式提供了一种针对数据库容器的监控处理方法、系统、设备和存储介质，根据数据库组件标识和容器标识的对应关系，获取各个数据库组件的容器列表及对应的监控信息，能够自适应的获取需要的监控信息，且提高了监控项的同步效率。同时，通过将监控信息生成统一格式的数据组并统一存放消息队列，以备需求方使用，降低了资源消耗。
根据本发明的第一方面，本发明实施方式提供了一种针对数据库容器的监控处理方法，其包括：探测运行所述数据库容器的宿主机内的容器列表；获取所述容器列表中所有容器的容器标识和容器的监控信息；根据数据库组件标识和所述容器标识的对应关系，获取各个数据库组件的容器列表；根据数据库容器中相同种类容器的所述监控信息，生成统一格式的数据组；将所述数据组存放在消息队列中；从所述消息队列中获取需要的数据组，并基于监控项阈值，判定所述需要的数据组中的监控信息是否存在异常；当存在异常时，发出告警并进行故障处理。
本发明上述实施方式基于数据库组件标识和容器标识的对应关系，得到各个数据库组件的容器列表，以获取对应的监控信息，能够自适应的获取需要的监控信息，而无须人工配置容器监控项，从而提高监控项的同步效率。以及，通过将监控信息生成统一格式的数据组并统一存放消息队列，以便于需要获取数据组的一方订阅和使用，能够降低资源消耗。
在本发明的一些实施方式中，所述数据组包括：监控指标、监控类型、监控标签、所述监控信息。
在本发明的一些实施方式中，所述监控处理方法还包括：配置所述数据库容器的监控项、所述监控项阈值、监控脚本、所述数据库组件标识和组件组别名称；通过所述监控脚本获取所述监控项中容器的所述监控信息。
在本发明的一些实施方式中，所述监控处理方法还包括：针对所述监控项设置进行展示的字段；按照预设格式对所述监控项的所述字段和所述监控信息进行展示。
本发明上述实施方式通过展示监控信息，可以方便工作人员获取数据库容器的直观的监控信息，进而及时对异常情况进行处理。
根据本发明的第二方面，本发明实施方式提供了一种针对数据库容器的监控处理系统，其包括：容器化模块，用于探测运行所述数据库容器的宿主机内的容器列表；所述容器化模块还用于获取所述容器列表中所有容器的容器标识和容器的监控信息；所述容器化模块还用于根据数据库组件标识和所述容器标识的对应关系，获取各个数据库组件的容器列表；格式化模块，用于根据数据库容器中相同种类容器的所述监控信息生成统一格式的数据组；数据缓存模块，用于将所述数据组存放在消息队列中；告警处理模块，用于从所述消息队列中获取需要的数据组，并基于监控项阈值，判定所述需要的数据组中的监控信息是否存在异常；当存在异常时，发出告警并进行故障处理。
本发明上述实施方式基于数据库组件标识和容器标识的对应关系，得到各个数据库组件的容器列表，以获取对应的监控信息，能够自适应的获取需要的监控信息，而无须人工配置容器监控项，从而提高监控项的同步效率。以及，通过将监控信息生成统一格式的数据组并统一存放消息队列，以便于需要获取数据组的一方订阅和使用，能够降低资源消耗。
在本发明的一些实施方式中，所述数据组包括：监控指标、监控类型、监控标签、所述监控信息。
在本发明的一些实施方式中，所述监控处理系统还包括：配置模块，用于配置所述数据库容器的监控项、所述监控项阈值、监控脚本、所述数据库组件标识和组件组别名称；数据获取模块，用于通过所述监控脚本获取所述监控项中容器的所述监控信息。
在本发明的一些实施方式中，所述监控处理系统还包括视图展示模块，用于针对所述监控项设置进行展示的字段；并按照预设格式对所述监控项的所述字段和所述监控信息进行展示。
本发明上述实施方式通过展示监控信息，可以方便工作人员获取数据库容器的直观的监控信息，进而及时对异常情况进行处理。
根据本发明的第三方面，本发明实施方式提供一种计算机存储介质，其上存储有计算机可读指令，所述计算机可读指令被处理器执行时，使得计算机执行如下操作：所述操作包括如上任意一种实施方式所述监控处理方法所包含的步骤。
根据本发明的第四方面，本发明实施方式提供一种包括存储器和处理器的计算机设备，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时能够实现如上任意一种实施方式所述的监控处理方法。
由上述可知，本发明实施方式提供的针对数据库容器的监控处理方法、系统、存储介质和设备，基于数据库组件标识和容器标识的对应关系，得到各个数据库组件的容器列表，以获取对应的监控信息，能够自适应的获取需要的监控信息，提高了监控项的同步效率。同时，通过将监控信息生成统一格式的数据组并统一存放在消息队列，以备需求方使用，能够降低资源消耗。
附图说明
图1是Docker实现虚拟化的示意图；
图2是根据本发明一种实施方式的针对数据库容器的监控处理方法的流程示意图；
图3是根据本发明一种实施方式的运维监控方法的流程示意图；
图4是根据本发明一种实施方式的针对数据库容器的监控处理系统的架构图。
具体实施方式
以下结合附图和具体实施方式对本发明的各个方面进行详细阐述。其中，众所周知的模块、单元及其相互之间的连接、链接、通信或操作没有示出或未作详细说明。并且，所描述的特征、架构或功能可在一个或一个以上实施方式中以任何方式组合。本领域技术人员应当理解，下述的各种实施方式只用于举例说明，而非用于限制本发明的保护范围。还可以容易理解，本文所述和附图所示的各实施方式中的模块或单元或处理方式可以按各种不同配置进行组合和设计。
下面对本文中使用的术语进行简要说明。
运维监控：保证系统、服务、业务正常运行，对系统不间断实时监控，实时反馈系统当前状态，即监控某个硬件、或者某个系统的当前状态是否正常、异常或者故障。运维监控的内容包括：操作系统(如：CPU、内存、文件系统、磁盘IO、网络)、应用(进程、日志、端口)、公共组件、中间件产品、数据库产品等。
容器：有效的将单个操作系统的资源划分到孤立的组中，以便更好的在孤立的组之间平衡有冲突的资源使用需求，这种技术就是容器技术。容器具备轻量，启动快、可移植性好等特点。
Docker：作为容器技术的一个代表，目前在快速发展中，Docker是一个开源的应用容器引擎，开发者可以打包其应用以及依赖包到一个可移植的镜像中，然后发布到任何流行的Linux(一种类UNIX操作系统)或Windows(一种操作系统)机器上实现虚拟化。其特点如图1所示。
图2是根据本发明一种实施方式的针对数据库容器的监控处理方法的流程示意图。
如图2所示，在本发明的一种实施方式中，所述方法可包括：步骤S11、步骤S22、步骤S23、步骤S24、步骤S25、步骤S26和步骤S27，下面对上述步骤进行具体的描述。
在步骤S21中，探测运行数据库容器的宿主机内的容器列表。
在步骤S22中，获取所述容器列表中所有容器的容器标识和容器的监控信息。
在步骤S23中，根据数据库组件标识和所述容器标识的对应关系，获取各个数据库组件的容器列表。
在步骤S24中，根据数据库容器中相同种类容器的所述监控信息，生成统一格式的数据组。在可选的实施方式中，数据组中可以包含但不限于：监控指标、监控类型、监控标签、所述监控信息。
在步骤S25中，将所述数据组存放在消息队列中。
通过将监控信息生成数据组，并存放在消息队列中，便于需要获取数据组的一方订阅和使用，能够实现降低资源消耗的效果。
在步骤S26中，从所述消息队列中获取需要的数据组，并基于监控项阈值，判定所述需要的数据组中的监控信息是否存在异常。
在步骤S27中，当存在异常时，发出告警并进行故障处理。
采用本发明实施方式的上述方法，基于容器有效的将单个操作系统的资源划分到孤立的组中，从而在对数据库容器进行监控时，只需对容器内外状态进行监控，便于在不同操作系统中实现完全相同的监控效果。同时，基于数据库组件标识和容器标识的对应关系，得到各个数据库组件的容器列表，以获取对应的监控信息，能够自适应的获取需要的监控信息，而无须人工配置容器监控项，从而提高监控项的同步效率，并根据监控项阈值判定监控对象的异常情况，进而对告警进行故障处理，能够帮助运维人员及早地发现问题和风险并采取处置措施，避免问题和风险产生的影响扩大化。
在一种可选的实施方式中，配置所述数据库容器的监控项、所述监控项阈值、监控脚本、所述数据库组件标识和组件组别名称；通过所述监控脚本获取所述监控项中容器的所述监控信息。可选的，通过在管控中心对所有的应用产品实现批量配置。
在另一种可选的实施方式中，针对所述监控项设置进行展示的字段；按照预设格式对所述监控项的所述字段和所述监控信息进行展示。
通过展示监控信息，可以方便工作人员获取数据库容器的直观的监控信息，进而及时对异常情况进行处理。
图3是根据本发明一种实施方式的运维监控方法的流程示意图。
如图3所示，本发明实施方式的运维监控方法包含master(主节点)、agent(代理节点)、monitor(监控节点)、消息队列、订阅队列消息、DB(datebase，数据库)、web(网络服务)对数据的处理过程。
其中，master作为agent的管控中心，将监控项配置、监控脚本，关联资源等下发到agent。在本发明中，每个监控项根据监控内容及监控结果实现自身的容器监控信息采集程序。此外，在master预先配置监控的数据库组件标识和组件的组别名称。
agent对monitor(监控节点)进行脚本下发并采集监控数据。在节点调用监控项的脚本采集程序，获得监控项的结果信息，并按统一的格式进行输出，形成监控信息采集结果文件。并且，在宿主机上，当容器新创建、停止或者销毁时，宿主机可以感知到，一般通过Linux文件系统获取。由于Docker安装配置不同，或者Docker采用的文件系统的差异，可能部分目录会有不一致，但实际获取策略都类似。
monitor接收监控脚本采集的监控数据，monitor节点包含3部分操作：上报服务、策略配置和代理配置。策略检查对配置文件yaml(一种标记语言)进行解析，生成对应的周期任务。解析的任务和采集的配置会启动采集分发线程和缓存上报线程，以及周期监控对象的心跳检查线程。采集分发线程会根据不同的采集对象及配置，适配指定采集逻辑执行指定的远程协议进行数据的采集，并把结果放到内存队列中。周期采集指标上报服务线程会检查内存队列是否有数据，如果有采集数据，则进行数据的上报。周期的监控对象心跳服务线程，会检查所有的采集对象，进行使用采集协议执行对所有的采集对象进行一次连通性的检查并把结果通过上报服务进行上报。如果数据上报成功，上报成功的数据会在内存队列里面进行清理。如果上报失败则再进行3次上报尝试，每次间隔30s。如果依旧上报失败则会在队列里面把数据进行清理。
在一种可选的实施方式中，通过Linux文件系统探测宿主机内容器列表，判断各个容器的容器标识，保存数据库容器列表和监控信息；将容器列表中容器标识和监控信息进行比对，将数据库不同组件容器进行记录；根据多个被监控对象的属性信息的对应关系，将相同组件的监控项保存为一组统一格式的数据组，将其通过一个通道上报监控信息，统一存放在消息队列中供其他模块(需求方)订阅使用。
通过docker命令或者文件系统探测宿主机内的容器列表，获取容器列表中所有容器的容器标识和容器的监控信息，可以自适应地通过容器标识获取数据库各个组件的容器列表信息。同时，根据多个被监控对象的属性信息的对应关系，将相同组件的监控项保存为一组统一格式的数据，将其通过一个通道上报监控信息，统一存放到消息队列中共其他模块订阅使用，可以降低资源消耗。
订阅消息队列消息，获取消息队列中需要的数据，并进行数据的分析处理，存储和报警。将获取的当前监控结果信息与master的监控项阈值进行比较，判断同一通道内上传的一组数据组中的数据是否存在异常，并输出结果，通过web服务对异常情况进行展示，并通过监控工具进行告警。其中，将分析处理后的数据存储到DB中。
此外，在信息下发、监控容器、信息上传的设计和实现过程中，对于不同的平台进行针对性设计，对于不同的安装配置可预先定义超参数并进行设定，以保障设计的通用性。
本发明根据上述运维监控方法提供一种针对数据库容器的监控处理方法的示例，所述方法可以包括下述步骤：
(1)定义监控指标。自定义监控用于解决周期性的持续采集的时间序列监控数据的上报、查询与报警。各个自定义监控指标需要根据自身监控内容及监控结果的数值特点实现监控信息采集程序，并生成统一格式的采集结果文件，以满足后续步骤处理。指标命名规则可以为：数据库产品.<组件名称>.<检查项>。例如：在宿主机中对Redis(RemoteDictionary Server，远程字典服务)的HAproxy(一个使用C语言编写的自由及开放源代码软件)进程(Process)进行监控，定义监控指标命名为：Redis.HAproxy.Process。
(2)自定义脚本。自定义脚本对监控项进行信息采集。在宿主机调用自定义脚本，获得监控项的结果信息，并按统一的格式进行输出，形成监控信息采集结果文件。在宿主机上，当容器新创建、停止或者销毁时，宿主机可以感知到，可以通过Linux文件系统获取。由于Docker安装配置不同，或者Docker采用的文件系统的差异，可能部分目录会有不一致，但实际获取策略都类似。
在可选的实施方式中，可以对需要监控的监控项进行自定义，例如，数据库容器状态信息采集的脚本定义为：mysql.status.sh；数据库容器mysqld_safe进程信息采集的脚本定义为：Mysqld_safe.sh；数据库容器sentinel信息采集的脚本定义为：sentinel.sh。
(3)标准化输出。做标准化的监控项输出，记录每个监控项实例的检查结果信息，每个监控项实例对应一条记录，每条记录包含的信息依次为：
“指标名称(metric，与自定义监控指标保持一致)|监控信息(values，监控的结果，例如cpu使用率等信息)|指标类型(types，计数器、度量等)|标签(tags，对自定义监控指标的注解，当监控项有组别时，加入组别信息)”
如下所示为数据库容器cpu监控产生的采集结果文件的一个示例：
metric＝rds.cpu.usage|value＝4.9|type＝gauge|tags＝app:11
metric＝rds.cpu.usage|value＝4.4|type＝gauge|tags＝app:10
metric＝rds.cpu.usage|value＝6.4|type＝gauge|tags＝app:13
metric＝rds.cpu.usage|value＝5.9|type＝gauge|tags＝app:12
metric＝rds.cpu.usage|value＝4.2|type＝gauge|tags＝app:1
metric＝rds.cpu.usage|value＝5.0|type＝gauge|tags＝app:0
metric＝rds.cpu.usage|value＝4.2|type＝gauge|tags＝app:3
metric＝rds.cpu.usage|value＝4.7|type＝gauge|tags＝app:2
metric＝rds.cpu.usage|value＝4.4|type＝gauge|tags＝app:5
metric＝rds.cpu.usage|value＝3.8|type＝gauge|tags＝app:4
metric＝rds.cpu.usage|value＝4.8|type＝gauge|tags＝app:7
metric＝rds.cpu.usage|value＝5.0|type＝gauge|tags＝app:6
metric＝rds.cpu.usage|value＝4.2|type＝gauge|tags＝app:9
metric＝rds.cpu.usage|value＝5.3|type＝gauge|tags＝app:8
其中，“rds.cpu.usage”表示指标名称，该指标与自定义监控指标保持一致；“4.9”表示某一采集容器的cpu使用率；“gauge”表示指标类型，在这里表示为度量型指标；tags中的“11”为实例名，采集时必须保证实例名唯一，“app”在这里表示这些实例对象打包为一组，组名为app。
(4)视图模型。对于自定义监控项，将其加入到视图模型中，设置字段进行直观展示。其中，在视图模型进行展示的监控项可以根据时间序列进行展示并实现智能分析展示。
下表1给出一种各个字段使用的详细说明的示例。
表1
Figure BDA0002817121450000101
(5)报警规则模型：对自定义监控指标创建告警规则，当发生故障时，第一时间得知指标数据发生异常，迅速发出并处理故障。在可选的实施方式中，可以自定义需要监控的监控指标，例如，进行告警的指标数据可以包括但不限于下述几种：haproxy(一个使用C语言编写的自由及开放源代码软件)进程、mysql-binlog-safe进程、switchmanager状态、consul状态等指标。
图4是根据本发明一种实施方式的针对数据库容器的监控处理系统的架构图。
如图4所示，所述监控处理系统包括：
配置模块410，用于配置数据库容器的监控项、监控项阈值、监控脚本、数据库组件标识和组件组别名称。
数据获取模块420，用于通过所述监控脚本获取监控项中容器的监控信息。
容器化模块430，用于探测运行数据库容器的宿主机内的容器列表；用于获取所述容器列表中所有容器的容器标识和容器的监控信息；还用于根据数据库组件标识和所述容器标识的对应关系，获取各个数据库组件的容器列表。
通过容器化可以基于容器有效的将单个操作系统的资源划分到孤立的组中，从而在对数据库容器进行监控时，只需对容器内外状态进行监控，便于在不同操作系统中实现完全相同的监控效果。
格式化模块440，用于根据数据库容器中相同种类容器的所述监控信息生成统一格式的数据组。在可选的实施方式中，数据组中可以包含但不限于：监控指标、监控类型、监控标签、所述监控信息。
数据缓存模块450，用于将所述数据组存放在消息队列中。通过将监控信息生成数据组，并存放在消息队列中，便于需要获取数据组的一方订阅和使用，能够实现降低资源消耗的效果。
告警处理模块460，用于从所述消息队列中获取需要的数据组，并基于监控项阈值，判定所述需要的数据组中的监控信息是否存在异常；当存在异常时，发出告警并进行故障处理。
视图展示模块470，用于针对所述监控项设置进行展示的字段；并按照预设格式对所述监控项的所述字段和所述监控信息进行展示。
采用本发明实施方式的监控处理系统，基于数据库组件标识和容器标识的对应关系，得到各个数据库组件的容器列表，以获取对应的监控信息，能够自适应的获取需要的监控信息，而无须人工配置容器监控项，从而提高监控项的同步效率，并根据监控项阈值判定监控对象的异常情况，进而对告警进行故障处理，能够帮助运维人员及早地发现问题和风险并采取处置措施，避免问题和风险产生的影响扩大化。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件结合硬件平台的方式来实现。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施方式或者实施方式的某些部分所述的方法。
对应的，本发明实施方式还提供一种计算机可读存储介质，其上存储有计算机可读指令或程序，所述计算机可读指令或程序被处理器执行时，使得计算机执行如下操作：所述操作包括如上任意一种实施方式所述监控处理方法所包含的步骤，在此不再赘述。其中，所述存储介质可以包括：例如，光盘、硬盘、软盘、闪存、磁带等。
另外，本发明实施方式还提供一种包括存储器和处理器的计算机设备，所述存储器用于存储一条或多条计算机指令或程序，其中，所述一条或多条计算机指令或程序被所述处理器执行时能够实现如上任意一种实施方式所述的监控处理方法。所述计算机设备可以是，例如，服务器、台式计算机、笔记本计算机等。
最后应说明的是：以上实施方式仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施方式对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施方式技术方案的精神和范围。因此本发明的保护范围应以权利要求为准。

Claims (10)

1.一种针对数据库容器的监控处理方法，其特征在于，所述监控处理方法包括：
探测运行所述数据库容器的宿主机内的容器列表；
获取所述容器列表中所有容器的容器标识和容器的监控信息；
根据数据库组件标识和所述容器标识的对应关系，获取各个数据库组件的容器列表；
根据数据库容器中相同种类容器的所述监控信息，生成统一格式的数据组；
将所述数据组存放在消息队列中；
从所述消息队列中获取需要的数据组，并基于监控项阈值，判定所述需要的数据组中的监控信息是否存在异常；
当存在异常时，发出告警并进行故障处理。
2.如权利要求1所述的监控处理方法，其特征在于，所述数据组包括：监控指标、监控类型、监控标签、所述监控信息。
3.如权利要求2所述的监控处理方法，其特征在于，所述监控处理方法还包括：
配置所述数据库容器的监控项、所述监控项阈值、监控脚本、所述数据库组件标识和组件组别名称；
通过所述监控脚本获取所述监控项中容器的所述监控信息。
4.如权利要求3所述的监控处理方法，其特征在于，所述监控处理方法还包括：
针对所述监控项设置进行展示的字段；
按照预设格式对所述监控项的所述字段和所述监控信息进行展示。
5.一种针对数据库容器的监控处理系统，其特征在于，所述监控处理系统包括：
容器化模块，用于探测运行所述数据库容器的宿主机内的容器列表；
所述容器化模块还用于获取所述容器列表中所有容器的容器标识和容器的监控信息；
所述容器化模块还用于根据数据库组件标识和所述容器标识的对应关系，获取各个数据库组件的容器列表；
格式化模块，用于根据数据库容器中相同种类容器的所述监控信息生成统一格式的数据组；
数据缓存模块，用于将所述数据组存放在消息队列中；
告警处理模块，用于从所述消息队列中获取需要的数据组，并基于监控项阈值，判定所述需要的数据组中的监控信息是否存在异常；当存在异常时，发出告警并进行故障处理。
6.如权利要求5所述的监控处理系统，其特征在于，所述数据组包括：监控指标、监控类型、监控标签、所述监控信息。
7.如权利要求6所述的监控处理系统，其特征在于，所述监控处理系统还包括：
配置模块，用于配置所述数据库容器的监控项、所述监控项阈值、监控脚本、所述数据库组件标识和组件组别名称；
数据获取模块，用于通过所述监控脚本获取所述监控项中容器的所述监控信息。
8.如权利要求7所述的监控处理系统，其特征在于，所述监控处理系统还包括视图展示模块，用于执行下述操作：
针对所述监控项设置进行展示的字段；
按照预设格式对所述监控项的所述字段和所述监控信息进行展示。
9.一种计算机存储介质，所述计算机存储介质储存计算机软件指令，其特征在于，所述计算机软件指令由处理器执行以实现如权利要求1-4任一项所述的监控处理方法。
10.一种计算机设备，其包括存储器和处理器；
其特征在于，所述存储器用于存储一条或多条计算机指令，所述处理器执行所述一条或多条计算机指令以实现如权利要求1-4中任一项所述的监控处理方法。
CN202011401557.8A 2020-12-04 2020-12-04 针对数据库容器的监控处理方法、系统、设备和存储介质 Active CN112416719B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011401557.8A CN112416719B (zh) 2020-12-04 2020-12-04 针对数据库容器的监控处理方法、系统、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011401557.8A CN112416719B (zh) 2020-12-04 2020-12-04 针对数据库容器的监控处理方法、系统、设备和存储介质

Publications (2)

Publication Number Publication Date
CN112416719A true CN112416719A (zh) 2021-02-26
CN112416719B CN112416719B (zh) 2024-01-26

Family

ID=74830120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011401557.8A Active CN112416719B (zh) 2020-12-04 2020-12-04 针对数据库容器的监控处理方法、系统、设备和存储介质

Country Status (1)

Country Link
CN (1) CN112416719B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115328742A (zh) * 2022-10-10 2022-11-11 杭州朗和科技有限公司 容器信息监控方法、装置、存储介质及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899126A (zh) * 2015-06-12 2015-09-09 北京奇虎科技有限公司 对宿主机中容器进行本地实时监控的方法、装置及系统
CN104950757A (zh) * 2015-06-12 2015-09-30 北京奇虎科技有限公司 监控容器的方法及系统
CN105893010A (zh) * 2015-11-17 2016-08-24 乐视云计算有限公司 用于容器部署的主机调度方法及系统
CN106445634A (zh) * 2016-09-22 2017-02-22 乐视控股（北京）有限公司 一种容器的监控方法及装置
CN107506282A (zh) * 2017-08-28 2017-12-22 郑州云海信息技术有限公司 一种docker集群中容器的系统监控数据获取方法及系统
CN109344032A (zh) * 2018-09-27 2019-02-15 郑州云海信息技术有限公司 一种监控方法和装置
CN109684073A (zh) * 2018-10-26 2019-04-26 平安科技（深圳）有限公司 电子装置、云服务资源分配方法及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899126A (zh) * 2015-06-12 2015-09-09 北京奇虎科技有限公司 对宿主机中容器进行本地实时监控的方法、装置及系统
CN104950757A (zh) * 2015-06-12 2015-09-30 北京奇虎科技有限公司 监控容器的方法及系统
CN105893010A (zh) * 2015-11-17 2016-08-24 乐视云计算有限公司 用于容器部署的主机调度方法及系统
CN106445634A (zh) * 2016-09-22 2017-02-22 乐视控股（北京）有限公司 一种容器的监控方法及装置
CN107506282A (zh) * 2017-08-28 2017-12-22 郑州云海信息技术有限公司 一种docker集群中容器的系统监控数据获取方法及系统
CN109344032A (zh) * 2018-09-27 2019-02-15 郑州云海信息技术有限公司 一种监控方法和装置
CN109684073A (zh) * 2018-10-26 2019-04-26 平安科技（深圳）有限公司 电子装置、云服务资源分配方法及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王洁等: "机群并行数据库的动态监控关键技术", 计算机工程, no. 21 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115328742A (zh) * 2022-10-10 2022-11-11 杭州朗和科技有限公司 容器信息监控方法、装置、存储介质及电子设备
CN115328742B (zh) * 2022-10-10 2023-02-17 杭州朗和科技有限公司 容器信息监控方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN112416719B (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
CN108521339B (zh) 一种基于集群日志的反馈式节点故障处理方法及系统
CN107016480B (zh) 任务调度方法、装置及系统
CN110908883B (zh) 用户画像数据监控方法、系统、设备及存储介质
US20110314138A1 (en) Method and apparatus for cause analysis configuration change
CN103605722A (zh) 数据库监控方法及装置、设备
CN111124830B (zh) 一种微服务的监控方法及装置
CN110750426A (zh) 服务状态监测方法、装置、电子设备及可读存储介质
CN112000806A (zh) 异常日志监控分析方法、系统、设备及存储介质
CN114356499A (zh) Kubernetes集群告警根因分析方法及装置
CN111913824B (zh) 确定数据链路故障原因的方法及相关设备
CN112699007A (zh) 监控机器性能的方法、系统、网络设备及存储介质
CN113760677A (zh) 异常链路分析方法、装置、设备及存储介质
CN113806191A (zh) 一种数据处理方法、装置、设备及存储介质
CN116016123A (zh) 故障处理方法、装置、设备及介质
CN112416719B (zh) 针对数据库容器的监控处理方法、系统、设备和存储介质
CN111339466A (zh) 接口管理方法、装置、电子设备及可读存储介质
CN110011845B (zh) 日志采集方法及系统
CN110609761B (zh) 确定故障源的方法、装置、存储介质和电子设备
CN110928663A (zh) 一种跨平台多线程监控方法及装置
CN112579387A (zh) 业务系统监控方法、装置、存储介质及设备
CN115102838B (zh) 服务器宕机风险的应急处理方法和装置、电子设备
CN115981950A (zh) 监控告警方法、装置、设备及计算机可读存储介质
CN115222181B (zh) 机器人运营状态监控系统及方法
CN111274089B (zh) 一种基于旁路技术的服务器异常行为感知系统
CN113656239A (zh) 针对中间件的监控方法、装置及计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant