CN116055496A - 一种监控数据采集方法、装置、电子设备及存储介质 - Google Patents
一种监控数据采集方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116055496A CN116055496A CN202211727047.9A CN202211727047A CN116055496A CN 116055496 A CN116055496 A CN 116055496A CN 202211727047 A CN202211727047 A CN 202211727047A CN 116055496 A CN116055496 A CN 116055496A
- Authority
- CN
- China
- Prior art keywords
- acquisition
- target
- edge node
- target server
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 111
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000005540 biological transmission Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 239000002699 waste material Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种监控数据采集方法、装置、电子设备及存储介质，用于解决现有的监控系统容易出现target负载失衡的技术问题。本发明包括：中心节点接收采集请求，并根据所述采集请求确定采集指标；根据所述采集指标确定采集区域和目标服务器；在所述采集区域中确定初始边缘节点，并建立所述初始边缘节点与所述目标服务器的连接；获取与所述目标服务器连接后所述初始边缘节点的负载；根据所述负载确定目标边缘节点；通过所述目标边缘节点从所述目标服务器采集监控数据。
Description
技术领域
本发明涉及监控技术领域，尤其涉及一种监控数据采集方法、装置、电子设备及存储介质。
背景技术
随着移动互联网的发展和智能终端的普及，计算机系统早就从单机独立工作过渡到多机器协作工作的模式，集群按照分布式理论构建出庞大复杂的应用服务。而为了提高可用性、应用服务会由多个机房同时提供服务，从而实现高可用。
监控领域依托分布式架构，可以实现对不同区域的同步监控。然而，如图1所示，传统的监控系统，都是通过客户端主动上报的方式(push)来采集监控数据，但这种方式存在以下一些问题：
a、服务端始终处于被动接受状态，容易因为写入压力过大而导致崩溃，因此对稳定性及扩容要求极高；
b、网络保证网络的连通性，才能实现数据的有效传输；
c、当上报数据量大的时候，会极大占据各region(指物理的数据中心的地理区域)之间的专线带宽，导致业务异常；
d、无法区分对象是否存活的原因(只知道对象没有数据上报，而不清楚是否存活或没有上传数据的原因)。
针对上述问题，随着微服务、容器化、云原生等新架构思想的产生，如图2所示，现主流监控系统采用pull方式，同时各region之间采取分治处理，统一查询入口。
然而，如图2所示的监控系统，当资源(target)规模较大时，容易导致target(边缘节点)负载失衡的问题，以及采集器分配是否恰当的问题。
发明内容
本发明提供了一种监控数据采集方法、装置、电子设备及存储介质，用于解决现有的监控系统容易出现target负载失衡的技术问题。
本发明提供的了一种监控数据采集方法，应用分布式监控系统，所述分布式监控系统包括一个中心节点和若干个边缘节点；所述方法包括：
中心节点接收采集请求，并根据所述采集请求确定采集指标；
根据所述采集指标确定采集区域和目标服务器；
在所述采集区域中确定初始边缘节点，并建立所述初始边缘节点与所述目标服务器的连接；
获取与所述目标服务器连接后所述初始边缘节点的负载；
根据所述负载确定目标边缘节点；
通过所述目标边缘节点从所述目标服务器采集监控数据。
可选地，所述采集指标包括IP地址和端口信息；所述根据所述采集指标确定采集区域和目标服务器的步骤，包括：
根据所述IP地址和所述端口信息确定目标服务器；
获取所述目标服务器的归属信息，根据所述归属信息确定采集区域。
可选地，所述根据所述负载确定目标边缘节点的步骤，包括：
当所述负载超过第一预设负载阈值时，根据所述负载的大小从所述采集区域中选择若干调度边缘节点；
将所述初始边缘节点和所述调度边缘节点作为目标边缘节点。
可选地，所述根据所述负载确定目标边缘节点的步骤，包括：
当所述负载小于第二预设负载阈值时，根据所述负载的大小在所述初始边缘节点中筛选目标边缘节点。
可选地，所述通过目标边缘节点从所述目标服务器采集监控数据的步骤，包括：
通过所述目标边缘节点的采集器与所述目标服务器建立网络连接；
当连接成功时，通过所述采集器从所述目标服务器采集监控数据。
可选地，还包括：
当连接失败时，获取所述采集器的关联采集器；
建立所述关联采集器与所述目标服务器的网络连接，并通过所述关联采集器从所述目标服务器采集监控数据。
本发明还提供了一种监控数据采集装置，应用分布式监控系统，所述分布式监控系统包括一个中心节点和若干个边缘节点；所述装置包括：
采集指标确定模块，用于中心节点接收采集请求，并根据所述采集请求确定采集指标；
采集区域和目标服务器确定模块，用于根据所述采集指标确定采集区域和目标服务器；
连接模块，用于在所述采集区域中确定初始边缘节点，并建立所述初始边缘节点与所述目标服务器的连接；
负载获取模块，用于获取与所述目标服务器连接后所述初始边缘节点的负载；
目标边缘节点确定模块，用于根据所述负载确定目标边缘节点；
监控数据采集模块，用于通过所述目标边缘节点从所述目标服务器采集监控数据。
可选地，所述采集指标包括IP地址和端口信息；所述采集区域和目标服务器确定模块，包括：
目标服务器确定子模块，用于根据所述IP地址和所述端口信息确定目标服务器；
采集区域确定子模块，用于获取所述目标服务器的归属信息，根据所述归属信息确定采集区域。
本发明还提供了一种电子设备，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行如上任一项所述的监控数据采集方法。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行如上任一项所述的监控数据采集方法。
从以上技术方案可以看出，本发明具有以下优点：本发明公开了一种监控数据采集方法，具体包括：中心节点接收采集请求，并根据采集请求确定采集指标；根据采集指标确定采集区域和目标服务器；在采集区域中确定初始边缘节点，并建立初始边缘节点与目标服务器的连接；获取与目标服务器连接后初始边缘节点的负载；根据负载确定目标边缘节点；通过目标边缘节点从目标服务器采集监控数据。本发明通过主动向目标服务器采集监控数据，从而减少数据的采集量；同时通过获取实际与目标服务器连接的初始边缘节点的负载，来确定监控数据传输对边缘节点的负载压力，以确定需要参与与目标服务器连接以接收监控数据的目标边缘节点，从而避免在监控数据传输过程中，因负载过大导致的传输障碍，或因负载过小导致的资源浪费。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为传统的监控系统的架构图；
图2为现有的采用pull的监控系统的架构图；
图3为本发明实施例提供的一种监控数据采集方法的步骤流程图；
图4为本发明另一实施例提供的一种监控数据采集方法的步骤流程图；
图5为本发明实施例提供的采集器调度示意图；
图6为本发明实施例提供的一种监控数据采集装置的结构框图。
具体实施方式
本发明实施例提供了一种监控数据采集方法、装置、电子设备及存储介质，用于解决现有的监控系统容易出现target负载失衡的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图3，图3为本发明实施例提供的一种监控数据采集方法的步骤流程图。
本发明提供的一种监控数据采集方法，应用于分布时监控系统，分布式监控系统包括一个中心节点和若干个边缘节点，方法具体可以包括以下步骤：
步骤301，中心节点接收采集请求，并根据采集请求确定采集指标；
在本发明实施例中，采集指标可以包括IP地址和端口信息。中心节点可以预先储存各个服务器的IP地址和端口信息，以及所处的采集区域。
当中心节点接收到对特定服务器的采集请求时，可以从采集请求中获取采集指标。
步骤302，根据采集指标确定采集区域和目标服务器；
在本发明实施例中，不同的服务器以机房为单位部署在不同的区域，只有知道所要采集的区域所部署的区域，才能进行针对性地采集。
因此，在获取到采集指标后，可以根据采集指标确定采集区域和目标服务器。
其中，目标服务器可以通过采集指标中携带的服务器信息确定。
步骤303，在采集区域中确定初始边缘节点，并建立初始边缘节点与目标服务器的连接；
边缘节点指在靠近用户的网络边缘侧构建的业务平台，提供存储、计算、网络等资源，将部分关键业务应用下沉到接入网络边缘，以减少网络传输和多级转发带来的宽度和时延损耗。
在本发明实施例中，每个采集区域可以包括若干个边缘节点，以匹配不同采集区域中的服务器数量。在实际采集过程中，服务器所能传输的监控数据的数量是有限的，并不能所有边缘节点都需要参与监控数据的采集。因此，首先需要确定参与目标服务器监控数据采集的初始边缘节点。在具体实现中，初始边缘节点可以为一个、两个或多个。具体可以根据实际情况确定，由于初始边缘节点并不是实际参与服务器监控数据采集的目标边缘节点，因此对于初始边缘节点的个数不作具体限制。
在获取到初始边缘节点后，可以建立初始边缘节点与目标服务器的连接，以判断实际参与目标服务器监控数据采集的目标边缘节点的数量。
步骤304，获取与目标服务器连接后初始边缘节点的负载；
步骤305，根据负载确定目标边缘节点；
在具体实现中，目标边缘节点的数量的确定，可以根据初始边缘节点所承受的负载的大小来决定，当初始边缘节点的负载过大时，可以增加参与目标服务器监控数据采集的目标边缘节点的数量。反之，当初始边缘节点的负载过小时，可以减少参与目标服务器监控数据采集的目标边缘节点的数量。
步骤306，通过目标边缘节点从目标服务器采集监控数据。
在确定了目标边缘节点后，可以通过目标边缘节点从目标服务器采集相应的监控数据。
本发明通过主动向目标服务器采集监控数据，从而减少数据的采集量；同时通过获取实际与目标服务器连接的初始边缘节点的负载，来确定监控数据传输对边缘节点的负载压力，以确定需要参与与目标服务器连接以接收监控数据的目标边缘节点，从而避免在监控数据传输过程中，因负载过大导致的传输障碍，或因负载过小导致的资源浪费。
请参阅图4，图4为本发明另一实施例提供的一种监控数据采集方法的步骤流程图，具体可以包括以下步骤：
步骤401，中心节点接收采集请求，并根据采集请求确定采集指标；
在本发明实施例中，当中心节点接收到对特定服务器的采集请求时，可以从采集请求中获取采集指标。
步骤402，根据IP地址和端口信息确定目标服务器；
步骤403，获取目标服务器的归属信息，根据归属信息确定采集区域；
在本发明实施例中，可以从采集指标中获取IP地址和端口信息，以通过中心节点包括的映射关系查询得到对应的目标服务器。然后根据目标服务器的归属信息确定对应的采集区域。
步骤404，在采集区域中确定初始边缘节点，并建立初始边缘节点与目标服务器的连接；
在本发明实施例中，每个采集区域可以包括若干个边缘节点，以匹配不同采集区域中的服务器数量。在实际采集过程中，服务器所能传输的监控数据的数量是有限的，并不能所有边缘节点都需要参与监控数据的采集。因此，首先需要确定参与目标服务器监控数据采集的初始边缘节点。在具体实现中，初始边缘节点可以为一个、两个或多个。具体可以根据实际情况确定，由于初始边缘节点并不是实际参与服务器监控数据采集的目标边缘节点，因此对于初始边缘节点的个数不作具体限制。
在获取到初始边缘节点后，可以建立初始边缘节点与目标服务器的连接，以判断实际参与目标服务器监控数据采集的目标边缘节点的数量。
步骤405，获取与目标服务器连接后初始边缘节点的负载；
步骤406，根据负载确定目标边缘节点；
在具体实现中，目标边缘节点的数量的确定，可以根据初始边缘节点所承受的负载的大小来决定。
在一个示例中，根据负载确定目标边缘节点的步骤，包括：
S611，当负载超过第一预设负载阈值时，根据负载的大小从采集区域中选择若干调度边缘节点；
S612，将初始边缘节点和调度边缘节点作为目标边缘节点。
在本发明实施例中，第一预设负载阈值为所有初始边缘节点总负载的临界负载值，当初始边缘节点超过第一预设负载阈值时容易发生故障。因此，在具体实现中，当初始边缘节点的负载超过第一预设负载阈值时，可以从对应的采集区域中筛选部分空闲的边缘节点作为调度边缘节点，与初始边缘节点一起作为目标边缘节点从目标服务器采集监控数据。
在一个示例中，根据负载确定目标边缘节点的步骤，可以包括以下子步骤：
S621，当负载小于第二预设负载阈值时，根据负载的大小在初始边缘节点中筛选目标边缘节点。
在具体实现中，当初始边缘节点为至少两个时，第二预设负载阈值为部分(具体数量可以根据实际情况确定)初始边缘节点允许最高负载的总和，当初始边缘节点的负载小于第二预设负载阈值时，表征只需要部分初始边缘节点就可以完成目标服务器的监控数据的采集，因此，多余的初始边缘节点的负载就会被浪费掉。此时可以从初始边缘节点中筛选部分边缘节点作为目标边缘节点，以减少资源浪费。
步骤407，通过目标边缘节点从目标服务器采集监控数据。
在确定了目标边缘节点后，可以通过目标边缘节点从目标服务器采集相应的监控数据。
在一个示例中，通过目标边缘节点从目标服务器采集监控数据的步骤，包括：
S71，通过目标边缘节点的采集器与目标服务器建立网络连接；
S72，当连接成功时，通过采集器从目标服务器采集监控数据。
S73，当连接失败时，获取采集器的关联采集器；
S74，建立关联采集器与目标服务器的网络连接，并通过关联采集器从目标服务器采集监控数据。
在具体实现中，在确定目标边缘节点后，可以通过目标边缘节点的采集器进行监控数据的采集。其中，目标边缘节点与采集器一一对应。采集器会与目标边缘节点同步目标服务器地址，然后从目标服务器拉取监控数据，并存入本地。
在采集过程中，目标边缘节点会拦截采集器对目标服务器的采集请求，并判断采集器与目标服务器是否产生网络连接。当采集器与目标服务器产生了网络连接时，可以直接通过采集器从目标服务器采集监控数据。
当目标边缘节点与目标服务器产生网络连接故障，或者目标边缘节点的采集器产生故障导致无法与目标服务器建立连接时，目标边缘节点会获取同个采集区域中其他边缘节点的采集器作为关联采集器与目标服务器建立网络连接，并通过关联采集器从目标服务器采集监控数据。
如图5所示，假设目标边缘节点1(Agent1)的采集器为采集器1，采集的目标服务器为target1。当采集器1产生故障时，目标边缘节点1可以将Agent2的采集器2作为关联采集器，并告知采集器2target1的地址，以建立采集器2与target1之间的网络连接。
为便于理解，以下通过具体实现对本发明实施例进行说明：
以采集一台腾讯云新加坡地区云服务器为例，该云服务器的IP地址和端口信息会保存在中心节点，中心节点在接到对该云服务器的采集请求时，会获取相应的IP地址和端口信息，然后根据IP地址确定其所属的采集区域为新加坡地区，将采集任务分配到新加坡地区的腾讯云类别的边缘节点，该边缘节点会根据当前负载(CPU、内存、磁盘)、网络连通性选择合适的采集器，采集器会通过IP地址和端口信息从云服务器采集相应的监控数据。当在负载、网络连通性出问题时，边缘节点可以动态调度其他采集器去采集监控数据，从而实现对该云服务器的稳定监控。
本发明通过主动向目标服务器采集监控数据，从而减少数据的采集量；同时通过获取实际与目标服务器连接的初始边缘节点的负载，来确定监控数据传输对边缘节点的负载压力，以确定需要参与与目标服务器连接以接收监控数据的目标边缘节点，从而避免在监控数据传输过程中，因负载过大导致的传输障碍，或因负载过小导致的资源浪费。
请参阅图6，图6为本发明实施例提供的一种监控数据采集装置的结构框图。
本发明实施例提供了一种监控数据采集装置，应用分布式监控系统，分布式监控系统包括一个中心节点和若干个边缘节点；装置包括：
采集指标确定模块601，用于中心节点接收采集请求，并根据采集请求确定采集指标；
采集区域和目标服务器确定模块602，用于根据采集指标确定采集区域和目标服务器；
连接模块603，用于在采集区域中确定初始边缘节点，并建立初始边缘节点与目标服务器的连接；
负载获取模块604，用于获取与目标服务器连接后初始边缘节点的负载；
目标边缘节点确定模块605，用于根据负载确定目标边缘节点；
监控数据采集模块606，用于通过目标边缘节点从目标服务器采集监控数据。
在本发明实施例中，采集指标包括IP地址和端口信息；采集区域和目标服务器确定模块602，包括：
目标服务器确定子模块，用于根据IP地址和端口信息确定目标服务器；
采集区域确定子模块，用于获取目标服务器的归属信息，根据归属信息确定采集区域。
在本发明实施例中，目标边缘节点确定模块605，包括：
调度边缘节点确定子模块，用于当负载超过第一预设负载阈值时，根据负载的大小从采集区域中选择若干调度边缘节点；
第一目标边缘节点确定子模块，用于将初始边缘节点和调度边缘节点作为目标边缘节点。
在本发明实施例中，目标边缘节点确定模块605，包括：
第二目标边缘节点确定子模块，用于当负载小于第二预设负载阈值时，根据负载的大小在初始边缘节点中筛选目标边缘节点。
在本发明实施例中，监控数据采集模块606，包括：
网络连接建立子模块，用于通过目标边缘节点的采集器与目标服务器建立网络连接；
第一监控数据采集子模块，用于当连接成功时，通过采集器从目标服务器采集监控数据。
在本发明实施例中，监控数据采集模块606，还包括：
关联采集器获取子模块，用于当连接失败时，获取采集器的关联采集器；
第二监控数据采集子模块，用于建立关联采集器与目标服务器的网络连接，并通过关联采集器从目标服务器采集监控数据。
本发明实施例还提供了一种电子设备，设备包括处理器以及存储器：
存储器用于存储程序代码，并将程序代码传输给处理器；
处理器用于根据程序代码中的指令执行本发明实施例的监控数据采集方法。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行本发明实施例的监控数据采集方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种监控数据采集方法，其特征在于，应用分布式监控系统，所述分布式监控系统包括一个中心节点和若干个边缘节点；所述方法包括：
中心节点接收采集请求，并根据所述采集请求确定采集指标；
根据所述采集指标确定采集区域和目标服务器；
在所述采集区域中确定初始边缘节点，并建立所述初始边缘节点与所述目标服务器的连接；
获取与所述目标服务器连接后所述初始边缘节点的负载；
根据所述负载确定目标边缘节点；
通过所述目标边缘节点从所述目标服务器采集监控数据。
2.根据权利要求1所述的方法，其特征在于，所述采集指标包括IP地址和端口信息；所述根据所述采集指标确定采集区域和目标服务器的步骤，包括：
根据所述IP地址和所述端口信息确定目标服务器；
获取所述目标服务器的归属信息，根据所述归属信息确定采集区域。
3.根据权利要求1所述的方法，其特征在于，所述根据所述负载确定目标边缘节点的步骤，包括：
当所述负载超过第一预设负载阈值时，根据所述负载的大小从所述采集区域中选择若干调度边缘节点；
将所述初始边缘节点和所述调度边缘节点作为目标边缘节点。
4.根据权利要求1所述的方法，其特征在于，所述根据所述负载确定目标边缘节点的步骤，包括：
当所述负载小于第二预设负载阈值时，根据所述负载的大小在所述初始边缘节点中筛选目标边缘节点。
5.根据权利要求1所述的方法，其特征在于，所述通过目标边缘节点从所述目标服务器采集监控数据的步骤，包括：
通过所述目标边缘节点的采集器与所述目标服务器建立网络连接；
当连接成功时，通过所述采集器从所述目标服务器采集监控数据。
6.根据权利要求5所述的方法，其特征在于，还包括：
当连接失败时，获取所述采集器的关联采集器；
建立所述关联采集器与所述目标服务器的网络连接，并通过所述关联采集器从所述目标服务器采集监控数据。
7.一种监控数据采集装置，其特征在于，应用分布式监控系统，所述分布式监控系统包括一个中心节点和若干个边缘节点；所述装置包括：
采集指标确定模块，用于中心节点接收采集请求，并根据所述采集请求确定采集指标；
采集区域和目标服务器确定模块，用于根据所述采集指标确定采集区域和目标服务器；
连接模块，用于在所述采集区域中确定初始边缘节点，并建立所述初始边缘节点与所述目标服务器的连接；
负载获取模块，用于获取与所述目标服务器连接后所述初始边缘节点的负载；
目标边缘节点确定模块，用于根据所述负载确定目标边缘节点；
监控数据采集模块，用于通过所述目标边缘节点从所述目标服务器采集监控数据。
8.根据权利要求7所述的装置，其特征在于，所述采集指标包括IP地址和端口信息；所述采集区域和目标服务器确定模块，包括：
目标服务器确定子模块，用于根据所述IP地址和所述端口信息确定目标服务器；
采集区域确定子模块，用于获取所述目标服务器的归属信息，根据所述归属信息确定采集区域。
9.一种电子设备，其特征在于，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-6任一项所述的监控数据采集方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-6任一项所述的监控数据采集方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211727047.9A CN116055496B (zh) | 2022-12-30 | 2022-12-30 | 一种监控数据采集方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211727047.9A CN116055496B (zh) | 2022-12-30 | 2022-12-30 | 一种监控数据采集方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116055496A true CN116055496A (zh) | 2023-05-02 |
| CN116055496B CN116055496B (zh) | 2024-04-05 |
Family
ID=86113349
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211727047.9A Active CN116055496B (zh) | 2022-12-30 | 2022-12-30 | 一种监控数据采集方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116055496B (zh) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8244864B1 (en) * | 2001-03-20 | 2012-08-14 | Microsoft Corporation | Transparent migration of TCP based connections within a network load balancing system |
| US20130073717A1 (en) * | 2011-09-15 | 2013-03-21 | International Business Machines Corporation | Optimizing clustered network attached storage (nas) usage |
| WO2016123972A1 (zh) * | 2015-02-02 | 2016-08-11 | 中兴通讯股份有限公司 | 一种负载均衡的方法及负载均衡装置 |
| CN107807853A (zh) * | 2017-10-16 | 2018-03-16 | 北京航空航天大学 | 一种基于机器实时负载和任务状态机的节点筛选方法及装置 |
| CN109669758A (zh) * | 2018-09-11 | 2019-04-23 | 深圳平安财富宝投资咨询有限公司 | 服务器资源的调配方法、装置、设备及存储介质 |
| CN111225059A (zh) * | 2020-01-10 | 2020-06-02 | 中移（杭州）信息技术有限公司 | 网络请求资源调度方法、装置、电子设备及存储介质 |
| WO2020207264A1 (zh) * | 2019-04-08 | 2020-10-15 | 阿里巴巴集团控股有限公司 | 网络系统、服务提供与资源调度方法、设备及存储介质 |
| CN112187891A (zh) * | 2020-09-16 | 2021-01-05 | 国网浙江省电力有限公司信息通信分公司 | 基于多业务的边缘计算节点集合的负载优化方法及装置 |
| CN112532758A (zh) * | 2019-09-19 | 2021-03-19 | 贵州白山云科技股份有限公司 | 一种网络边缘计算系统的创建方法、装置及介质 |
| WO2021052132A1 (zh) * | 2019-09-19 | 2021-03-25 | 贵州白山云科技股份有限公司 | 一种网络边缘计算方法、装置、设备及介质 |
| CN112799789A (zh) * | 2021-03-22 | 2021-05-14 | 腾讯科技（深圳）有限公司 | 一种节点集群管理方法、装置、设备及存储介质 |
| WO2021147481A1 (zh) * | 2020-01-22 | 2021-07-29 | 北京字节跳动网络技术有限公司 | 监控方法、装置及电子设备 |
| CN114416490A (zh) * | 2022-01-24 | 2022-04-29 | 平安国际智慧城市科技股份有限公司 | 基于区块链的监控报警方法、装置、电子设备及存储介质 |
| CN114979158A (zh) * | 2022-05-23 | 2022-08-30 | 深信服科技股份有限公司 | 一种资源监控方法、系统、设备及计算机可读存储介质 |
| CN115277566A (zh) * | 2022-05-20 | 2022-11-01 | 鸬鹚科技(深圳)有限公司 | 数据访问的负载均衡方法、装置、计算机设备及介质 |
| WO2022247750A1 (zh) * | 2021-05-28 | 2022-12-01 | 上海云盾信息技术有限公司 | 访问请求的处理方法、电子装置、电子设备以及介质 |
-
2022
- 2022-12-30 CN CN202211727047.9A patent/CN116055496B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8244864B1 (en) * | 2001-03-20 | 2012-08-14 | Microsoft Corporation | Transparent migration of TCP based connections within a network load balancing system |
| US20130073717A1 (en) * | 2011-09-15 | 2013-03-21 | International Business Machines Corporation | Optimizing clustered network attached storage (nas) usage |
| WO2016123972A1 (zh) * | 2015-02-02 | 2016-08-11 | 中兴通讯股份有限公司 | 一种负载均衡的方法及负载均衡装置 |
| CN107807853A (zh) * | 2017-10-16 | 2018-03-16 | 北京航空航天大学 | 一种基于机器实时负载和任务状态机的节点筛选方法及装置 |
| CN109669758A (zh) * | 2018-09-11 | 2019-04-23 | 深圳平安财富宝投资咨询有限公司 | 服务器资源的调配方法、装置、设备及存储介质 |
| WO2020207264A1 (zh) * | 2019-04-08 | 2020-10-15 | 阿里巴巴集团控股有限公司 | 网络系统、服务提供与资源调度方法、设备及存储介质 |
| CN112532758A (zh) * | 2019-09-19 | 2021-03-19 | 贵州白山云科技股份有限公司 | 一种网络边缘计算系统的创建方法、装置及介质 |
| WO2021052132A1 (zh) * | 2019-09-19 | 2021-03-25 | 贵州白山云科技股份有限公司 | 一种网络边缘计算方法、装置、设备及介质 |
| CN111225059A (zh) * | 2020-01-10 | 2020-06-02 | 中移（杭州）信息技术有限公司 | 网络请求资源调度方法、装置、电子设备及存储介质 |
| WO2021147481A1 (zh) * | 2020-01-22 | 2021-07-29 | 北京字节跳动网络技术有限公司 | 监控方法、装置及电子设备 |
| CN112187891A (zh) * | 2020-09-16 | 2021-01-05 | 国网浙江省电力有限公司信息通信分公司 | 基于多业务的边缘计算节点集合的负载优化方法及装置 |
| CN112799789A (zh) * | 2021-03-22 | 2021-05-14 | 腾讯科技（深圳）有限公司 | 一种节点集群管理方法、装置、设备及存储介质 |
| WO2022247750A1 (zh) * | 2021-05-28 | 2022-12-01 | 上海云盾信息技术有限公司 | 访问请求的处理方法、电子装置、电子设备以及介质 |
| CN114416490A (zh) * | 2022-01-24 | 2022-04-29 | 平安国际智慧城市科技股份有限公司 | 基于区块链的监控报警方法、装置、电子设备及存储介质 |
| CN115277566A (zh) * | 2022-05-20 | 2022-11-01 | 鸬鹚科技(深圳)有限公司 | 数据访问的负载均衡方法、装置、计算机设备及介质 |
| CN114979158A (zh) * | 2022-05-23 | 2022-08-30 | 深信服科技股份有限公司 | 一种资源监控方法、系统、设备及计算机可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 郑奇英;叶猛;: "基于集群存储系统的动态负载均衡调度策略", 计算机与现代化, no. 01 * |
| 韩裕安;吴亚陵;马展为;: "基于智能IP跳转实现网络拥塞控制", 电信快报, no. 07, 10 July 2013 (2013-07-10) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116055496B (zh) | 2024-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106375420B (zh) | 一种基于负载均衡的服务器集群智能监控系统及方法 | |
| JP6559670B2 (ja) | ネットワーク機能仮想化情報コンセントレータのための方法、システム、およびコンピュータ読取可能媒体 | |
| CN107872402B (zh) | 全局流量调度的方法、装置及电子设备 | |
| CN101958805B (zh) | 一种云计算中终端接入和管理的方法及系统 | |
| US9532359B2 (en) | Resource allocation method and device | |
| CN111966289B (zh) | 基于Kafka集群的分区优化方法和系统 | |
| CN107317707B (zh) | 一种基于点覆盖集的sdn网络拓扑管理方法 | |
| CN106330558A (zh) | 应用于软件定义网络的控制器负载预测系统及方法 | |
| CN111064591B (zh) | 数据汇聚方法、装置、设备、存储介质和系统 | |
| IL268670A (en) | Automatic detection of server clusters | |
| CN115277598A (zh) | 一种算力资源调度方法、装置及计算机可读存储介质 | |
| CN117081983B (zh) | 数据传输方法及装置 | |
| JP2009086741A (ja) | 異種ノード混在の分散環境における分散処理制御方法、そのシステム及びそのプログラム | |
| CN106790354B (zh) | 一种防数据拥堵的通信方法及其装置 | |
| CN116055496B (zh) | 一种监控数据采集方法、装置、电子设备及存储介质 | |
| CN104683186A (zh) | 网络资源调度方法及装置 | |
| CN110213778B (zh) | 一种网元主备智能配对的方法及装置 | |
| CN110635927B (zh) | 节点切换方法、网络节点、网络系统 | |
| CN112799931B (zh) | 日志采集方法、装置、系统、介质及电子设备 | |
| CN115665263A (zh) | 一种流量调拨方法、装置、服务器及存储介质 | |
| CN111796768B (zh) | 分布式服务协调方法、装置及系统 | |
| CN104503846B (zh) | 一种基于云计算系统的资源管理系统 | |
| CN115118635A (zh) | 一种时延检测方法、装置、设备及存储介质 | |
| CN104580498B (zh) | 一种自适应云管理平台 | |
| CN110300035B (zh) | 判断存储系统负载状态的方法、系统、装置及服务器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |