CN113641552B - 监控数据采集横向扩展方法、系统、电子设备和存储介质 - Google Patents
监控数据采集横向扩展方法、系统、电子设备和存储介质 Download PDFInfo
- Publication number
- CN113641552B CN113641552B CN202110833217.0A CN202110833217A CN113641552B CN 113641552 B CN113641552 B CN 113641552B CN 202110833217 A CN202110833217 A CN 202110833217A CN 113641552 B CN113641552 B CN 113641552B
- Authority
- CN
- China
- Prior art keywords
- monitoring
- instance
- acquisition
- data
- slave
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 387
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000013500 data storage Methods 0.000 claims abstract description 12
- 238000004590 computer program Methods 0.000 claims description 17
- 238000013480 data collection Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000036541 health Effects 0.000 claims description 4
- 230000014759 maintenance of location Effects 0.000 claims 1
- 230000015556 catabolic process Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 12
- 230000001360 synchronised effect Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
- G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请涉及监控数据采集横向扩展方法、系统、电子设备和存储介质，属于监控数据采集领域，该方法包括：在预设的监控实例初次采集数据完成后，根据每次采集点的数据量、采集间隔时间和数据保存时间，推算监控系统需要的内存空间；若监控系统可使用的内存空间小于需要的内存空间，则触发监控系统的横向扩展；预设的监控实例成为主监控实例，并衍生出若干个从监控实例，其中，从监控实例的数量基于需要的内存空间与可使用的内存空间的比对计算得到，且每个监控实例预留有预设阈值的缓冲空间；各采集点通过主监控实例和若干个从监控实例采集数据，能够解决因采集点很多导致监控系统崩溃，和因单个监控实例故障造成某段时间监控点的数据缺失的问题。
Description
技术领域
本申请涉及监控数据采集技术领域，特别是涉及监控数据采集横向扩展方法、系统、电子设备和存储介质。
背景技术
企业部署一套监控系统以收集被监控对象的数据时，随着采集点增加或者采集数据量增大，需要进行监控实例的扩展，比如通过纵向扩展可以增大监控实例的资源配额，但会受到部署服务器资源上限的限制，当监控数据或采集数据点特别多时，监控实例会占用大量资源，甚至突破监控实例所在服务器的资源上限，导致监控系统崩溃；所以，相关技术中通过横向扩展可以增加监控实例的个数，从而通过新增加的监控实例去采集新的采集点，但是，单个采集点只由一个监控实例负责，可能会由于单个监控实例故障造成某段时间监控点的数据缺失。
发明内容
本申请实施例提供了一种监控数据采集横向扩展方法、系统、电子设备和存储介质，以至少解决相关技术中当监控数据或采集数据点特别多时，突破监控实例所在服务器的资源上限，导致监控系统崩溃，以及单个采集点只由一个监控实例负责，可能会由于单个监控实例故障造成某段时间监控点的数据缺失的问题。
第一方面，本申请实施例提供了一种监控数据采集横向扩展方法，所述方法包括：在预设的监控实例初次采集数据完成后，根据每次采集点的数据量、采集间隔时间和数据保存时间，推算监控系统需要的内存空间；若所述监控系统可使用的内存空间小于所述需要的内存空间，则触发所述监控系统的横向扩展；所述预设的监控实例成为主监控实例，并衍生出若干个从监控实例，其中，所述从监控实例的数量基于所述需要的内存空间与所述可使用的内存空间的比对计算得到，且每个监控实例预留有预设阈值的缓冲空间；各采集点通过所述主监控实例和所述若干个从监控实例采集数据。
在其中一些实施例中，在所述预设的监控实例成为主监控实例，并衍生出若干个从监控实例之后，所述方法还包括：所述主监控实例和所述若干个从监控实例组成监控集群；各所述从监控实例初始化完成后向作为领导的所述主监控实例汇报就绪状态，并持续汇报健康状态。
在其中一些实施例中，在所述主监控实例和所述若干个从监控实例组成监控集群之后，所述方法还包括：若所述主监控实例无法正常工作，则所述监控集群选举出新的领导，且衍生出一个新的从监控实例来代替该无法正常工作的主监控实例以继续采集数据。
在其中一些实施例中，在所述主监控实例和所述若干个从监控实例组成监控集群之后，所述方法还包括：当所述监控集群接收到数据查询请求时，由所述主监控实例响应，且所述主监控实例查询各所述从监控实例中的数据后进行汇总，反馈汇总的数据。
在其中一些实施例中，在所述预设的监控实例成为主监控实例，并衍生出若干个从监控实例之后，所述方法还包括：所述主监控实例根据原采集间隔时间和监控实例总数量计算每个监控实例的现采集间隔时间，并将所有采集点的信息下发给各所述从监控实例；当所述主监控实例首次采集数据时，将采集开始时间广播同步给各所述从监控实例，以控制各所述从监控实例的采集开始时间，每个监控实例按所述现采集间隔时间采集数据。
在其中一些实施例中，控制各所述从监控实例的采集开始时间包括：以所述主监控实例的采集开始时间为基准，对各所述从监控实例以依次递增的方式配置采集开始时间，其中，递增的大小等于所述原采集间隔时间。
在其中一些实施例中，根据每次采集点的数据量、采集间隔时间和数据保存时间，推算监控系统需要的内存空间包括：
根据以下公式推算所述需要的内存空间：
S＝M*T/t
其中，S表示所述需要的内存空间，M表示所述每次采集点的数据量，T表示所述数据保存时间，t表示所述采集间隔时间。
第二方面，本申请实施例提供一种监控数据采集横向扩展的系统，所述系统包括：
推算模块，用于在预设的监控实例初次采集数据完成后，根据每次采集点的数据量、采集间隔时间和数据保存时间，推算监控系统需要的内存空间；
触发模块，用于若所述监控系统可使用的内存空间小于所述需要的内存空间，则触发所述监控系统的横向扩展；
衍生模块，用于所述预设的监控实例成为主监控实例，并衍生出若干个从监控实例，其中，所述从监控实例的数量基于所述需要的内存空间与所述可使用的内存空间的比对计算得到，且每个监控实例预留有预设阈值的缓冲空间；
采集模块，用于各采集点通过所述主监控实例和所述若干个从监控实例采集数据。
第三方面，本申请实施例提供一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项所述的方法。
第四方面，本申请实施例提供一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至7中任一项所述的方法。
相比于相关技术，通过本申请实施例的方法，实现了监控系统自动扩容，当采集点数据激增或新增采集点时，能够避免监控实例资源占用超过服务器限制资源上限；并且，由于各采集点通过主监控实例和若干个从监控实例采集数据，实现了单个采集点由多个监控实例负责，能够防止因单个监控实例故障导致数据缺失。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据相关技术的第一种监控数据采集横向扩展方法中监控实例与采集点的关系示意图；
图2是根据相关技术的第二种监控数据采集横向扩展方法中监控实例与采集点的关系示意图；
图3是根据本申请实施例的一种监控数据采集横向扩展方法的流程图；
图4是根据本申请实施例的一种监控数据采集横向扩展方法中监控实例与采集点的关系示意图；
图5是根据本申请实施例的一种监控数据采集横向扩展的系统的内部结构示意图；
图6是根据本申请实施例的电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
图1是根据相关技术的第一种监控数据采集横向扩展方法中监控实例与采集点的关系示意图，如图1所示，部署于服务器中的监控实例对采集点A、采集点B、采集点C每隔5s采集一次数据，当新增采集点时，也是由该监控实例对新增的采集点每隔5s采集一次数据，采用该方法的缺陷是，若监控数据或采集数据点激增时，监控实例会占用大量资源，甚至突破监控实例所在服务器的资源上限，从而导致监控系统崩溃。
图2是根据相关技术的第二种监控数据采集横向扩展方法中监控实例与采集点的关系示意图，如图2所示，部署于服务器中的监控实例A对采集点A、采集点B、采集点C每隔5s采集一次数据，当新增采集点时，增加新的监控实例B去采集新增的采集点，采用该方法的缺陷是，因单个采集点只由一个监控实例负责，可能会因单个监控实例故障造成某段时间某个监控点的数据缺失。
另外，对于单个监控实例来说，不断的增加采集点，会大大增加单个监控实例的采集压力。
因此，本申请实施例提出一种监控数据采集横向扩展方法，面对新增采集点或采集数据量大的时候，监控系统可以合理分配资源，并保证监控实例的高可用。需要说明的是，本申请实施例的方案在采集数据时，使用固定的时间频率获取采集点数据，并按照时间保存在本地存储中。
图3是根据本申请实施例的一种监控数据采集横向扩展方法的流程图，如图3所示，该方法包括以下步骤：
S101：在预设的监控实例初次采集数据完成后，根据每次采集点的数据量、采集间隔时间和数据保存时间，推算监控系统需要的内存空间；
S102：若监控系统可使用的内存空间小于需要的内存空间，则触发监控系统的横向扩展；
S103：预设的监控实例成为主监控实例，并衍生出若干个从监控实例，其中，该从监控实例的数量基于需要的内存空间与可使用的内存空间的比对计算得到，且每个监控实例预留有预设阈值的缓冲空间；
S104：各采集点通过主监控实例和若干个从监控实例采集数据。
通过上述方法，实现了监控系统自动扩容，当采集点数据激增或新增采集点时，能够避免监控实例资源占用超过服务器限制资源上限；并且，由于各采集点通过主监控实例和若干个从监控实例采集数据，实现了单个采集点由多个监控实例(包括主监控实例和若干个从监控实例)负责，能够防止因单个监控实例故障导致数据缺失。
作为一个示例，上述步骤S101中，在开始第一次采集完成后，监控系统会根据每次采集点的数据量、采集间隔时间和数据保存时间来推算出监控系统需要多少内存空间，其公式如下：
S＝M*T/t
其中，S表示需要的内存空间，M表示每次采集点的数据量，T表示数据保存时间，t表示采集间隔时间。
若监控系统可使用的内存空间大于需要的内存空间，则不需要扩展，否则就会触发监控系统的横向扩展。
作为一个示例，上述预设的监控实例是指最初的监控实例，触发横向扩展后，该最初的监控实例会默认成为主监控实例，负责衍生若干个从监控实例。例如，主监控实例根据需要的内存空间S与可使用的内存空间S’的比对计算需要衍生出几个从监控实例，根据S＝S’*N*(100％-X)，转换得到N＝S/[S’*(100％-X)]，其中N为监控实例的总数量，所以需要衍生出(N-1)个从监控实例，得出的实例数向上取整，且X为每个监控实例预留的缓冲空间，比如X取25％。
因此，主监控实例和(N-1)个从监控实例组成监控集群，主监控实例即为集群的领导(leader)，其他监控实例初始化完成后向主监控实例汇报就绪状态，并持续汇报健康状态。
进一步的，主监控实例根据原采集间隔时间和监控实例总数量计算每个监控实例的现采集间隔时间，并将所有采集点的信息下发给各从监控实例；当主监控实例首次采集数据时，将采集开始时间广播同步给各从监控实例，以控制各从监控实例的采集开始时间，每个监控实例按现采集间隔时间采集数据。
上述的“控制各从监控实例的采集开始时间”包括：以主监控实例的采集开始时间为基准，对各从监控实例以依次递增的方式配置采集开始时间，其中，递增的大小等于原采集间隔时间。
举例而言，主监控实例计算出集群中每个监控实例的采集间隔时间，具体公式为T2＝T1*N，其中T2为现采集间隔时间，T1为原采集间隔时间，N为监控实例的总数量。主监控实例将计算好的现采集间隔时间T2，以及所有采集点的信息依次下发到各个从监控实例上，每个从监控实例的时间都需要定期和主监控实例同步，当所有信息配置好后，主监控实例会最先开始采集，开始第一次采集时会把采集开始时间广播同步给各从监控实例，以此来控制从监控实例的采集开始时间。具体的，主监控实例可以根据各从监控实例汇报就绪状态的先后顺序配置采集开始时间，使从监控实例的现采集开始时间按照原采集间隔时间T1递增。
比如，最初的监控实例为一个，原采集间隔时间T1为5s，采集开始时间为0:00，所以会采集0:00，0:05，0:10，0:15，0:20……这些时间点的数据。在横向扩展后，该最初的监控实例默认为主监控实例，并衍生出一个从监控实例，此时N＝2，那么根据T2＝T1*N计算现采集间隔时间T2为10s，因此，主监控实例从0:00开始，每隔10s采集一次数据，所以会采集0:00，0:10，0:20……这些时间点的数据；该从监控实例的现采集间隔时间同样为10s，但是采集开始时间为0:05，所以会采集0:05，0:15，0:25……这些时间点的数据，因此，通过该主监控实例和从监控实例能够采集到0:00，0:05，0:10，0:15，0:20……这些时间点的数据，不仅能够保证采集的数据完整，而且，每个监控实例的采集间隔时间变大，降低了单个监控实例的数据采集压力。
进一步的，若主监控实例无法正常工作，则监控集群选举出新的领导来接替此前主监控实例的管理工作，并衍生出一个新的从监控实例来代替该无法正常工作的主监控实例以继续采集数据。
进一步的，当监控集群接收到数据查询请求时，由主监控实例响应，且主监控实例查询各从监控实例中的数据后进行汇总，反馈汇总的数据，由于每个监控实例采集的时间点都不相同，所以相对于未扩展前数据不会有降准以及缺失。
因此，本申请实施例的监控集群包含多个监控实例，各监控实例按照不同的采集开始时间和相同的采集间隔时间进行数据采集，保证与横向扩展前相比没有数据缺失，且避免了因单个监控实例故障导致数据数据缺失。
图4是根据本申请实施例的一种监控数据采集横向扩展方法中监控实例与采集点的关系示意图，如图4所示，部署于服务器A的监控实例A和部署于服务器B的监控实例B均对采集点A、采集点B、采集点C采集数据，其中，监控实例A的采集间隔时间为10s，采集开始时间为0:00；监控实例B的采集间隔时间为10s，采集开始时间为0:05，所以每个采集点由监控实例A和监控实例B采集数据，当新增采集点时，也是由监控实例A和监控实例B采集数据，因此，即使当监控实例A和监控实例B中的一个发生故障，也不会导致某一段时间某些被监控点的监控数据为空，需要说明的是，采集间隔时间相较于故障发生到故障修复的时间段来说是非常小的，而多个监控实例同时发生故障的概率也是非常小的。
综上，本申请实施例的监控数据采集横向扩展方法具有以下优点：
(1)将一个监控实例的任务分散到多个监控实例，并制定不同的采集开始时间，增加采集间隔时间，极大的减缓了单个监控实例的数据采集压力；
(2)将一个监控实例分散为多个监控实例，查询数据的时候可以聚合多个监控实例的数据，并没有因为增加采集间隔时间而造成数据缺失；
(3)即便其中一个监控实例不能工作，还有另外其他监控实例可以覆盖到所有采集点，不会造成某一段时间某些被监控点的监控数据为空；
(4)提高了监控实例部署的灵活性，不再受制于服务器的资源规格，可以灵活部署到多个服务器上，且监控实例的资源使用上限下降；
(5)企业可以选择多个低规格服务器部署，而不是选用单个很高服务器规格，灵活选择部署方案，为企业节省成本并保证可靠性；
(6)兼顾了高可用和减缓单个监控实例采集压力的优点。
本申请实施例还提供一种监控数据采集横向扩展的系统，图5是根据本申请实施例的一种监控数据采集横向扩展的系统的内部结构示意图，如图5所示，该系统包括：
推算模块1，用于在预设的监控实例初次采集数据完成后，根据每次采集点的数据量、采集间隔时间和数据保存时间，推算监控系统需要的内存空间；
触发模块2，用于若监控系统可使用的内存空间小于需要的内存空间，则触发监控系统的横向扩展；
衍生模块3，用于预设的监控实例成为主监控实例，并衍生出若干个从监控实例，其中，从监控实例的数量基于需要的内存空间与可使用的内存空间的比对计算得到，且每个监控实例预留有预设阈值的缓冲空间；
采集模块4，用于各采集点通过主监控实例和若干个从监控实例采集数据。
进一步的，在衍生模块3中，主监控实例和若干个从监控实例组成监控集群，且各从监控实例初始化完成后向作为领导的主监控实例汇报就绪状态，并持续汇报健康状态。若主监控实例无法正常工作，则监控集群选举出新的领导，且衍生出一个新的从监控实例来代替该无法正常工作的主监控实例以继续采集数据。当监控集群接收到数据查询请求时，由主监控实例响应，且主监控实例查询各从监控实例中的数据后进行汇总，反馈汇总的数据。
进一步的，主监控实例根据原采集间隔时间和监控实例总数量计算每个监控实例的现采集间隔时间，并将所有采集点的信息下发配置给各从监控实例；当主监控实例首次采集数据时，将采集开始时间广播同步给各从监控实例，以控制各从监控实例的采集开始时间，每个监控实例按现采集间隔时间采集数据。
上述的“控制各从监控实例的采集开始时间”包括：以主监控实例的采集开始时间为基准，对各从监控实例以依次递增的方式配置采集开始时间，其中，递增的大小等于原采集间隔时间。
在本申请实施例的监控数据采集横向扩展的系统中，可以将一个监控实例横向扩展为N(N＞1)个；将采集间隔时间增大到原来的N倍，减小了单个监控实例的采集压力；为每个监控实例配置不同的采集开始时间，从监控实例的采集开始时间以主监控实例的采集开始时间为基准，各从监控实例的采集开始时间依次增加，增加的大小为原采集时间间隔；横向扩展出来的监控实例可以部署在单个服务器，也可以灵活的部署在多个服务器上，而不必受到服务器规格上限的约束；获取数据时，只需要将多个监控实例中的数据汇总即可，因为各监控实例的采集开始时间不一样，而采集间隔时间一样，所以与扩展前的单个监控实例的数据采集频率是一样的；既能保证系统的高可用以及稳定性，也能保证数据的完整性。
所以，根据上述监控数据采集横向扩展的系统，实现了监控系统动态扩容以及动态配置，当采集点数据激增或新增采集点时，能够避免监控实例资源占用超过部署服务器限制资源上限；能够避免单个监控实例故障导致采集点的数据缺失；能够减缓单个监控实例的采集压力。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
另外，结合上述实施例中的监控数据采集横向扩展方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种监控数据采集横向扩展方法。
本申请的一个实施例中还提供了一种电子设备，该电子设备可以是终端。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种监控数据采集横向扩展方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
在一个实施例中，图6是根据本申请实施例的电子设备的内部结构示意图，如图6所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图6所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器，其中，该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力，网络接口用于与外部的终端通过网络连接通信，内存储器用于为操作系统和计算机程序的运行提供环境，计算机程序被处理器执行时以实现一种监控数据采集横向扩展方法，数据库用于存储数据。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (8)
1.一种监控数据采集横向扩展方法，其特征在于，所述方法包括：
在预设的监控实例初次采集数据完成后，根据每次采集点的数据量、采集间隔时间和数据保存时间，推算监控系统需要的内存空间；
若所述监控系统可使用的内存空间小于所述需要的内存空间，则触发所述监控系统的横向扩展；
所述预设的监控实例成为主监控实例，并衍生出若干个从监控实例，其中，所述从监控实例和所述主监控实例部署在不同的服务器上；所述从监控实例的数量基于所述需要的内存空间与所述可使用的内存空间的比对计算得到，且每个监控实例预留有预设阈值的缓冲空间；
各采集点通过所述主监控实例和所述若干个从监控实例采集数据；
其中，
在所述预设的监控实例成为主监控实例，并衍生出若干个从监控实例之后，所述方法还包括：
所述主监控实例根据原采集间隔时间和监控实例总数量计算每个监控实例的现采集间隔时间，并将所有采集点的信息下发给各所述从监控实例；当所述主监控实例首次采集数据时，将采集开始时间广播同步给各所述从监控实例，以控制各所述从监控实例的采集开始时间，每个监控实例按所述现采集间隔时间采集数据；
控制各所述从监控实例的采集开始时间包括：
以所述主监控实例的采集开始时间为基准，对各所述从监控实例以依次递增的方式配置采集开始时间，其中，递增的大小等于所述原采集间隔时间。
2.根据权利要求1所述的方法，其特征在于，在所述预设的监控实例成为主监控实例，并衍生出若干个从监控实例之后，所述方法还包括：
所述主监控实例和所述若干个从监控实例组成监控集群；
各所述从监控实例初始化完成后向作为领导的所述主监控实例汇报就绪状态，并持续汇报健康状态。
3.根据权利要求2所述的方法，其特征在于，在所述主监控实例和所述若干个从监控实例组成监控集群之后，所述方法还包括：
若所述主监控实例无法正常工作，则所述监控集群选举出新的领导，且衍生出一个新的从监控实例来代替该无法正常工作的主监控实例以继续采集数据。
4.根据权利要求2所述的方法，其特征在于，在所述主监控实例和所述若干个从监控实例组成监控集群之后，所述方法还包括：
当所述监控集群接收到数据查询请求时，由所述主监控实例响应，且所述主监控实例查询各所述从监控实例中的数据后进行汇总，反馈汇总的数据。
5.根据权利要求1所述的方法，其特征在于，根据每次采集点的数据量、采集间隔时间和数据保存时间，推算监控系统需要的内存空间包括：
根据以下公式推算所述需要的内存空间：
S=M*T/t
其中，S表示所述需要的内存空间，M表示所述每次采集点的数据量，T表示所述数据保存时间，t表示所述采集间隔时间。
6.一种监控数据采集横向扩展的系统，其特征在于，所述系统包括：
推算模块，用于在预设的监控实例初次采集数据完成后，根据每次采集点的数据量、采集间隔时间和数据保存时间，推算监控系统需要的内存空间；
触发模块，用于若所述监控系统可使用的内存空间小于所述需要的内存空间，则触发所述监控系统的横向扩展；
衍生模块，用于所述预设的监控实例成为主监控实例，并衍生出若干个从监控实例，其中，所述从监控实例和所述主监控实例部署在不同的服务器上；所述从监控实例的数量基于所述需要的内存空间与所述可使用的内存空间的比对计算得到，且每个监控实例预留有预设阈值的缓冲空间；
采集模块，用于各采集点通过所述主监控实例和所述若干个从监控实例采集数据；
其中，
在所述预设的监控实例成为主监控实例，并衍生出若干个从监控实例之后，包括：所述主监控实例根据原采集间隔时间和监控实例总数量计算每个监控实例的现采集间隔时间，并将所有采集点的信息下发给各所述从监控实例；当所述主监控实例首次采集数据时，将采集开始时间广播同步给各所述从监控实例，以控制各所述从监控实例的采集开始时间，每个监控实例按所述现采集间隔时间采集数据；
控制各所述从监控实例的采集开始时间包括：以所述主监控实例的采集开始时间为基准，对各所述从监控实例以依次递增的方式配置采集开始时间，其中，递增的大小等于所述原采集间隔时间。
7.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至5中任一项所述的方法。
8.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110833217.0A CN113641552B (zh) | 2021-07-22 | 2021-07-22 | 监控数据采集横向扩展方法、系统、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110833217.0A CN113641552B (zh) | 2021-07-22 | 2021-07-22 | 监控数据采集横向扩展方法、系统、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113641552A CN113641552A (zh) | 2021-11-12 |
| CN113641552B true CN113641552B (zh) | 2023-12-05 |
Family
ID=78418156
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110833217.0A Active CN113641552B (zh) | 2021-07-22 | 2021-07-22 | 监控数据采集横向扩展方法、系统、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113641552B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107357915A (zh) * | 2017-07-19 | 2017-11-17 | 郑州云海信息技术有限公司 | 一种数据存储方法及系统 |
| CN107608796A (zh) * | 2017-09-29 | 2018-01-19 | 武汉斗鱼网络科技有限公司 | 存储资源管控方法、存储资源管控装置及处理器 |
| CN109067862A (zh) * | 2018-07-23 | 2018-12-21 | 北京邮电大学 | API Gateway自动伸缩的方法与装置 |
| CN109491975A (zh) * | 2018-11-08 | 2019-03-19 | 江苏曲速教育科技有限公司 | 分布式缓存系统 |
| CN110019503A (zh) * | 2017-09-01 | 2019-07-16 | 北京京东尚科信息技术有限公司 | Redis集群的扩容和/或缩容的方法及装置 |
| CN110096336A (zh) * | 2019-04-29 | 2019-08-06 | 江苏满运软件科技有限公司 | 数据监控方法、装置、设备和介质 |
| CN110247818A (zh) * | 2019-05-21 | 2019-09-17 | 中国平安财产保险股份有限公司 | 一种数据监控方法、装置、存储介质和服务器 |
| CN110583005A (zh) * | 2017-05-02 | 2019-12-17 | 纳木技术株式会社 | 云平台系统 |
| CN112751726A (zh) * | 2020-12-17 | 2021-05-04 | 北京达佳互联信息技术有限公司 | 一种数据处理方法、装置、电子设备和存储介质 |
| CN112994935A (zh) * | 2021-02-04 | 2021-06-18 | 烽火通信科技股份有限公司 | prometheus管控方法、装置、设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9251481B2 (en) * | 2011-06-13 | 2016-02-02 | Accenture Global Services Limited | Distributed metering and monitoring system |
-
2021
- 2021-07-22 CN CN202110833217.0A patent/CN113641552B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110583005A (zh) * | 2017-05-02 | 2019-12-17 | 纳木技术株式会社 | 云平台系统 |
| CN107357915A (zh) * | 2017-07-19 | 2017-11-17 | 郑州云海信息技术有限公司 | 一种数据存储方法及系统 |
| CN110019503A (zh) * | 2017-09-01 | 2019-07-16 | 北京京东尚科信息技术有限公司 | Redis集群的扩容和/或缩容的方法及装置 |
| CN107608796A (zh) * | 2017-09-29 | 2018-01-19 | 武汉斗鱼网络科技有限公司 | 存储资源管控方法、存储资源管控装置及处理器 |
| CN109067862A (zh) * | 2018-07-23 | 2018-12-21 | 北京邮电大学 | API Gateway自动伸缩的方法与装置 |
| CN109491975A (zh) * | 2018-11-08 | 2019-03-19 | 江苏曲速教育科技有限公司 | 分布式缓存系统 |
| CN110096336A (zh) * | 2019-04-29 | 2019-08-06 | 江苏满运软件科技有限公司 | 数据监控方法、装置、设备和介质 |
| CN110247818A (zh) * | 2019-05-21 | 2019-09-17 | 中国平安财产保险股份有限公司 | 一种数据监控方法、装置、存储介质和服务器 |
| CN112751726A (zh) * | 2020-12-17 | 2021-05-04 | 北京达佳互联信息技术有限公司 | 一种数据处理方法、装置、电子设备和存储介质 |
| CN112994935A (zh) * | 2021-02-04 | 2021-06-18 | 烽火通信科技股份有限公司 | prometheus管控方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113641552A (zh) | 2021-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108633311B (zh) | 一种基于调用链的并发控制的方法、装置及控制节点 | |
| CN108322533A (zh) | 基于操作日志的分布式集群节点间配置同步方法 | |
| CN112597202B (zh) | 数据查询方法、装置、计算机设备和存储介质 | |
| CN111049928B (zh) | 数据同步方法、系统、电子设备及计算机可读存储介质 | |
| CN111399764B (zh) | 数据存储方法、读取方法、装置、设备及存储介质 | |
| CN110825698B (zh) | 元数据管理方法及相关装置 | |
| CN110213326B (zh) | 元数据节点集群的扩容方法、系统、设备和存储介质 | |
| CN112948064B (zh) | 一种数据读取方法、装置及数据读取系统 | |
| CN113515531A (zh) | 数据访问方法、装置、客户端及存储介质 | |
| CN112631764A (zh) | 任务调度方法、装置、计算机设备和计算机可读介质 | |
| CN109241182B (zh) | 大数据实时同步方法、装置、计算机设备及存储介质 | |
| CN113918647A (zh) | 分布式数据库弹性伸缩方法、装置、设备和存储介质 | |
| CN115756955A (zh) | 一种数据备份、数据恢复的方法、装置及计算机设备 | |
| CN113886058A (zh) | 一种跨集群资源调度方法和装置 | |
| CN113641552B (zh) | 监控数据采集横向扩展方法、系统、电子设备和存储介质 | |
| CN109547253B (zh) | 文件下载方法、装置、计算机设备和存储介质 | |
| CN115733737B (zh) | 一种管理ip漂移方法和存储机框 | |
| CN110825732A (zh) | 数据查询方法、装置、计算机设备和可读存储介质 | |
| CN103685359B (zh) | 数据处理方法及装置 | |
| CN113590643B (zh) | 基于双轨数据库的数据同步方法、装置、设备和存储介质 | |
| CN112559445B (zh) | 数据写入方法及装置 | |
| CN110650059B (zh) | 故障群集检测方法、装置、计算机设备和存储介质 | |
| CN109525675B (zh) | 北向服务器文件下载方法、装置、计算机设备和存储介质 | |
| CN114172903A (zh) | slurm调度系统的节点扩容方法、装置、设备和介质 | |
| CN109254997B (zh) | 数据同步方法、系统、计算机设备和可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220805 Address after: 100094 Room 502, floor 5, building 16, East District, yard 10, northwest Wangdong Road, Haidian District, Beijing Applicant after: Softcom power information technology (Group) Co.,Ltd. Address before: 311100 Room 802, building 12, 1818-2, Wenyi West Road, Yuhang street, Yuhang District, Hangzhou City, Zhejiang Province Applicant before: HANGZHOU LANGCHE TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220831 Address after: 518000 floor 2-24, building a, Zhongshe Plaza, No.1028, Buji Road, Dongxiao street, Luohu District, Shenzhen City, Guangdong Province Applicant after: Shenzhen Softcom Power Information Technology Co.,Ltd. Address before: 100094 Room 502, floor 5, building 16, East District, yard 10, northwest Wangdong Road, Haidian District, Beijing Applicant before: Softcom power information technology (Group) Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240811 Address after: Unit 1625, North Building 1, No. 195 Linlin Middle Road, Huangpu District, Guangzhou City, Guangdong Province 510000 Patentee after: Softtek Intelligent Computing Technology (Guangdong) Group Co.,Ltd. Country or region after: China Address before: 518000 floor 2-24, building a, Zhongshe Plaza, No.1028, Buji Road, Dongxiao street, Luohu District, Shenzhen City, Guangdong Province Patentee before: Shenzhen Softcom Power Information Technology Co.,Ltd. Country or region before: China |