CN111563018A - 一种人机物融合云计算平台的资源管理和监控方法 - Google Patents

一种人机物融合云计算平台的资源管理和监控方法 Download PDF

Info

Publication number
CN111563018A
CN111563018A CN202010348414.9A CN202010348414A CN111563018A CN 111563018 A CN111563018 A CN 111563018A CN 202010348414 A CN202010348414 A CN 202010348414A CN 111563018 A CN111563018 A CN 111563018A
Authority
CN
China
Prior art keywords
module
equipment
data
monitoring
resource management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010348414.9A
Other languages
English (en)
Other versions
CN111563018B (zh
Inventor
沃天宇
王旭
王畅
严灏
刘旭东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202010348414.9A priority Critical patent/CN111563018B/zh
Publication of CN111563018A publication Critical patent/CN111563018A/zh
Application granted granted Critical
Publication of CN111563018B publication Critical patent/CN111563018B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明的一种云计算平台的资源管理和监控方法，通过监控模块和资源管理模块两部分构成系统的基本架构，在资源管理模块内设置节点管理和设备管理两个模块，以及用于存储数据的数据存储模块；在监控模块内设置可视化模块和事件报警模块。通过这样的系统架构以及各个模块之间的功能设置，实现将资源监控手段从人机物三元融合的角度进行拓展和使云网端软硬件及数据和服务资源动态可协同的功能，进而从人机物三元融合的角度出发，将主流的面对数据中心单一资源的云服务平台支撑技术，扩展到跨云网端的资源管理层面，实现对资源的管理和监控。

Description

一种人机物融合云计算平台的资源管理和监控方法
技术领域
本发明涉及云计算领域，尤其涉及一种云计算平台的资源管理和监控方法。
背景技术
传统的云网端资源管理大多通过资源池化的技术，服务器、容器等资源被整合到虚拟资源池中，用户可以向管理节点提交资源请求，云系统根据资源池中可用的云计算资源对用户的请求分配资源，并根据请求的变化，动态调整资源分配以最大化资源利用率；并且通过数据采集节点采集云网端资源和设备的状态信息来，通过提取出资源的特征信息对云网端资源进行性能分析和故障诊断。
近年来的技术以Brog为代表，Brog可以管理长期运行的服务和短时间运行的批处理任务。随着越来越多的应用部署，各种异构的应用对基础设施平台提出了新的要求。Google在Brog的基础上开发了Omega系统，它将集群的状态信息保存在一个基于paxos算法控制的去中心化的数据库中，系统的各个模块都可以来访问这个中心化的数据存储。当有冲突发生时，Omega使用乐观并发锁来协调冲突。现在的资源管理技术以Google的kubernetes为代表，面向容器云时代的开发者，用户只需要编写能够在集群中运行的基于容器的应用程序。容器封装了应用程序所依赖的程序开发环境，提高了应用程序部署和管理的效率。管理任务的单元也从机器迁移到了容器，容器管理系统还可以提供基于应用程序级别的日志监控和性能诊断。
由于现有的资源管理的方法大多对存储，计算资源进行管理，无法从人机物三元融合的角度进行拓展，难以支撑人机物应用对资源的需求，面对云网端软硬件及数据和服务资源动态可协同，云网端软硬件及数据和服务多维可编程等问题。因此，需要从人机物三元融合的角度出发，将主流的面对数据中心单一资源的云服务平台支撑技术，扩展到跨云网端的资源管理。
发明内容
本发明从人机物三元融合的角度出发，将主流的面对数据中心单一资源的云服务平台支撑技术，扩展到跨云网端的资源管理，提出一种人机物融合云计算平台的资源管理和监控方法，解决人机物融合场景下，云网端资源融合管理、统一监控的需求，用以支撑人机物融合场景的新型应用。
为达到上述目的，本发明采用了下列技术方案：
一种人机物融合云计算平台的资源管理和监控方法，所述计算平台包括监控模块和资源管理模块两部分；所述资源管理模块根据人机物应用融合特性，将人机物应用的混合资源的资源管理分为节点管理和设备管理两个模块，以及用于存储数据的数据存储模块；所述监控模块设置可视化模块和事件报警模块；
所述设备管理模块将智能家居设备建模为设备和传感器两种模型，并设置设备控制模块、设备发现模块、数据上传模块和设备识别模块，且设置进行数据收集预处理，流量均衡的机制；
具体地，所述设备发现模块中设置设备注册模块、监控程序和服务监听程序；外部智能设备使用设备注册协议广播自身信息，然后所述服务监听程序侦听、接受广播信息，收到请求入网的设备信息后，使用设备注册协议通知设备注册入网的相关信息，并启动所述监控程序加载其驱动程序，实现与外部设备系统的交互；
所述设备识别模块根据不同的类型标记方式设定不同的前缀表示，根据设备的数量进行不同的后缀表示，从而实现异构，异态设备的范在接入；
所述设备控制模块设置监控程序，对设备进行监控；当设备的特定状态出现时，所述设备管理模块调用所述监控模块中的所述时间报警模块的特定的任务来报警或提醒用户，并在所述监控模块的所述可视化模块的界面出现相应的事件提示；所述设备控制模块内设置监控子模块，用于接受服务器发来的指令，通过驱动程序控制设备；同时接受设备传来的状态数据，并上传到数据存储模块中；
所述数据上传模块可以将获取的设备的时序数据上传到数据存储模块中，进行后续分析，挖掘等操作；
其中，所述节点管理模块采用服务器/客户端架构，设置为主机代理模块、数据收集模块、数据存储模块三部分，并包括应用现有常见容器技术的容器部署和数据上传机制；主机代理模块与数据收集模块之间建立http长连接，同时，主机代理模块提供一个proxy-gateway功能，可以通过http接口实现高效数据转发；所述，数据收集模块中定义了灵活的数据模型，支持timestamp、hostname、endpoint、metric结构，添加报警策略时候可以从多个维度进行；所述节点管理模块还具有容器管理功能，支持镜像拉取，容器编排，镜像查找，镜像推送等操作；
具体地，所述主机代理模块用C++语言编写，并支持在X86，ARM等架构下部署，所述节点管理模块从dockerstat命令,dockereventAPI,proc文件系统,系统日志等系统来源来获取时间序列的数据；
所述设备管理模块和节点管理模块采集的信息存储在数据库中，通过所述监控模块内设的所述可视化模块可以查询相应的信息，进行可视化展示，用户在可视化页面可以观察相关的数据来进行性能分析和故障诊断，所述数据存储模块将数据按用途分为两类:一类是用来做数据挖掘的，一类用来绘图的；在数据存入时自动进行采样、归档；数据归档时，按照平均值采样、最大值采样、最小值采样存三份，会将数据存储入可配置的数据存储模块，并支持openTSDB，influxDB等数据存储；
所述监控模块的对象分为三个：服务器，容器和智能设备，根据hostname，timestamp等多个维度设置聚合规则，然后获取云平台或者集群的情况，并提供统一的绘图数据查询入口，根据分片算法去相应的实例查询不同维度的数据，然后汇总拿到的数据，最后统一返回给用户。
所述设备发现模块中的设备注册模块对Zigbee，WiFi，蓝牙等多种协议适配。
所述设备发现模块的所述设备注册模块与外部设备系统各自保存入网相关信息，下次重启系统时，使用入网信息直接组网；
所述设备识别模块支持MAC地址,IMEI和MEID,SERIAL,ANDROID_ID,UUID等多种设备标记方式。
所述设备识别模块中的监控程序设置有多个，针对每个接入的设备启用不同的监控程序。
所述监控子模块提供统一的通信接口，支持HTTP，MQTT，websocket，XMPP，COAP等通信方式；可以使用统一的监控协议来监控设备。
所述传感器设备通过网关代理与外界通信，智能设备可以直接与外界通信，所述设备控制模块作为通信适配层与设备进行通信，所述设备管理模块支持RESTfulAPI,RPC等方式获取设备数据。
所述设备的模型信息关键词为：
Figure BDA0002471070610000031
Figure BDA0002471070610000041
所述传感器的模型的关键词为：
Figure BDA0002471070610000042
所述节点管理模块该可以被打包成docker镜像，便于部署和管理，所述节点管理模块的数据收集模块可以根据timestamp和hostname两个维度来查看某时间内某个主机的使用情况，所述数据收集模块接受主机代理模块上传的数据后，会做一些数据规整，如：将数据按时间或机器等维度进行分类，将数据统一存储为json格式；按照设定的时间片为粒度，按照可配置的数据分布算法，将数据分片后上传到后台的存储服务中去；所述节点管理模块可以获取上层传来的部署文件，根据部署文件进行容器编排，支持yaml，json等多种文件格式；该模块还集成了私有的镜像仓库，可加速镜像操作。
所述节点管理模块的性能指标包括：
Figure BDA0002471070610000043
Figure BDA0002471070610000051
所述节点管理模块采集的服务器信息包括：
各字段名称 表内各字段含义
id 服务器ID
name 服务器名称
dataCenter 所在数据中心
IP 服务器IP地址
cpuMem 服务器CPU个数
cpuUsage CPU使用率
diskIORead 磁盘每秒的读次量
diskIOWrite 磁盘每秒的写次量
diskUsed 磁盘使用率
diskAvailable 磁盘可用容量
memoryUsed 内存使用率
memoryAvailable 内存可用容量
networkUploadRate 网络上传速度
networkDownloadRate 网络下载速度
time 当前系统时间
所述节点管理模块采集的容器信息包括：
表内各字段名称 表内各字段含义
id 所在服务器ID
name 所在服务器名称
dockerId 容器ID
cpuUsage CPU使用率
cpuMem 服务器CPU个数
memUsage 内存使用率
memoryUsed 内存已用容量
memoryAvailable 内存可用容量
diskAvailable 磁盘可用容量
diskIORead 磁盘读数据量
diskIOWrite 磁盘写数据量
networkIORead 网卡读数据量
networkIOWrite 网卡写数据量
time 当前系统时间
所述可视化模块中，用户可以定制dashboard，支持曲线图，文本，热力图等形式，展现多维度数据。此外，系统设定了专门的报警模块。用户可以在主机代理上配置报警规则，当触发报警规则后，报警模块会收到这些报警信息。聚合报警信息后，通过email、PagerDuty、HipChat、Slack等方式发送消息提示。
本发明相对于现有技术的优点在于：
将资源监控手段从人机物三元融合的角度进行拓展，使云网端软硬件及数据和服务资源动态可协同，云网端软硬件及数据和服务多维可编程，从人机物三元融合的角度出发，将主流的面对数据中心单一资源的云服务平台支撑技术，扩展到了跨云网端的资源管理。
附图说明
图1资源管理和监控的流程图；
具体实施方式
总体方案：
针对现有技术存在的缺点，本发明提出了一种云网端资源融合管理的技术方案。根据人机物应用融合特性，将人机物应用的混合资源资源管理分为节点管理和设备管理两个模块，节点管理模块可以采集服务器和容器的状态信息，并且具有容器部署和数据上传的功能，容器技术作为一种虚拟化技术，方便开发者部署、移植应用,节点管理模块可以管理docker,linuxLXC等常见的容器；设备管理模块可以将各种智能家居设备建模为设备和传感器两种，该模块还具有设备发现，数据上传的功能，能够进行数据收集预处理，流量均衡等操作。
如图1所示资源管理和监控的流程图：设备管理模块和节点管理模块可以采集云网端资源的信息，并且具有设备管理，应用部署，容器管理等功能；设备管理模块和节点管理模块采集的信息存储在数据库中，可视化模块可以查询相应的信息，进行可视化展示。用户在可视化页面可以观察相关的数据来进行性能分析和故障诊断。
设备管理
目前的智能设备系统架构有两种：一种是采用点对点的通信方式，另一种是设备访问厂商提供的云服务来连接智能家居系统。这两种架构中，移动应用程序只能访问自家设备系统。为了解决设备管理模块能兼容不同厂商设备的难题，设备管理模块提供了通用的解决方案。
在设备发现模块中，智能设备使用设备注册协议广播自身信息，这里设备注册模块对多种协议做了适配，支持Zigbee，WiFi，蓝牙等；然后服务监听程序侦听、接受广播信息，收到请求入网的设备信息后，使用设备注册协议通知设备注册入网的相关信息，并启动监控程序加载其驱动程序后，实现与设备系统的交互。入网成功后，设备管理模块与设备系统各自保存入网相关信息，下次重启系统时，使用入网信息直接组网，无需重新组网。
设备识别模块中，这里针对智能设备的特殊性，支持MAC地址,IMEI和MEID,SERIAL,ANDROID_ID,UUID等多种设备标记方式，设备识别模块会根据不同的标记方式设定不同的前缀表示，根据设备的数量进行不同的后缀表示，从而实现异构，异态设备的范在接入。同时，设备控制模块负责启动不同的独立设备的监控程序，不同的设备需要启动不同的监控程序；当特定设备的特定状态出现时，设备管理模块调用特定的任务来报警或提醒用户，实现不同设备的联动，此时可视化界面也会出现相应的事件提示。监控子模块接受服务器发来的指令，通过驱动程序控制设备；同时接受设备传来的状态数据，并上传到数据存储服务中，监控子模块提供了统一的通信接口，支持HTTP，MQTT，websocket，XMPP，COAP等多种通信方式；可以使用统一的监控协议来监控设备。传感器设备通过网关代理与外界通信，而一些智能设备可以直接与外界通信，设备控制模块实现了一个通信适配层，外界可以通过编写通信层的接口来与设备进行通信。
在实现智能设备的接入，识别，监控后，用户可以获取智能设备的状态数据，数据上传模块可以将获取的设备的时序数据上传到数据存储服务中，进行后续分析，挖掘等操作。设备管理模块也支持RESTfulAPI,RPC等方式获取设备数据。这里，对用户获取的设备数据进行了统一建模，将设备的数据分为智能家居设备和传感器两类。基于统一的设备接入，通信，监控和数据发布协议，只需编写一个符合接口要求的设备驱动程序，添加通信协议转换代码，就可纳入该设备管理模块下。
智能家居设备(Device)获取的信息有：
Figure BDA0002471070610000071
Figure BDA0002471070610000081
智能家居传感器(Sensor)获取的信息有：
Figure BDA0002471070610000082
节点管理
节点管理模块采用的是服务器/客户端架构，宿主机上安装的agent相当于客户端。节点管理模块从功能上分为三部分：主机代理，数据收集，数据存储。主机代理模块用C++语言编写，支持X86，ARM等架构下部署，该模块会从各种系统来源(dockerstat命令,dockereventAPI,proc文件系统,系统日志等)来获取时间序列的数据。
这些性能指标分为几类：
Figure BDA0002471070610000083
Figure BDA0002471070610000091
采集的服务器信息及其描述如下表所示：
Figure BDA0002471070610000092
Figure BDA0002471070610000101
采集的容器信息及其描述如下表所示：
表内各字段名称 表内各字段含义
id 所在服务器ID
name 所在服务器名称
dockerId 容器ID
cpuUsage CPU使用率
cpuMem 服务器CPU个数
memUsage 内存使用率
memoryUsed 内存已用容量
memoryAvailable 内存可用容量
diskAvailable 磁盘可用容量
diskIORead 磁盘读数据量
diskIOWrite 磁盘写数据量
networkIORead 网卡读数据量
networkIOWrite 网卡写数据量
time 当前系统时间
该模块也可以被打包成docker镜像，便于部署和管理。部署agent后，主机代理模块就会采集各种指标，主动上报，用户不需再做任何配置。主机代理模块与数据收集模块之间建立了http长连接，数据转发速度较快。同时，主机代理模块也提供了一个proxy-gateway功能，可以通过http接口实现高效数据转发。虽然单个主机上的数据有一定用途，监控界面会需要所有主机和应用程序的统一视图。因此，数据收集模块中定义了灵活的数据模型，支持timestamp、hostname、endpoint、metric等结构，添加报警策略时候可以从多个维度进行。比如：可以根据timestamp和hostname两个维度来查看某时间内某个主机的使用情况。数据收集模块接受主机代理模块上传的数据后，会做一些数据规整，如：将数据按时间或机器等维度进行分类，将数据统一存储为json格式；按照设定的时间片为粒度，按照可配置的数据分布算法，将数据分片后上传到后台的存储服务中去。节点管理模块还具有容器管理功能，支持镜像拉取，容器编排，镜像查找，镜像推送等操作。该模块可以获取上层传来的部署文件，根据部署文件进行容器编排，支持yaml，json等多种文件格式；该模块还集成了私有的镜像仓库，可加速镜像操作。
数据存储
在设备管理和节点管理模块，可以采集相应的数据，比如：服务器的磁盘读写，内存使用情况，智能设备能否被探测到，设备的状态等。而这些信息可以表示设备的状态信息，通过将这些状态信息存入数据存储服务中。在监控系统中，采集的数据量大，不存在业务低峰；一般的系统都是读多写少，可以使用各种缓存技术，而监控系统中写操作远远高于读操作；用户经常会有查询几十个指标，在过去一段时间内的数据。基于以上的问题，数据存储模块将数据按用途分为两类:一类是用来做数据挖掘的，一类用来绘图的。在数据存入时候，会自动进行采样、归档。数据归档时，会按照平均值采样、最大值采样、最小值采样存三份，会将数据存储入可配置的数据存储模块，支持openTSDB，influxDB等数据存储。
监控模块
在监控部分，可以分为三个模块：服务器，容器和智能设备；该模块支持数据聚合，查询，可视化等多种操作。由于单个容器或者服务器无法反应整个容器云平台或者集群的情况，可以根据hostname，timestamp等多个维度设置聚合规则，然后获取云平台或者集群的情况。当用户有查询需求时，查询模块提供统一的绘图数据查询入口。该模块接收查询请求，根据分片算法去相应的实例查询不同维度的数据，然后汇总拿到的数据，最后统一返回给用户。在可视化模块中，用户可以定制dashboard，支持曲线图，文本，热力图等形式，展现多维度数据。此外，系统设定了专门的报警模块。用户可以在主机代理上配置报警规则，当触发报警规则后，报警模块会收到这些报警信息。聚合报警信息后，通过email、PagerDuty、HipChat、Slack等方式发送消息提示。
在可视化层中，实现了一个统一的监控协议。根据云网端资源的特性，将监控对象分为:服务器，容器，智能设备三类。只需要一个统一的客户端应用，使用统一的监控通信协议与服务器交互，发送控制指令或获取设备状态指令，服务器再把监控请求过滤后转发给不同的监控程序；监控程序提供了完整的事件监听机制，当特定设备的特定状态出现时，会调用特定的任务来向报警模块发送消息或数据，报警模块中注册了相应的事件，触发事件后可视化界面会出现提示。

Claims (9)

1.一种人机物融合云计算平台的资源管理和监控方法，其特征在于：所述计算平台包括监控模块和资源管理模块两部分；所述资源管理模块根据人机物应用融合特性，将人机物应用的混合资源的资源管理分为节点管理和设备管理两个模块，以及用于存储数据的数据存储模块；所述监控模块设置可视化模块和事件报警模块；
所述设备管理模块将智能家居设备建模为设备和传感器两种模型，并设置设备控制模块、设备发现模块、数据上传模块和设备识别模块，且设置进行数据收集预处理，流量均衡的机制；
具体地，所述设备发现模块中设置设备注册模块、监控程序和服务监听程序；外部智能设备使用设备注册协议广播自身信息，然后所述服务监听程序侦听、接受广播信息，收到请求入网的设备信息后，使用设备注册协议通知设备注册入网的相关信息，并启动所述监控程序加载其驱动程序，实现与外部设备系统的交互；
所述设备识别模块根据不同的类型标记方式设定不同的前缀表示，根据设备的数量进行不同的后缀表示，从而实现异构，异态设备的范在接入；
所述设备控制模块设置监控程序，对设备进行监控；当设备的特定状态出现时，所述设备管理模块调用所述监控模块中的所述时间报警模块的特定的任务来报警或提醒用户，并在所述监控模块的所述可视化模块的界面出现相应的事件提示；所述设备控制模块内设置监控子模块，用于接受服务器发来的指令，通过驱动程序控制设备；同时接受设备传来的状态数据，并上传到数据存储服务中；
所述数据上传模块可以将获取的设备的时序数据上传到数据存储服务中，进行后续分析，挖掘等操作；
其中，所述节点管理模块采用服务器/客户端架构，设置为主机代理模块、数据收集模块、数据存储模块三部分，并包括应用现有常见容器技术的容器部署和数据上传机制；主机代理模块与数据收集模块之间建立http长连接，同时，主机代理模块提供一个proxy-gateway功能，可以通过http接口实现高效数据转发；所述，数据收集模块中定义了灵活的数据模型，支持timestamp、hostname、endpoint、metric结构，添加报警策略时候可以从多个维度进行；所述节点管理模块还具有容器管理功能，支持镜像拉取，容器编排，镜像查找，镜像推送等操作；
具体地，所述主机代理模块用C++语言编写，并支持在X86，ARM等架构下部署，所述节点管理模块从docker stat命令,docker event API,proc文件系统,系统日志等系统来源来获取时间序列的数据；
所述设备管理模块和节点管理模块采集的信息存储在数据库中，通过所述监控模块内设的所述可视化模块可以查询相应的信息，进行可视化展示，用户在可视化页面可以观察相关的数据来进行性能分析和故障诊断，所述数据存储模块将数据按用途分为两类:一类是用来做数据挖掘的，一类用来绘图的；在数据存入时自动进行采样、归档；数据归档时，按照平均值采样、最大值采样、最小值采样存三份，会将数据存储入可配置的数据存储模块，并支持openTSDB，influxDB等数据存储；
所述监控模块的对象分为三个：服务器，容器和智能设备，根据hostname，timestamp等多个维度设置聚合规则，然后获取云平台或者集群的情况，并提供统一的绘图数据查询入口，根据分片算法去相应的实例查询不同维度的数据，然后汇总拿到的数据，最后统一返回给用户。
2.根据权利要求1所述的一种人机物融合云计算平台的资源管理和监控方法，其特征在于：所述设备发现模块中的设备注册模块对Zigbee，WiFi，蓝牙等多种协议适配；所述设备发现模块的所述设备注册模块与外部设备系统各自保存入网相关信息，下次重启系统时，使用入网信息直接组网。
3.根据权利要求2所属的一种人机物融合云计算平台的资源管理和监控方法，其特征在于：所述设备识别模块支持MAC地址,IMEI和MEID、SERIAL、ANDROID_ID、UUID等多种设备标记方式；所述设备识别模块中的监控程序设置有多个，针对每个接入的设备启用不同的监控程序。
4.根据权利要求3所述的一种人机物融合云计算平台的资源管理和监控方法，其特征在于：所述监控子模块提供统一的通信接口，支持HTTP，MQTT，websocket，XMPP，COAP等通信方式；可以使用统一的监控协议来监控设备。
5.根据权利要求4所属的一种人机物融合云计算平台的资源管理和监控方法，其特征在于：所述传感器设备通过网关代理与外界通信，智能设备可以直接与外界通信，所述设备控制模块作为通信适配层与设备进行通信，所述设备管理模块支持RESTful API,RPC等方式获取设备数据。
6.根据权利要求5所述的一种人机物融合云计算平台的资源管理和监控方法，其特征在于：所述设备的模型信息关键词为：
字段名 字段含义 did 设备物理id inroom 是否被探测到 localip 局域网ip地址 token 设备token type 设备类型 model 设备对应的model data 设备当前的状态 name 用户自定义的设备名 timestamp 当前时间戳 location 设备所处的位置
所述传感器的模型的关键词为：
Figure FDA0002471070600000031
7.根据权利要求6所述的一种人机物融合云计算平台的资源管理和监控方法，其特征在于：所述节点管理模块该可以被打包成docker镜像，便于部署和管理，所述节点管理模块的数据收集模块可以根据timestamp和hostname两个维度来查看某时间内某个主机的使用情况，所述数据收集模块接受主机代理模块上传的数据后，会做一些数据规整，如：将数据按时间或机器等维度进行分类，将数据统一存储为json格式；按照设定的时间片为粒度，按照可配置的数据分布算法，将数据分片后上传到后台的数据存储服务中去；所述节点管理模块可以获取上层传来的部署文件，根据部署文件进行容器编排，支持yaml，json等多种文件格式；该模块还集成了私有的镜像仓库，可加速镜像操作。
8.根据权利要求7所述的一种人机物融合云计算平台的资源管理和监控方法，其特征在于：所述节点管理模块的性能指标包括：
Figure FDA0002471070600000041
所述节点管理模块采集的服务器信息包括：
各字段名称 表内各字段含义 id 服务器ID name 服务器名称 dataCenter 所在数据中心 IP 服务器IP地址 cpuMem 服务器CPU个数 cpuUsage CPU使用率 diskIORead 磁盘每秒的读次量 diskIOWrite 磁盘每秒的写次量 diskUsed 磁盘使用率 diskAvailable 磁盘可用容量 memoryUsed 内存使用率 memoryAvailable 内存可用容量 networkUploadRate 网络上传速度 networkDownloadRate 网络下载速度 time 当前系统时间
所述节点管理模块采集的容器信息包括：
Figure FDA0002471070600000042
Figure FDA0002471070600000051
9.根据权利要求8所述的一种人机物融合云计算平台的资源管理和监控方法，其特征在于：所述可视化模块中，用户可以定制dashboard，支持曲线图，文本，热力图等形式，展现多维度数据。此外，系统设定了专门的报警模块。用户可以在主机代理上配置报警规则，当触发报警规则后，报警模块会收到这些报警信息。聚合报警信息后，通过email、PagerDuty、HipChat、Slack等方式发送消息提示。
CN202010348414.9A 2020-04-28 2020-04-28 一种人机物融合云计算平台的资源管理和监控方法 Active CN111563018B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010348414.9A CN111563018B (zh) 2020-04-28 2020-04-28 一种人机物融合云计算平台的资源管理和监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010348414.9A CN111563018B (zh) 2020-04-28 2020-04-28 一种人机物融合云计算平台的资源管理和监控方法

Publications (2)

Publication Number Publication Date
CN111563018A true CN111563018A (zh) 2020-08-21
CN111563018B CN111563018B (zh) 2021-11-12

Family

ID=72067880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010348414.9A Active CN111563018B (zh) 2020-04-28 2020-04-28 一种人机物融合云计算平台的资源管理和监控方法

Country Status (1)

Country Link
CN (1) CN111563018B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112769622A (zh) * 2021-01-18 2021-05-07 孙冬英 一种基于rpc服务监控的集群服务故障预警系统
CN112764884A (zh) * 2021-01-25 2021-05-07 北京无线电测量研究所 一种面向服务的感知云系统、方法、介质及设备
CN114143048A (zh) * 2021-11-18 2022-03-04 绿盟科技集团股份有限公司 一种安全资源管理的方法、装置及存储介质
CN114513334A (zh) * 2022-01-13 2022-05-17 青岛海尔工业智能研究院有限公司 风险管理方法和风险管理装置
CN114884982A (zh) * 2022-03-28 2022-08-09 江苏徐工工程机械研究院有限公司 一种基于云服务的多矿山用户在线管理方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103460184A (zh) * 2010-10-04 2013-12-18 阿沃森特亨茨维尔公司 用于结合通用数据模型存储库来监视并管理数据中心资源的系统和方法
CN107229520A (zh) * 2017-04-27 2017-10-03 北京数人科技有限公司 一种数据中心操作系统
CN108259270A (zh) * 2018-01-11 2018-07-06 郑州云海信息技术有限公司 一种数据中心统一管理系统设计方法
CN108369533A (zh) * 2015-10-13 2018-08-03 施耐德电器工业公司 软件定义自动化系统的集中化管理
CN108829509A (zh) * 2018-05-03 2018-11-16 山东汇贸电子口岸有限公司 基于国产cpu和操作系统的分布式容器集群框架资源管理方法
CN108829562A (zh) * 2018-06-24 2018-11-16 南通易联企业管理有限公司 数据中心的云资源管理方法
CN109144813A (zh) * 2018-07-26 2019-01-04 郑州云海信息技术有限公司 一种云计算系统服务器节点故障监控系统及方法
CN109347974A (zh) * 2018-11-16 2019-02-15 北京航空航天大学 一种提高在线服务质量和集群资源利用率的在线离线混合调度系统
CN110297740A (zh) * 2019-06-12 2019-10-01 浩博泰德(北京)科技有限公司 一种可视化内容管理方法及系统
US20190370133A1 (en) * 2018-05-31 2019-12-05 International Business Machines Corporation Disaster recovery orchestration and capacity planning in disaggregated datacenters
CN110704280A (zh) * 2019-10-10 2020-01-17 南方电网数字电网研究院有限公司 一种主数据监控系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103460184A (zh) * 2010-10-04 2013-12-18 阿沃森特亨茨维尔公司 用于结合通用数据模型存储库来监视并管理数据中心资源的系统和方法
CN108369533A (zh) * 2015-10-13 2018-08-03 施耐德电器工业公司 软件定义自动化系统的集中化管理
CN107229520A (zh) * 2017-04-27 2017-10-03 北京数人科技有限公司 一种数据中心操作系统
CN108259270A (zh) * 2018-01-11 2018-07-06 郑州云海信息技术有限公司 一种数据中心统一管理系统设计方法
CN108829509A (zh) * 2018-05-03 2018-11-16 山东汇贸电子口岸有限公司 基于国产cpu和操作系统的分布式容器集群框架资源管理方法
US20190370133A1 (en) * 2018-05-31 2019-12-05 International Business Machines Corporation Disaster recovery orchestration and capacity planning in disaggregated datacenters
CN108829562A (zh) * 2018-06-24 2018-11-16 南通易联企业管理有限公司 数据中心的云资源管理方法
CN109144813A (zh) * 2018-07-26 2019-01-04 郑州云海信息技术有限公司 一种云计算系统服务器节点故障监控系统及方法
CN109347974A (zh) * 2018-11-16 2019-02-15 北京航空航天大学 一种提高在线服务质量和集群资源利用率的在线离线混合调度系统
CN110297740A (zh) * 2019-06-12 2019-10-01 浩博泰德(北京)科技有限公司 一种可视化内容管理方法及系统
CN110704280A (zh) * 2019-10-10 2020-01-17 南方电网数字电网研究院有限公司 一种主数据监控系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
沃天宇等: "《软件定义的云际计算基础理论和方法研究进展》", 《中国基础科学》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112769622A (zh) * 2021-01-18 2021-05-07 孙冬英 一种基于rpc服务监控的集群服务故障预警系统
CN112764884A (zh) * 2021-01-25 2021-05-07 北京无线电测量研究所 一种面向服务的感知云系统、方法、介质及设备
CN112764884B (zh) * 2021-01-25 2024-04-30 北京无线电测量研究所 一种面向服务的感知云系统、方法、介质及设备
CN114143048A (zh) * 2021-11-18 2022-03-04 绿盟科技集团股份有限公司 一种安全资源管理的方法、装置及存储介质
CN114143048B (zh) * 2021-11-18 2023-09-26 绿盟科技集团股份有限公司 一种安全资源管理的方法、装置及存储介质
CN114513334A (zh) * 2022-01-13 2022-05-17 青岛海尔工业智能研究院有限公司 风险管理方法和风险管理装置
CN114513334B (zh) * 2022-01-13 2023-11-28 卡奥斯工业智能研究院(青岛)有限公司 风险管理方法和风险管理装置
CN114884982A (zh) * 2022-03-28 2022-08-09 江苏徐工工程机械研究院有限公司 一种基于云服务的多矿山用户在线管理方法及系统
CN114884982B (zh) * 2022-03-28 2023-11-07 江苏徐工工程机械研究院有限公司 一种基于云服务的多矿山用户在线管理方法及系统

Also Published As

Publication number Publication date
CN111563018B (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
CN111563018B (zh) 一种人机物融合云计算平台的资源管理和监控方法
CN109150987B (zh) 基于主机层和容器层的两层式容器集群弹性扩容方法
CN107368369B (zh) 分布式容器管理方法及系统
CN111641676B (zh) 一种第三方云监控服务的构建方法及装置
CN112162821B (zh) 容器集群资源监视方法、装置及系统
CN107404417A (zh) 一种监控数据的处理方法、处理装置及处理系统
CN113032099B (zh) 云计算节点、文件管理方法及装置
CN106304136B (zh) 获取网络状态信息的方法、系统、控制器和模拟移动设备
CN112543222B (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN106790403B (zh) 实现移动云计算中间平台的方法及实现分布式的方法
CN103488696A (zh) Cpe的业务查询方法、装置及系统、acs和cpe
CN113608982A (zh) 函数执行性能监测方法、装置、计算机设备及存储介质
CN112417050A (zh) 数据同步方法和装置、系统、存储介质及电子装置
US10802931B1 (en) Management of shadowing for devices
CN112351079B (zh) 一种基于数据盒的空间应用和数据一体化封装系统及方法
CN107347075B (zh) 一种串口协议到snmp协议的转换方法及snmp协议转换器
CN113468275A (zh) 图数据库的数据导入方法和装置、存储介质及电子设备
CN112764825A (zh) 服务集成系统及相应设备和存储介质
CN113312174A (zh) 一种信息查询方法、装置、电子设备及容器管理系统
CN112615912B (zh) 一种节点调度处理方法、装置及存储介质
CN116015986B (zh) 一种智能网卡管理方法及相关组件
CN113126562B (zh) 数据采集方法、装置、系统及计算机可读存储介质
CN112783959B (zh) 一种基于多类异构存储系统的数据传输方法及装置
CN112804335B (zh) 数据处理方法、装置、计算机可读存储介质和处理器
CN116233123A (zh) 信息的处理方法及装置、处理器和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant