CN117041251A - 一种基于边缘计算的多数据虚拟化集群管理系统 - Google Patents

Abstract

本发明涉及通信系统技术领域，提出了一种基于边缘计算的多数据虚拟化集群管理系统，包括多数据智能分析系统、算法模型训练系统以及边缘计算终端，多数据智能分析系统包括数据管理、数据分析、模型管理、边缘管理和接口处理五个模块，算法模型训练系统包括数据集管理模块、算法管理模块、模型训练模块、模型测试模块、模型管理模块、模型发布模块，边缘计算终端包括数据处理模块和应用管理模块；该系统可以将全部的、相互独立的硬件资源，包括CPU、内存、存储设备等整合在一个统一的资源池内，然后根据需要在资源池内建立虚拟服务器，在虚拟服务器上建立虚拟主机，从而实现所有硬件资源和应用软件、操作系统的统一管理。

Description

一种基于边缘计算的多数据虚拟化集群管理系统

技术领域

本发明涉及一种基于边缘计算的多数据虚拟化集群管理系统技术领域，具体的，涉及一种基于边缘计算的多数据虚拟化集群管理系统。

背景技术

随着，移动互联网与物联网业务的快速增长，5G时代的到来，新型业务需要更低的网络时延为用户提供更好的体验，同时应用与业务对低时延提出了更高要求。边缘计算利用网络中用户和边缘网络设备的计算和存储功能，承载部分核心节点中的控制、管理、业务功能，即能够提升传统移动宽带业务能力又能应对新兴的机器类业务。

5G是将以人为中心的通信扩展到同时以人和物为中心的通信，人机无线通信在众多行业和经济领域的应用不断增多，对无线网络提出了广泛的需求，这些需求主要体现b在无线传输速率、移动性、终端功耗、时延和可靠性等方面。边缘计算作为一种新的部署方案，通过把小型数据中心或带有缓存、计算处理能力的节点部署在网络边缘，与移动设备、传感器和用户紧密相连，减少核心网络负载，降低数据传输时延。

经检索，现有专利(申请公布号：CN115225450A)公开了一种基于边缘计算的多数据机房虚拟化集群管理系统，该系统包括管理终端、虚拟局域网及边缘计算模块；管理终端，用于数据机房的统一计算与管理；虚拟局域网，用于建立各数据机房之间的通信；边缘计算模块，用于创建边缘节点，将所述边缘节点的创建信息存储，并实现各数据机房的调控。本发明通过虚拟化集群管理，每一个机房从机都可以独立存在，独立计算，独立工作，无需依赖上层平台，可以省去上层平台建设的步骤，有一个机房宕机也不会影响其他机房工作，通过虚拟化集群管理系统直接进行管理，集群不相互依赖，分工明确，大幅度提高开发效率。

然而在实施相关技术中发现上述存在以下问题：(1)：上述基于边缘计算的多数据机房虚拟化集群管理系统，由单独的服务器、网络、存储设备等硬件和操作系统、应用软件组成，每增加一项新的应用，就要相应的增加与之配套的硬件设备；长此以往，一方面使企业背上了沉重的经济负担，同时也增加了系统管理员的管理维护的工作量和难度，不利于企业信息化的开展；(2)由于电力网络带宽资源有限，各路视频流不能实时上传汇聚到数据中心存储，而是存在现场本地的各个厂家NVR设备(网络录像机)中，如需要调阅视频，就要通过远程视频下载后进行视频监视回放，或通过视频统一平台分配的权限进行远程单路调阅视频录像，通过视频监视发现事故或安全监察完全依靠人工，耗时费力，无法达到生产安全的事前预防、事中监视、事后分析的效果。

发明内容

本发明提出一种基于边缘计算的多数据虚拟化集群管理系统，旨在有效解决电网现有视频平台传输数据量大而带宽资源有限、网络时延大、实时性要求高的问题。

本发明的技术方案如下：一种基于边缘计算的多数据虚拟化集群管理系统，包括：多数据智能分析系统、算法模型训练系统以及边缘计算终端，所述多数据智能分析系统包括数据管理、数据分析、模型管理、边缘管理和接口处理五个模块；

所述数据管理模块用于从边缘计算终端获取数据信息，实现事件图片、短视频、事件告警信息的采集和存储管理；

所述数据分析模块通过对数据进行深度分析，提供应用展示；

所述模型管理模块用于对图像识别、人脸比对、设备识别、越界识别、违规识别、险情识别等算法模型进行分类管理；

所述边缘管理模块用于实现模型下发、权限管理、设备管理和应用管理；

所述接口管理模块用于实现安全控制、云边接口和第三方应用接口。

进一步的，所述模型下发根据实际业务单位智能分析的需要，将算法模型下发到相应的边缘计算终端中，所述权限管理用于对每个边缘计算终端进行身份认证，为不同用户创建专属服务账号，设置使用权限，所述设备管理用于对边缘计算终端进行配置管理，实时监测设备运行状态，所述应用管理用于实现对算法模型升级、卸载、参数配置，管理各个边缘计算终端上的算法模型种类和版本号。

进一步的，所述安全控制用于对接收到的数据进行解密，对发送的数据进行加密，所述云边接口用于处理与边缘计算终端的应用类数据和管理类数据，所述第三方应用接口用于为电力业务应用系统提供接口服务。

进一步的，所述算法模型训练系统包括：数据集管理模块、算法管理模块、模型训练模块、模型测试模块、模型管理模块、模型发布模块。

进一步的，所述数据集管理模块包括数据上传单元和分类管理单元，所述数据上传单元用于创建数据集，并将线下采集数据或第三方数据上传至数据集，所述分类管理单元用于对数据集进行管理。

进一步的，所述算法管理模块包括：深度学习单元、开源算法单元和自定义算法单元。

进一步的，所述模型测试模块用于对训练出的模型质量进行在线测试，所述模型管理模块用于实现模型库管理、模型操作功能，所述模型训练模块包括：参数配置单元、模型训练单元、设备管理单元和应用管理单元，用于根据训练任务选择相关参数，完成模型训练，所述模型发布模块用于将已训练好的模型，发布到具体业务场景中使用。

进一步的，所述边缘计算终端包括：数据处理模块和应用管理模块，所述数据处理模块又包含数据采集存储单元、智能分析单元、数据业务处理单元，所述应用管理模块又包应用管理单元、设备管理单元、联动控制单元以及接口管理单元。

进一步的，所述数据采集存储单元用于从Modbus工业设备、仪器仪表、高清网络摄像机、各种传感器等设备采集视频、表计、传感数据，对采集到的数据进行存储；

所述智能分析单元用于对采集到的视频数据实时进行分析处理，并对异常数据信息以图像和告警事件方式上报多数据智能分析系统；

所述数据业务处理单元用于实现与智能分析单元之间的数据交换，组织上传告警信息、事件图片以及小视频流到多数据智能分析系统；

所述应用管理单元用于对多数据智能分析系统下发的算法模型，进行参数配置、版本更新、卸载，同时还接收控制指令，组织上报本地的算法模型种类、版本号、设备状态和设备日志；

所述设备管理单元用于监测边缘计算终端运行状态，管理视频终端设备、感知设备、传感设备、控制设备的接入，根据实际应用需求合理分配接口资源；

所述联动控制单元用于接收控制指令并控制所辖的智能终端设备。

进一步的，所述接口管理单元包含边云接口、边端接口的管理，所述边云接口负责边缘计算终端与多数据智能分析系统的数据交互，所述边端接口负责边缘计算终端与多数据智能分析系统的数据信息交互。

本发明的工作原理及有益效果为：

1、本发明中；该一种基于边缘计算的多数据虚拟化集群管理系统利用硬件抽象，可以将全部的、相互独立的硬件资源，包括CPU、内存、存储设备等整合在一个统一的资源池内，然后根据需要在资源池内建立虚拟服务器，在虚拟服务器上建立虚拟主机，在虚拟主机上安装操作系统和应用软件，从而实现所有硬件资源和应用软件、操作系统的统一管理。

2、本发明中；该一种基于边缘计算的多数据虚拟化集群管理系统，应用于电网，采用“云边协同”的方式，可有效解决电网现有视频系统传输数据量大而带宽资源有限、网络时延大、实时性要求高的问题；可显著降低人员工作强度，减轻视频监视的工作量，提升工作效率，并进一步有效支撑其他应用系统的对视频分析结果的深化应用，促进电力公司安全生产管理水平的稳步提高，有效提高电力互联网信息系统建设效益；通过边缘计算技术将人工智能、大数据技术应用于电网，提升人员行为分析、设备状态、环境变化全面感知，可让电网安全生产防范从被动转向主动，大大降低生产安全隐患。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明提出的多数据智能分析系统框架图；

图2为本发明提出的算法模型训练系统；

图3为本发明提出的边缘计算终端；

具体实施方式

下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都涉及本发明保护的范围。

请参阅图1，本发明提供一种技术方案：一种基于边缘计算的多数据虚拟化集群管理系统，包括：多数据智能分析系统、算法模型训练系统以及边缘计算终端，多数据智能分析系统包括数据管理、数据分析、模型管理、边缘管理和接口处理五个模块；

数据管理模块用于从边缘计算终端获取数据信息，实现事件图片、短视频、事件告警信息的采集和存储管理；

数据分析模块通过对数据进行深度分析，提供应用展示；

模型管理模块用于对图像识别、人脸比对、设备识别、越界识别、违规识别、险情识别等算法模型进行分类管理；

边缘管理模块用于实现模型下发、权限管理、设备管理和应用管理；

接口管理模块用于实现安全控制、云边接口和第三方应用接口。

请参阅图1，模型下发根据实际业务单位智能分析的需要，将算法模型下发到相应的边缘计算终端中，权限管理用于对每个边缘计算终端进行身份认证，为不同用户创建专属服务账号，设置使用权限，设备管理用于对边缘计算终端进行配置管理，实时监测设备运行状态，应用管理用于实现对算法模型升级、卸载、参数配置，管理各个边缘计算终端上的算法模型种类和版本号。

其中，安全控制用于对接收到的数据进行解密，对发送的数据进行加密，云边接口用于处理与边缘计算终端的应用类数据和管理类数据，第三方应用接口用于为电力业务应用系统提供接口服务。

请参阅图2，算法模型训练系统包括：数据集管理模块、算法管理模块、模型训练模块、模型测试模块、模型管理模块、模型发布模块，数据集管理模块包括数据上传单元和分类管理单元，数据上传单元用于创建数据集，并将线下采集数据或第三方数据上传至数据集，分类管理单元用于对数据集进行管理，算法管理模块包括：深度学习单元、开源算法单元和自定义算法单元，模型测试模块用于对训练出的模型质量进行在线测试，模型管理模块用于实现模型库管理、模型操作功能，模型训练模块包括：参数配置单元、模型训练单元、设备管理单元和应用管理单元，用于根据训练任务选择相关参数，完成模型训练，模型发布模块用于将已训练好的模型，发布到具体业务场景中使用；

算法模型训练系统提供从数据上传、模型训练到模型发布端到端AI服务，通过平台化AI技术，加快算法开发效率，提高产品迭代周期，更好地指导赋能业务场景。

请参阅图3，边缘计算终端包括：数据处理模块和应用管理模块，数据处理模块又包含数据采集存储单元、智能分析单元、数据业务处理单元，应用管理模块又包应用管理单元、设备管理单元、联动控制单元以及接口管理单元。

其中，数据采集存储单元用于从Modbus工业设备、仪器仪表、高清网络摄像机、各种传感器等设备采集视频、表计、传感数据，对采集到的数据进行存储；

智能分析单元用于对采集到的视频数据实时进行分析处理，并对异常数据信息以图像和告警事件方式上报多数据智能分析系统；

例如：人脸识别：

通过人脸抓拍、人脸检测、人脸核对，实现人脸识别。在变电站、营业厅、供电所、计量中心、基建现场等场所，与值班或工单的人像信息进行比对，给出身份识别结果。当判断为陌生人时，抓拍人像存档，并立即告警；

区域检测：

对变电站、营业厅、供电所、计量中心、基建现场等场所危险区域根据摄像头所采集的影像信息，进行越区检测，对接近或进入危险区域的人员进行告警，并对抓拍图像存档；

行为分析：

对施工现场人员行为进行实时识别分析，并告警。如：作业现场人员是否正确佩戴工帽，着装是否规范，是否存在抽烟行为等；

设备识别：

通过定制化的算法模型对电力重点传感设备、仪表设备等进行视频分析，解析读数，对超出阈值范围的异常状况进行告警。

数据业务处理单元用于实现与智能分析单元之间的数据交换，组织上传告警信息、事件图片以及小视频流到多数据智能分析系统；

应用管理单元用于对多数据智能分析系统下发的算法模型，进行参数配置、版本更新、卸载，同时还接收控制指令，组织上报本地的算法模型种类、版本号、设备状态和设备日志；

设备管理单元用于监测边缘计算终端运行状态，管理视频终端设备、感知设备、传感设备、控制设备的接入，根据实际应用需求合理分配接口资源；

联动控制单元用于接收控制指令并控制所辖的智能终端设备。

其中，接口管理单元包含边云接口、边端接口的管理，边云接口负责边缘计算终端与多数据智能分析系统的数据交互，边端接口负责边缘计算终端与多数据智能分析系统的数据信息交互。

实施例1：(一)虚拟化系统的部署：

在管理机上打开CitrixZenCenter，新建一个资源池；

右击资源池点击新建服务器，输入其中一台服务器的IP地址、用户名和密码即可连接到该服务器；

按照相同的步骤依次将另外两台服务器连入资源池内，根据需要对这三台服务器进行内存、存储容量等硬件资源的分配；

继续右击服务器，点击新建虚拟机，并对这些新建的虚拟机分配相应的硬件资源；

最后在建好的虚拟机上安装各种服务器操作系统和应用软件，虚拟化系统的部署完成。

(二)安装和配置集群管理软件：

可在一台独立的计算机上安装hplefthandp4000集群管理软件和存储故障转移的仲裁软件，而不要使用虚拟机；

安装完成后需要对此集群管理软件进行配置，配置时首先添加节点，这里的节点就是指存储，要输入存储的静态的IP地址。由于有两台存储，因此要创建两个节点；

创建节点后依次创建管理组、集群和存储卷，创建集群时也要求输入一个静态的IP地址；

然后添加服务器，添加服务器需要输入服务器的计算机名和iSCSI发起程序名称，添加服务器的目的是让服务器可以共享存储的磁盘容量；

将创建的存储卷分配给服务器，分配时可以配置卷的读写权限，然后在服务器上创建网络卷，创建过程中需要输入存储的IP地址，连接存储后可以看到卷，要对卷进行初始化，这时打开服务器的磁盘管理就可以看到新创建的磁盘，也就表明服务器可以共享两个节点的存储了。

需要说明的是：虚拟化技术和集群技术能够帮助系统管理人员充分利用当前的存储和服务器资源，同时最大程度地降低未来的硬件采购成本；它能够加速数据的备份流程、提供更广泛的高可用性服务和灾难恢复；此外，服务器和存储虚拟化技术的应用，还有助于确保基础硬件设施能够轻松扩展，以满足新的应用快速增长的需求。

实施例2：

该一种基于边缘计算的多数据虚拟化集群管理系统，在国家电网某省网公司得到实际应用，将变电站、配电房、开关站、工作间的现有摄像头视频流接入到边缘计算服务器，进行实时的智能分析，实现了人脸识别、安全帽佩戴识别、工作服着装识别等应用，有效的保证了园区的安全以及作业区工作人员的着装规范性提醒；

其多数据智能分析系统为云端平台，位于电力公司机房，用于管理和配置边缘设备、告警呈现，边缘计算设备位于变电站和开关站，接入现场的摄像头，对视频流进行实时分析，通过AI智能分析的结果而短视频通过局域网发送给云端管控平台。摄像头位于变电站进门处、一次设备区、二次设备区以及开关站内部，通过以太网将视频流传给部署在本地的智能边缘计算设备。

需要说明的是：该一种基于边缘计算的多数据虚拟化集群管理系统，应用于电网，采用“云边协同”的方式，可有效解决电网现有视频系统传输数据量大而带宽资源有限、网络时延大、实时性要求高的问题；在变电站、营业厅、供电所、基建现场等重要区域或场所，就近部署具有人工智能分析能力的边缘计算终端，实时对接入的摄像头或NVR的视频和图像数据进行智能算法分析，仅将分析结果等重要数据信息上传至平台侧，可显著降低人员工作强度，减轻视频监视的工作量，提升工作效率，并进一步有效支撑其他应用系统的对视频分析结果的深化应用，促进电力公司安全生产管理水平的稳步提高，有效提高电力互联网信息系统建设效益；通过边缘计算技术将人工智能、大数据技术应用于电网，提升人员行为分析、设备状态、环境变化全面感知，可让电网安全生产防范从被动转向主动，大大降低生产安全隐患。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于边缘计算的多数据虚拟化集群管理系统，包括：多数据智能分析系统、算法模型训练系统以及边缘计算终端，其特征在于：所述多数据智能分析系统包括数据管理、数据分析、模型管理、边缘管理和接口处理五个模块；

所述数据管理模块用于从边缘计算终端获取数据信息，实现事件图片、短视频、事件告警信息的采集和存储管理；

所述数据分析模块通过对数据进行深度分析，提供应用展示；

所述模型管理模块用于对图像识别、人脸比对、设备识别、越界识别、违规识别、险情识别等算法模型进行分类管理；

所述边缘管理模块用于实现模型下发、权限管理、设备管理和应用管理；

所述接口管理模块用于实现安全控制、云边接口和第三方应用接口。

2.根据权利要求1所述的一种基于边缘计算的多数据虚拟化集群管理系统，其特征在于：所述模型下发根据实际业务单位智能分析的需要，将算法模型下发到相应的边缘计算终端中，所述权限管理用于对每个边缘计算终端进行身份认证，为不同用户创建专属服务账号，设置使用权限，所述设备管理用于对边缘计算终端进行配置管理，实时监测设备运行状态，所述应用管理用于实现对算法模型升级、卸载、参数配置，管理各个边缘计算终端上的算法模型种类和版本号。

3.根据权利要求1所述的一种基于边缘计算的多数据虚拟化集群管理系统，其特征在于：所述安全控制用于对接收到的数据进行解密，对发送的数据进行加密，所述云边接口用于处理与边缘计算终端的应用类数据和管理类数据，所述第三方应用接口用于为电力业务应用系统提供接口服务。

4.根据权利要求1所述的一种基于边缘计算的多数据虚拟化集群管理系统，其特征在于：所述算法模型训练系统包括：数据集管理模块、算法管理模块、模型训练模块、模型测试模块、模型管理模块、模型发布模块。

5.根据权利要求4所述的一种基于边缘计算的多数据虚拟化集群管理系统，其特征在于：所述数据集管理模块包括数据上传单元和分类管理单元，所述数据上传单元用于创建数据集，并将线下采集数据或第三方数据上传至数据集，所述分类管理单元用于对数据集进行管理。

6.根据权利要求4所述的一种基于边缘计算的多数据虚拟化集群管理系统，其特征在于：所述算法管理模块包括：深度学习单元、开源算法单元和自定义算法单元。

7.根据权利要求4所述的一种基于边缘计算的多数据虚拟化集群管理系统，其特征在于：所述模型测试模块用于对训练出的模型质量进行在线测试，所述模型管理模块用于实现模型库管理、模型操作功能，所述模型训练模块包括：参数配置单元、模型训练单元、设备管理单元和应用管理单元，用于根据训练任务选择相关参数，完成模型训练，所述模型发布模块用于将已训练好的模型，发布到具体业务场景中使用。

8.根据权利要求1所述的一种基于边缘计算的多数据虚拟化集群管理系统，其特征在于：所述边缘计算终端包括：数据处理模块和应用管理模块，所述数据处理模块又包含数据采集存储单元、智能分析单元、数据业务处理单元，所述应用管理模块又包应用管理单元、设备管理单元、联动控制单元以及接口管理单元。

9.根据权利要求8所述的一种基于边缘计算的多数据虚拟化集群管理系统，其特征在于：所述数据采集存储单元用于从Modbus工业设备、仪器仪表、高清网络摄像机、各种传感器等设备采集视频、表计、传感数据，对采集到的数据进行存储；

所述智能分析单元用于对采集到的视频数据实时进行分析处理，并对异常数据信息以图像和告警事件方式上报多数据智能分析系统；

所述数据业务处理单元用于实现与智能分析单元之间的数据交换，组织上传告警信息、事件图片以及小视频流到多数据智能分析系统；

所述应用管理单元用于对多数据智能分析系统下发的算法模型，进行参数配置、版本更新、卸载，同时还接收控制指令，组织上报本地的算法模型种类、版本号、设备状态和设备日志；

所述设备管理单元用于监测边缘计算终端运行状态，管理视频终端设备、感知设备、传感设备、控制设备的接入，根据实际应用需求合理分配接口资源；

所述联动控制单元用于接收控制指令并控制所辖的智能终端设备。

10.根据权利要求8所述的一种基于边缘计算的多数据虚拟化集群管理系统，其特征在于：所述接口管理单元包含边云接口、边端接口的管理，所述边云接口负责边缘计算终端与多数据智能分析系统的数据交互，所述边端接口负责边缘计算终端与多数据智能分析系统的数据信息交互。