CN110806714A - 一种基于5g的混合现实电机监控系统及监控方法 - Google Patents

Abstract

本发明提供一种基于5G的混合现实电机监控系统及监控方法，包括电机、物联监控系统、视频监控系统、5G模块、数据处理服务器、故障报警模块、混合现实设备；所述5G模块分别与所述物联监控系统、所述视频监控系统、所述数据处理服务器、所述混合现实设备通讯连接；所述数据处理服务器与所述故障报警模块连接；所述物联监控系统，用于获取与电机运行有关的参数指标，并将其通过所述5G模块发送至所述数据处理服务器；所述视频监控系统，用于获取电机的现场视频信息，并将其通过所述5G模块发送至所述数据处理服务器；可以实现智能高效的电机监控检修。

Description

一种基于5G的混合现实电机监控系统及监控方法

技术领域

本发明属于5G技术领域，尤其是涉及一种基于5G的混合现实电机监控系统及监控方法。

背景技术

在大型矿工厂中，矿石的传送，流水线的生产、机器传动、增压、液压等使用很多的大型的大功率电机，这种电机一般负荷大，工作环境恶劣，容易出现故障，出现故障时，往往造成整条生产线、整台机器停止运行，工作环境恶劣的场景还容易出现伤人及火灾事故，给生产者带来严重损失。

因此电机的维护是日常的基本工作，目前针对电机的维护工作，大多数采用人工巡检的方式对电机进行故障检测，该方式需要大量的人力资源对电机进行监控维护，效率较低且可能未及时发现电机故障进而采取救援措施，造成经济损失；

针对电机故障维修，生产者在使用电机方面遇到了故障，传统的方法是通过自己的技术人员到现场维修或打售后服务电话，在采用售后服务时需把电机送到售后维修点或者厂家提供专门的售后上门服务，这一来一回通常需要较长的时间，而故障很可能就是一个非常简单的小问题，生产者自己就能维修，因而维修人员不能通过远程对电机故障进行检查，目前尚未有监控设备可以利用混合现实技术来对电机进行情况反映，使得故障解决的时间成本增加，影响生产效率。

发明内容

有鉴于此，本发明旨在提出一种基于5G的混合现实电机监控系统及监控方法，可以实现智能高效的电机监控检修。

为达到上述目的，本发明的技术方案是：一种基于5G的混合现实电机监控系统，包括电机、物联监控系统、视频监控系统、5G模块、数据处理服务器、故障报警模块、混合现实设备；所述5G模块分别与所述物联监控系统、所述视频监控系统、所述数据处理服务器、所述混合现实设备通讯连接；所述数据处理服务器与所述故障报警模块连接；所述物联监控系统，用于获取与电机运行有关的参数指标，并将其通过所述5G模块发送至所述数据处理服务器；所述视频监控系统，用于获取电机的现场视频信息，并将其通过所述5G模块发送至所述数据处理服务器。

进一步地，所述物联监控系统，包括传感器组模块、AI边缘计算模块和第一5G模组；所述AI边缘计算模块分别与所述传感器组模块和所述第一5G模组连接。

进一步地，所述传感器组模块包括电量计量传感器、温度传感器、湿度传感器、转速传感器、振动传感器、声音传感器、有毒气体传感器、烟雾传感器的一种或多种组合。

进一步地，所述视频监控系统包括前端视频监控设备和无人机。

进一步地，所述前端视频监控设备包括AI摄像机，所述AI摄像机内置有由视频采集模块、视频分析模块、前端机器视觉识别模块和第二5G模组。

进一步地，所述无人机内置有视频采集单元、前端机器视觉识别单元、GPS地图导航单元、飞行数据处理单元、5G或WIFI无线单元。

进一步地，还包括与所述数据处理服务器连接的监控显示设备。

进一步地，还包括与所述数据处理服务器连接的人工操作界面。

另一方面，本发明还提供一种基于5G的混合现实电机监控系统的监控方法，包括如下步骤：

S1，物联监控系统获取与电机运行有关的参数指标，并将其通过5G模块发送至数据处理服务器；

S2，视频监控系统获取电机的现场视频信息，并将其通过5G模块发送至数据处理服务器；

S3，数据处理服务器将接收到的信息进行分析、运算、统计处理，并将出现问题的数据信息发送到故障报警系统，故障报警系统进而发出报警信息；

S4，混合现实设备通过5G通讯与数据处理服务器交互数据，经过3D处理之后进行实时显示。

进一步地，所述视频监控系统获取电机的现场视频信息，还包括以下步骤：

S21，所述视频监控系统包括前端视频监控设备和无人机，前端视频监控设备通过视频采集模块、视频分析模块、前端机器视觉识别模块对采集的电机视频进行处理分析，并将信息通过5G通讯发送至数据处理服务器；

S22，控制无人机到达预采集视频的位置，并对当前位置进行采集视频数据，然后无人机将当前定位的视频数据发送至数据处理服务器，数据处理服务器进而分析该视频数据得到当前精确位置，再将该所述精确位置发送至无人机，无人机再进行定点拍摄；其中，

无人机通过视频采集单元、前端机器视觉识别单元对采集的电机视频进行处理分析，且飞行数据处理单元根据无人机的飞行数据进一步控制无人机的位姿、飞行规划，通过GPS地图导航单元对无人机进行飞行导航，所述无人机将采集和处理的信息通过5G通讯发送至数据处理服务器。

本发明的有益效果是：通过物联监控系统和视频监控系统分别获取电机运行有关的参数指标和电机的现场视频信息，并分别将其采集的信息通过5G模块发送至数据处理服务器，数据处理服务器将接收到的信息进行分析、运算、统计处理，并将出现问题的数据信息发送到故障报警系统，故障报警系统进而发出报警信息；使得监控人员通过报警信息能第一时间得知电机的故障发生，进而及时采取救援措施。另外，还可以通过虚拟现实设备和增强现实设备对电机现场进行检查分析，其中虚拟现实设备和增强现实设备通过5G通讯与数据处理服务器交互数据，经过3D处理与渲染之后进行实时显示，使得维修人员只要使用混合现实设备就可以看到电机的现场情况，可实现远程他判断问题后直接给出修理建议，而且能在三维的虚拟实体上把每一步都指点出来，进而使得维修时间减少，大大提高维修效率。

附图说明

图1是本发明一种基于5G的混合现实电机监控系统的结构示意图。

图2是本发明一种基于5G的混合现实电机监控系统的另一结构示意图。

图3是本发明的物联监控系统的结构示意图。

图4是本发明的AI摄像机的结构示意图。

图5是本发明的无人机的结构示意图。

图6是本发明的电机实时监控手势识别的示意图。

图7是本发明一种基于5G的混合现实电机监控系统的监控方法的流程图。

具体实施方式

下面结合具体实施方式并对照附图对本发明作进一步详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

参见图1，本发明的技术方案是：一种基于5G的混合现实电机监控系统，包括电机、物联监控系统10、视频监控系统20、5G模块30、数据处理服务器50、故障报警模块60、混合现实设备40；所述5G模块30分别与所述物联监控系统10、所述视频监控系统20、所述数据处理服务器50、所述混合现实设备40通讯连接；所述数据处理服务器50与所述故障报警模块60连接；所述物联监控系统10，用于获取与电机运行有关的参数指标，并将其通过所述5G模块30发送至所述数据处理服务器50；所述视频监控系统20，用于获取电机的现场视频信息，并将其通过所述5G模块30发送至所述数据处理服务器50。

在本实施例中，通过物联监控系统10和视频监控系统20分别获取电机运行有关的参数指标和电机的现场视频信息，并分别将其采集的信息通过5G模块30发送至数据处理服务器50，数据处理服务器50将接收到的信息进行分析、运算、统计处理，并将出现问题的数据信息发送到故障报警系统，故障报警系统进而发出报警信息；使得监控人员通过报警信息能第一时间得知电机的故障发生，进而及时采取救援措施。另外，还可以通过虚拟现实设备和增强现实设备对电机现场进行检查分析，其中混合现实设备40通过5G通讯与数据处理服务器50交互数据，经过3D处理与渲染之后进行实时显示，使得维修人员只要使用混合现实设备40就可以看到电机的现场情况，可实现远程他判断问题后直接给出修理建议，而且能在三维的虚拟实体上把每一步都指点出来，进而使得维修时间减少，大大提高维修效率。

具体的，数据处理服务器50内设有相关应用程序，能实现3D环境图像处理、3D图像模型处理、视频特征提取、语音识别处理、手势识别处理、姿态识别处理、人面识别处理、地图导航服务、数据存储、数据合成等功能。其中所述的3D环境图像处理，是将视频监控系统20和混合现实设备40采集到的视频图像数据，采用结构光技术、视觉扫描技术、运动控制技术、3D重构技术、点云处理技术对全景环境图像进行处理；所述的图像模型环境叠加，3D环境图像处理后和数据与特定的图像模型环境叠加，形成虚拟全境3D场景；所述的视频特征提取，提取需要识别的所有特征，包括电机的实际体征、尺寸、运行时的振动指数、人面特征识别、姿态特征识别、手势特征识别；所述的语音识别处理，处理从现场物联监控系统10、混合现实设备40、视频监控系统20采集到的声音信息，识别电机现场运行的噪音指数，识别物联监控系统10、混合现实设备40、视频监控系统20发出的声音并转换成各类相对应的指令，在视频特征提取后转换成相对应的指令；所述的手势识别处理，将视频监控系统20和混合现实设备40采集到的视频图像数据，通过先进的手势视频识别算法，识别手势动作；所述的姿态识别处理，将视频监控系统20和混合现实设备40采集到的视频图像数据，通过视频图像姿态识别算法，识别人体姿态动作；所述的人面识别处理，将视频监控系统20和混合现实设备40采集到的视频图像数据，通过视频图像人面特征识别算法，识别人面特征，给操作、监测、维护人员提供各等级维护权限；所述电动机电性能参数处理，处理电动机电性能参数，通过计算、分析、统计、转换后，使电动机电性能参数变成可视化数据，并容易叠加到3D现场视频图像上；所述的地图导航服务，为无人机22提供导航服务，无人机22从导航服务中获取电机安装的位置、获取工厂、车间的结构、飞行路径、位置、定位信息、预设定的路径规划、导航数据等；所述的数据合成，将视频监控系统20和混合现实设备40采集到的视频图像数据、通过识别后提取的各种特征数据、指令，和处理形成虚拟全境3D场景后数据进行融合、叠加、合成，进一步给虚拟全境3D场景，添加实时的视频图像可视的现实场景参数标注；所述的数据存储，保存的特征数据、包括电机的实际体征、尺寸、运行时的振动指数、人面特征识别、姿态特征识别、手势特片识别等数据，方便查询、统计、对比等，为大数据分析应用提供基础数据。

其中当视频监控系统20采集到人脸信息时，将人脸信息发送至数据处理服务器50，并可预先在数据处理服务器50中设有人脸信息，只有在人脸授权的情况下数据处理服务器50才不启动故障报警模块60进行报警提醒，从而达到未授权人员进入电机工作区域时起报警提醒，及时阻止无关人员非法闯入。特别说明的是，视频监控系统20也可以只进行人脸采集，并将采集的人脸信息发送至数据处理服务器50进行识别处理。

通过使用5G模块30，连接5G无线网络，能实现大带宽（eMBB）、大规模连接（mMTC）、超低时延高可靠（uRLLC）的功能。

具体的，故障报警模块60可以是声光报警器。

混合现实设备40可以是混合现实眼镜，当用户戴上混合现实眼镜后，以上所有信息将通过5G/WIFI同时发送到混合现实眼镜上，用户可以直接在混合现实眼镜上直观看到故障点的所有信息。

参见图6，混合现实监控画面由现实的视频图像作为背景，加上虚拟的电机模型，并叠加上所有可以监控到数据组成；监控画面由全景3D建模视频图像加上电机模型并叠加上所有可以监控到数据组成；通过识别手部运行的状态，实现视频图像的实时翻页、正反方向、左右侧显示360度全景模型显示。

进一步地，所述物联监控系统10，包括传感器组模块11、AI边缘计算模块12和第一5G模组13；所述AI边缘计算模块12分别与所述传感器组模块11和所述第一5G模组13连接。

在本实施例中，传感器组模块11设置在电机上，用于采集电机的运行参数，可以是电流电压、温度、湿度、振动、声音等运行参数，通过传感器组模块11及时将电机所处的环境参数进行检测，超过预定值时及时进行报警提醒，使得监控人员可以发现电机发生故障，以便抓紧时间维修。AI边缘计算模块12，针对电机运行有各项参数指标进行收集、统计、分析、计算，并对所有各项指标进行监测，依据监测到的数据自动控制电机的实际运行，如电机的定时启动与停止，转向、转速的自动调节，与各类设备同步运行等，当电机的参数指标超出正常的设定值时，所述的AI边缘计算模块12将自动进行调节，同时通过第一5G模组13发送报警信息至数据处理服务器50，数据处理服务器50再控制故障报警模块60进行报警，从而确保电机正常运行。具体的，AI边缘计算模块12可以是单片机或ARM(Advanced RISCMachine) 处理器。

参见图3，进一步地，所述传感器组模块11包括电量计量传感器、温度传感器、湿度传感器、转速传感器、振动传感器、声音传感器、有毒气体传感器、烟雾传感器的一种或多种组合。

在本实施例中，通过对电机运行的参数进行实时监控，另外还能对电机工作环境的重要参数进行监控，可提醒监控人员目前电机所处的环境状态，若超过预定值则通过报警模块进行报警，使得监控人员及时采取维护保护措施，将损失降低。其中电量计量传感器可以检测电机的电流、电压、功率等参数，温度传感器可以检测电子内部的转子温升，湿度传感器可以检测电机周围环境的湿度，有毒气体传感器可以检测电机周围是否存在有毒气体，监控人员可根据有毒气体传感器检测到有毒气体进而在进入电机运行区域前采取防护措施，保证人身安全；烟雾传感器可检测周围的烟雾浓度，对火灾事故及时进行报警。

进一步地，所述视频监控系统20包括前端视频监控设备和无人机22。

参见图4，进一步地，所述前端视频监控设备包括AI摄像机21，所述AI摄像机21内置有由视频采集模块211、视频分析模块212、前端机器视觉识别模块213和第二5G模组214。

在本实施例中，AI摄像机21内置有AI算法，通过视频采集模块211对电机的实时环境进行视频采集，例如电机在运行过程中连接外部机器运转的传动轴断裂了，视频采集模块211通过高速、精准的3D结构光成像系统，采集现场图像视频，对电机外部传动轴断裂的画面采集完毕后，视频分析模块212将采集的现场图像视频进行分析，并对物体表面轮廓进行扫描，形成点云数据；并对点云数据进行智能分析处理，加以AI算法、识别指定的图像与视频；在通过前端机器视觉识别模块213，直接通过视频图像算法，快速识别指定物体的特征；进而将电机外部传动轴断裂的故障情况及时通过第二5G模组214发送信息至数据处理服务器50，数据处理服务器50再控制故障报警模块60进行报警；使得监控更加智能化，并结合传感器，将传感器难以检测的地方通过前端视频监控设备可以实现。

参见图5，进一步地，所述无人机22内置有视频采集单元224、前端机器视觉识别单元225、GPS地图导航单元221、飞行数据处理单元222、5G或WIFI无线单元223。

在本实施例中，视频监控系统20也可以包括无人机22，其中前端机器视觉识别单元225分别与视频采集单元224、GPS地图导航单元221、5G或WIFI无线单元223连接；飞行数据处理单元222与5G或WIFI无线单元223连接。当无人机22进行采集视频数据前，首先控制无人机22到达预采集视频的位置，并对当前位置进行采集视频数据，然后无人机22将当前定位的视频数据发送至数据处理服务器，数据处理服务器进而分析该视频数据得到当前精确位置，再将该所述精确位置发送至无人机22，无人机22再进行定点拍摄；无人机22的视频采集单元224，由无人机22上安装的高速、精准的3D结构光成像系统，采集现场图像视频；再通过前端机器视觉识别单元225，由无人机22视频图像采集后，直接通过视频图像算法，快速识别指定物体的特征；其中无人机22在飞行过程中，通过飞行数据处理单元222，处理无人机22三维空间坐标、偏航角、横摇角、俯仰角、速度、加速度等数据，控制无人机22的位姿、飞行规划，使无人机22正常飞行。WIFI/5G模组，由无人机22上搭载无线WIFI/5G模组，通过无线WIFI/5G模组，将视频采集单元224、前端机器视觉识别单元225、GPS地图导航单元221、飞行数据处理单元222等所有采集的数据与数据处理服务器50进行无线交互，实现远程控制无人机22飞行工作。

参见图2，进一步地，还包括与所述数据处理服务器50连接的监控显示设备70。

具体的，监控显示设备70可以是LED显示屏，为后台及监控中心提供可视的实时监控显示屏。

参见图2，进一步地，还包括与所述数据处理服务器50连接的人工操作界面80。

具体的，人工操作界面80为人工介入的操作面板，为系统设置、监控参数调整、场景设置、3D虚拟参数设置、无人机22导航飞行参数设置、显示效果设置等提供人工操作，便于监控操作人员进行操作。

参见图7，另一方面，本发明还提供一种基于5G的混合现实电机监控系统的监控方法，包括如下步骤：

S1，物联监控系统获取与电机运行有关的参数指标，并将其通过5G模块发送至数据处理服务器；

S2，视频监控系统获取电机的现场视频信息，并将其通过5G模块发送至数据处理服务器；

S3，数据处理服务器将接收到的信息进行分析、运算、统计处理，并将出现问题的数据信息发送到故障报警系统，故障报警系统进而发出报警信息；

S4，混合现实设备通过5G通讯与数据处理服务器交互数据，经过3D处理之后进行实时显示。

进一步地，所述视频监控系统获取电机的现场视频信息，还包括以下步骤：

S21，所述视频监控系统包括前端视频监控设备和无人机，前端视频监控设备通过视频采集模块、视频分析模块、前端机器视觉识别模块对采集的电机视频进行处理分析，并将信息通过5G通讯发送至数据处理服务器；

S22，控制无人机到达预采集视频的位置，并对当前位置进行采集视频数据，然后无人机将当前定位的视频数据发送至数据处理服务器，数据处理服务器进而分析该视频数据得到当前精确位置，再将该所述精确位置发送至无人机，无人机再进行定点拍摄；其中，

无人机通过视频采集单元、前端机器视觉识别单元对采集的电机视频进行处理分析，且飞行数据处理单元根据无人机的飞行数据进一步控制无人机的位姿、飞行规划，通过GPS地图导航单元对无人机进行飞行导航，所述无人机将采集和处理的信息通过5G通讯发送至数据处理服务器。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于5G的混合现实电机监控系统，其特征在于，包括电机、物联监控系统、视频监控系统、5G模块、数据处理服务器、故障报警模块和混合现实设备；所述5G模块分别与所述物联监控系统、所述视频监控系统、所述数据处理服务器、所述混合现实设备通讯连接；所述数据处理服务器与所述故障报警模块连接；

所述物联监控系统，用于获取与电机运行有关的参数指标，并将其通过所述5G模块发送至所述数据处理服务器；

所述视频监控系统，用于获取电机的现场视频信息，并将其通过所述5G模块发送至所述数据处理服务器。

2.根据权利要求1所述的基于5G的混合现实电机监控系统，其特征在于，所述物联监控系统，包括传感器组模块、AI边缘计算模块和第一5G模组；所述AI边缘计算模块分别与所述传感器组模块和所述第一5G模组连接。

3.根据权利要求2所述的基于5G的混合现实电机监控系统，其特征在于，所述传感器组模块包括电量计量传感器、温度传感器、湿度传感器、转速传感器、振动传感器、声音传感器、有毒气体传感器、烟雾传感器的一种或多种组合。

4.根据权利要求1所述的基于5G的混合现实电机监控系统，其特征在于，所述视频监控系统包括前端视频监控设备和无人机。

5.根据权利要求4所述的基于5G的混合现实电机监控系统，其特征在于，所述前端视频监控设备包括AI摄像机，所述AI摄像机内置有由视频采集模块、视频分析模块、前端机器视觉识别模块和第二5G模组。

6.根据权利要求4所述的基于5G的混合现实电机监控系统，其特征在于，所述无人机内置有视频采集单元、前端机器视觉识别单元、GPS地图导航单元、飞行数据处理单元、5G或WIFI无线单元。

7.根据权利要求1至6任一项所述的基于5G的混合现实电机监控系统，其特征在于，还包括与所述数据处理服务器连接的监控显示设备。

8.根据权利要求1至6任一项所述的基于5G的混合现实电机监控系统，其特征在于，还包括与所述数据处理服务器连接的人工操作界面。

9.一种基于5G的混合现实电机监控系统的监控方法，其特征在于，包括如下步骤：

S1，物联监控系统获取与电机运行有关的参数指标，并将其通过5G模块发送至数据处理服务器；

S2，视频监控系统获取电机的现场视频信息，并将其通过5G模块发送至数据处理服务器；

S3，数据处理服务器将接收到的信息进行分析、运算、统计处理，并将出现问题的数据信息发送到故障报警系统，故障报警系统进而发出报警信息；

S4，混合现实设备通过5G通讯与数据处理服务器交互数据，经过3D处理之后进行实时显示。

10.根据根据权利要求9所述的基于5G的混合现实电机监控系统的监控方法，其特征在于，所述视频监控系统获取电机的现场视频信息，还包括以下步骤：

S21，所述视频监控系统包括前端视频监控设备和无人机，前端视频监控设备通过视频采集模块、视频分析模块、前端机器视觉识别模块对采集的电机视频进行处理分析，并将信息通过5G通讯发送至数据处理服务器；

S22，控制无人机到达预采集视频的位置，并对当前位置进行采集视频数据，然后无人机将当前定位的视频数据发送至数据处理服务器，数据处理服务器进而分析该视频数据得到当前精确位置，再将该所述精确位置发送至无人机，无人机再进行定点拍摄；其中，

无人机通过视频采集单元、前端机器视觉识别单元对采集的电机视频进行处理分析，且飞行数据处理单元根据无人机的飞行数据进一步控制无人机的位姿、飞行规划，通过GPS地图导航单元对无人机进行飞行导航，所述无人机将采集和处理的信息通过5G通讯发送至数据处理服务器。

Images