CN112770088A - 一种ai视频联动感知监控系统 - Google Patents

Abstract

本发明公开一种AI视频联动感知监控系统，包括：视觉模块、工业数据采集系统、AI视频联动感知监控总平台和显示终端；所述视觉模块，用于识别并采集视频并上传至所述AI视频联动感知监控总平台；所述工业数据采集模块，用于采集机械设备和MES实时的结构化数据并上传至所述AI视频联动感知监控总平台；所述AI视频联动感知监控总平台，用于接收所述工业数据采集模块发送的告警数据，并获取所述告警数据的来源区域，再调用所述来源区域的所述视觉模块进行识别抓拍；还用于对算法模型进行训练，并调用算法加载到所述视觉模块对视频进行智能分析和识别。能够实现通过人工智能分析和通过联动设备数据对异常情况进行数据化显示。

Description

一种AI视频联动感知监控系统

技术领域

本发明涉及视频监控技术领域，尤其涉及一种AI视频联动感知监控系统。

背景技术

随着人们对安全性的重视不断加深，视频监控在各大型场所例如商场、学校、厂区中都得到广泛应用，以提高城市的安全性。尤其在大型厂区，对某些机械设备和重要区域的监管显得尤为重要，需要安排一定数量的监控人员和安装各种监控设备。但在现有的视频监控技术中，一般是将多个视频录像集中在某个监控室中进行统一监控，并且大多数都是多屏显示实时视频，一个监控人员同时要监控多个屏幕且需要轮班值守，因此工作量巨大，而且容易出错；其次，对发生问题区域的视频，只能通过人工筛选的方式发现，效率低下，不能通过人工智能分析或通过联动设备数据对异常情况进行数据化显示；再次，现有的监控方式，每个摄像机都需要匹配一个屏幕，多个摄像机就需要对应多个屏幕，因此屏幕的成本高，使用效率低。

发明内容

本发明的目的是针对以上不足，提供一种能够实现通过人工智能分析和通过联动设备数据对异常情况进行数据化显示的AI视频联动感知监控系统。

本发明采用的技术方案是：

一种AI视频联动感知监控系统，包括：视觉模块、工业数据采集系统、AI视频联动感知监控总平台和显示终端；

所述视觉模块，用于识别并采集视频并上传至所述AI视频联动感知监控总平台；

所述工业数据采集模块，用于采集机械设备和MES实时的结构化数据并上传至所述AI视频联动感知监控总平台；

所述AI视频联动感知监控总平台，用于接收所述工业数据采集模块发送的告警数据，并获取所述告警数据的来源区域，再调用所述来源区域的所述视觉模块进行识别抓拍；还用于对算法模型进行训练，并调用算法加载到所述视觉模块对视频进行智能分析和识别；并将所述结构化数据三维映射到三维底图进行驱动，并发送至所述显示终端进行展示。

进一步的，

所述工业数据采集模块，包括MES系统、PLC、物联传感器模块，

所述MES系统用于提供生产管理数据，包括制造管理数据、生产调度管理数据、质量管理数据和生产过程控制数据；

所述PLC，用于当其控制设备发生故障问题时，发送报警指令；

所述物联传感器模块，用于通过传感器采集设备的运行参数和告警数据。

进一步的，

所述AI视频联动感知监控总平台，包括AI中控平台、数据中控平台、数字孪生中控平台和AI视频联动感知监控平台；

所述AI中控平台，用于对算法模型进行训练，并对人车物进行智能分析和识别；并通过所述AI视频联动感知监控平台调用算法加载到所述视觉模块；

所述数据中控平台，用于接受所述工业数据采集模块传回的所述结构化数据，将各类数据转化成统一格式进行，同时将告警数据上传至所述AI视频联动感知监控平台；

所述数字孪生中控平台，用于将结构化数据三维映射到三维底图进行驱动。

进一步的，

所述AI视频联动感知监控平台，用于生成产品工艺流程图和区域模拟三维地图，并联动所述视觉模块和所述工业数据采集模块的实时数据和所述告警数据，并获取所述告警数据的来源区域，再调用所述来源区域的所述视觉模块进行抓拍；同时将告警实况视频发送至所述显示终端展示。

进一步的，

所述AI视频联动感知监控平台，还用于设备管理、告警管理、设备关联管理、历史告警记录管理、用户管理、系统管理和数据统计分析。

进一步的，

所述告警管理，包括分析前端设备告警后，根据绑定规则调用相对应位置的所述视觉机器模块的视频，同时视频上显示对应告警设备的实时数据；按照的不同告警级别，联动推送到相对应的管理人员终端。

进一步的，

所述数据统计分析，包括根据现场设备告警次数和不同告警类型，进行统计分析后形成报表，并对故障问题进行推测以及生成更换或备货的设备建议。

进一步的，还包括

网络监管平台，用于可视化管理系统设备，查看设备使用情况并对设备异常情况进行报警，同时提供数据给AI视频联动感知监控平台。

进一步的，还包括

视频云平台，用于连接所述视觉模块，并联动所述视觉模块进行识别抓拍。

进一步的，还包括

管理终端，用于接受告警信息、实时查阅调用实况视频、录像和告警记录；

通讯模块，所述通讯模块包括5G基站、MEC和交换机。

本发明的有益效果是：AI视频联动感知监控平台根据数字孪生中控平台所提供数据展示全厂模拟三维地图，并且联动工业数据采集系统提供的数据，如果出现告警情况，通过AI视频联动感知监控平台获得该告警数据的来源区域，并调用该来源区域的视觉模块进行识别抓拍，显示画面自动弹窗且展示实况视频，同时将相关设备的数据显示在视频画面中；能将所述工业数据采集模块提供的结构化数据三维映射到三维底图进行驱动和调用，将厂区原型数字化模拟进行展示。通过视频上墙、大数据综合显示、人工智能分析和联动设备数据对异常情况进行数据化显示，实现无人值守，大大节省人力成本和屏幕投入成本，从而提高监控效率。

附图说明

图1为本发明一种AI视频联动感知监控系统的原理框图。

图2为本发明一种AI视频联动感知监控系统的另一原理框图。

图3为本发明一种AI视频联动感知监控系统的又一原理框图。

图4为本发明一种AI视频联动感知监控系统的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

参见图1，本发明提供一种AI视频联动感知监控系统，包括：视觉模块10、工业数据采集系统20、AI视频联动感知监控总平台30和显示终端40；

所述视觉模块10，用于识别并采集视频并上传至所述AI视频联动感知监控总平台30；

所述工业数据采集模块，用于采集机械设备和MES实时的结构化数据并上传至所述AI视频联动感知监控总平台30；

所述AI视频联动感知监控总平台30，用于接收所述工业数据采集模块发送的告警数据，并获取所述告警数据的来源区域，再调用所述来源区域的所述视觉模块10进行抓拍；还用于对算法模型进行训练，并调用算法加载到所述视觉模块10对视频进行智能分析和识别；并将所述结构化数据三维映射到三维底图进行驱动和调用，并发送至所述显示终端40进行展示。

上述技术方案的原理和有益效果为：所述视觉模块10，可以为AI智能摄像机，可以是软件定义摄像机，安装在工厂生产线和外围公共区域，可以加载各种机器视觉算法，通过算法识别人车物和生产设备的各种行为。所述工业数据采集模块，通过采集机械设备运行时的实时参数，及时得知设备的实际运行状况。MES（manufacturing execution system，制造执行系统），是一套面向制造企业车间执行层的生产信息化管理系统。MES可以提供包括制造数据管理、计划排程管理、生产调度管理、库存管理、质量管理、人力资源管理、工作中心/设备管理、工具工装管理、采购管理、成本管理、项目看板管理、生产过程控制、底层数据集成分析、上层数据集成分解等管理模块，为企业打造一个扎实、可靠、全面、可行的制造协同管理平台，本发明的AI视频联动感知监控系统用于调用MES系统21的数据。所述显示模块，可以包括视频墙，用于将系统的主界面上墙显示；具体的，AI视频联动感知监控总平台30通过连接解码器将视频上墙显示。所述AI视频联动感知监控总平台30，加载和存储各种算法模型，并对算法模型进行训练，调用算法加载到所述视觉模块10对视频进行智能分析和识别；具体的，算法模型包括深度学习的实现人脸抓拍、特征抽取、人脸特征值比对算法，或软件自定义算法；可以根据实际需要设定，此处不作具体限定。

AI视频联动感知监控总平台30接收所述工业数据采集模块发送的告警数据，并获取所述告警数据的来源区域，再调用所述来源区域的所述视觉模块10进行识别抓拍。具体的，工业数据采集模块通过其中的MES系统21、PLC22和物联传感器模块23获取告警数据，预先在工业数据采集模块中设置其位置信息，因此当其告警信息发送至AI视频联动感知监控总平台30时，AI视频联动感知监控总平台30可以获取其告警数据的来源区域，并调用该区域的视觉模块10进行视频联动抓拍，且AI视频联动感知监控总平台30弹窗实时画面和报警，从而实现联动感知功能。例如：A区的电机E1上的温度传感器T1发送告警信息，其告警信息中可以为：t℃+A区+电机E1+温度传感器T1。

通过AI视频联动感知监控总平台30将区域内的工业数据采集模块提供结构化数据三维映射到三维底图进行驱动，其中可展示选定区域的模拟三维图，并在其故障问题画面上叠加实时数据，为监控人员提供大数据式展示，使得监控维度可量化，通过数据分析显示得到更加完善的监控效果；通过人工智能分析或通过联动设备数据对异常情况进行数据化显示，实现无人值守，大大节省人力成本和屏幕投入成本，从而提高监控效率。

在一个实施例中，所述工业数据采集模块，包括MES系统21、PLC22、物联传感器模块23，

所述MES系统21用于提供生产管理数据，包括制造管理数据、生产调度管理数据、质量管理数据和生产过程控制数据；

所述PLC22，用于当其控制设备发生故障问题时，发送报警指令；

所述物联传感器模块23，用于通过传感器采集设备的运行参数和告警数据。

上述技术方案的原理和有益效果为：所述PLC22，用于连接工业控制设备，当PLC22连接的的设备发生故障时，将其故障指令发送至AI视频联动感知监控总平台30；所述物联传感器模块23，安装在设备上的工业传感器，包括温度传感器、转速传感器、振动传感器、压力传感器和重量传感器等；当设备的某一部件发生故障时，通过传感器采集其实时数据，若超出阈值时发送实时数据和报警指令至AI视频联动感知监控总平台30，进而本模块可以通过采集厂区的生产管理数据、设备运行时的实际参数进行有效监控，增加设备的监控维度以及监控的范围，实现更加完善的监控体系。

在一个实施例中，所述AI视频联动感知监控总平台30，包括AI中控平台31、数据中控平台32、数字孪生中控平台33和AI视频联动感知监控平台34；

所述AI中控平台31，用于对算法模型进行训练，并对人车物进行智能分析和识别；并通过所述AI视频联动感知监控平台34调用算法加载到所述视觉模块10；

所述数据中控平台32，用于接受所述工业数据采集模块传回的所述结构化数据，将各类数据转化成统一格式进行，同时将告警数据上传至所述AI视频联动感知监控平台34；

所述数字孪生中控平台33，用于将结构化数据三维映射到三维底图进行驱动，AI视频联动感知监控平台34对三维底图进行调用；且还用于其他设备，包括电机、水泵、风机、皮带、车辆、产线等设备的数据上传，以及视频画面的数据蒙版展示，客户可以直观看到设备的参数等。

上述技术方案的原理和有益效果为：所述AI中控平台31，具体可以是服务器，加载和存储各类算法模型，并且可对各种算法模型进行训练，AI视频联动感知监控平台34可根据场景需求，调用各种成熟算法加载到视觉模块10对人车物进行智能分析和识别。所述数据中控平台32，接受MES系统21、PLC22、物联传感器模块23等设备传回的数据，将各类数据转化成统一格式进行存储，并将其中告警数据分为不同级别，同时将告警数据传回AI视频联动感知监控平台34。所述数字孪生中控平台33，用于将结构化数据三维映射到三维底图进行驱动，进而AI视频联动感知监控平台34对三维底图进行调用，将厂区原型数字化模拟进行展示。

在一个实施例中，所述AI视频联动感知监控平台34，用于生成产品工艺流程图和区域模拟三维地图，并联动所述视觉模块10和所述工业数据采集模块的实时数据和所述告警数据，并获取所述告警数据的来源区域，再调用所述来源区域的所述视觉模块10进行抓拍；同时将告警实况视频发送至所述显示终端40展示。

上述技术方案的原理和有益效果为：通过数字孪生中控平台33所提供数据展示厂区模拟三维地图，并且联动展示摄像机、MES、PLC22、物联传感器模块23等数据，如果出现告警情况，图上自动弹窗且展示实况视频，视频画面有MES、PLC22、物联传感器模块23采集的各种参数显示，而且视频附近有文本体现某个摄像机所拍摄地方属于正常，同时将相关设备的数据显示在视频墙上；并生成产品工艺流程图和区域模拟三维地图，即所述的产品工艺流程图为某条生产线或某工序的模拟三维动态图；所述区域模拟三维地图可设置为某一厂区或几个厂区的模拟三维地图，监控人员可以根据需重点监控的地方进行选择显示详细的三维图；具体的，以上两种模拟三维图上，还叠加显示MES系统21、PLC22、物联传感器模块23传回的实时数据，可通过饼状图、条形图、折线图等进行表示，使得监控数据更加全面、直观。

在一个实施例中，所述AI视频联动感知监控平台34，还用于设备管理、告警管理、设备关联管理、历史告警记录管理、用户管理、系统管理和数据统计分析。

上述技术方案的原理和有益效果为：

1.设备管理：通过网络监管平台35传回的数据实时查看管理设备。

2.告警管理：可以配置告警规则，接受数据中控平台32和视觉模块10的告警数据，通过智能分析弹窗告警，并调并触发用相对应的视觉模块10进行实况视频展示在三维底图上，同时推送相应告警信息和视频给到管理人员终端设备；从而能将发生故障地点或设备的视频自动筛选弹出，不需人为地监控筛选，增加了监控过程中的智能化和准确性。

3.设备关联管理：将MES、PLC22、物联传感器模块23中提供数据的设备与相对应的视觉模块10进行绑定。

4.历史告警记录管理：记录告警信息，并可随时调用相关录像，同时每个告警信息有相对应时间段的一个视频记录存储。

5.用户管理：对不同用户有不同的账号和权限进行管理。

6.系统管理：管理组织机构、组织机构、菜单管理、系统日志等。

7.数据统计分析：根据现场设备告警次数和不同告警类型，进行统计分析，分析完以后形成报表供现场人员查询，了解设备问题情况，然后根据该数据推测设备出现问题原因，进而解决相对应的问题，并将解决问题办法形成文档上传存储，后续出现同类问题，现场人员可以迅速调用相关文档解决相对应的问题，同时对易坏备件根据统计分析进行建议备货数量，从而实现对设备的全生命周期管理。

在一个实施例中，所述告警管理，包括分析前端设备告警后，根据绑定规则调用相对应位置的所述视觉机器模块的视频，同时视频上显示对应告警设备的实时数据；按照的不同告警级别，联动推送到相对应的管理人员终端。

上述技术方案的原理和有益效果为：所述告警管理具体可分为a、告警分析：前端设备告警后（除摄像机的告警），会根据绑定规则调用相对应位置的摄像头进行弹窗视频，同时视频上显示对应告警设备的实时数据，让操作人员方便根据设备运行情况和设备数据查找问题；b、告警等级分析：根据数据中心给出的不同告警级别，联动推送到相对应的监控人员。

在一个实施例中，所述数据统计分析，包括根据现场设备告警次数和不同告警类型，进行统计分析后形成报表，并对故障问题进行推测以及生成更换或备货的设备建议，如果出现同类问题，可自动调取以往存储的相对应的解决方案。

上述技术方案的原理和有益效果为：设置不同的告警类型和告警级别，使得监控人员对故障问题的发生情况更加清晰。

在一个实施例中，还包括网络监管平台35，用于可视化管理系统设备，查看设备使用情况并对设备异常情况进行报警，同时提供数据给AI视频联动感知监控平台34，AI视频联动感知监控平台34上可以实时查询在线设备，该项与管理设备的模块内容同步。

上述技术方案的原理和有益效果为：网络监管平台35能可视化管理交换机、路由、视觉模块10等设备，查看视觉模块10是否在线以及设备数量的增加和减少。

在一个实施例中，包括视频云平台70，用于连接所述视觉模块10，并联动所述视觉模块10进行识别抓拍。还包括管理终端60，用于接受告警信息、实时查阅调用实况视频、录像和告警记录。

上述技术方案的原理为：管理终端60包括手机、平板、电脑等。

在一个实施例中，管理终端60，用于接受告警信息、实时查阅调用实况视频、录像和告警记录；通讯模块50，所述通讯模块50包括5G基站、MEC和交换机。

上述技术方案的原理为：5G基站可通过5G网关连接视觉模块10，通过RJ45接口与视觉模块10连接。其中，AI视频联动感知监控平台34可通过IVS视频云平台70和MEC（MobileEdge Computing，移动边缘计算）连接5G基站。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说， 在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种AI视频联动感知监控系统，其特征在于，包括：视觉模块、工业数据采集系统、AI视频联动感知监控总平台和显示终端；

所述视觉模块，用于识别并采集视频并上传至所述AI视频联动感知监控总平台；

所述工业数据采集模块，用于采集机械设备和MES实时的结构化数据并上传至所述AI视频联动感知监控总平台；

所述AI视频联动感知监控总平台，用于接收所述工业数据采集模块发送的告警数据，并获取所述告警数据的来源区域，再调用所述来源区域的所述视觉模块进行识别抓拍；还用于对算法模型进行训练，并调用算法加载到所述视觉模块对视频进行智能分析和识别；并将所述结构化数据三维映射到三维底图进行驱动和调用，并发送至所述显示终端进行展示。

2.根据权利要求1所述的AI视频联动感知监控系统，其特征在于，

所述工业数据采集模块，包括MES系统、PLC、物联传感器模块，

所述MES系统用于提供生产管理数据，包括制造管理数据、生产调度管理数据、质量管理数据和生产过程控制数据；

所述PLC，用于当其控制设备发生故障问题时，发送报警指令；

所述物联传感器模块，用于通过传感器采集设备的运行参数和告警数据。

3.根据权利要求1所述的AI视频联动感知监控系统，其特征在于，

所述AI视频联动感知监控总平台，包括AI中控平台、数据中控平台、数字孪生中控平台和AI视频联动感知监控平台；

所述AI中控平台，用于对算法模型进行训练，并对人车物进行智能分析和识别；并通过所述AI视频联动感知监控平台调用算法加载到所述视觉模块；

所述数据中控平台，用于接受所述工业数据采集模块传回的所述结构化数据，将各类数据转化成统一格式进行，同时将告警数据上传至所述AI视频联动感知监控平台；

所述数字孪生中控平台，用于将结构化数据三维映射到三维底图进行驱动。

4.根据权利要求3所述的AI视频联动感知监控系统，其特征在于，

所述AI视频联动感知监控平台，用于生成产品工艺流程图和区域模拟三维地图，并联动所述视觉模块和所述工业数据采集模块的实时数据和所述告警数据，并获取所述告警数据的来源区域，再调用所述来源区域的所述视觉模块进行抓拍；同时将告警实况视频发送至所述显示终端展示。

5.根据权利要求4所述的AI视频联动感知监控系统，其特征在于，

所述AI视频联动感知监控平台，还用于设备管理、告警管理、设备关联管理、历史告警记录管理、用户管理、系统管理和数据统计分析。

6.根据权利要求5所述的AI视频联动感知监控系统，其特征在于，

所述告警管理，包括分析前端设备告警后，根据绑定规则调用相对应位置的所述视觉机器模块的视频，同时视频上显示对应告警设备的实时数据；按照的不同告警级别，联动推送到相对应的管理人员终端。

7.根据权利要求5所述的AI视频联动感知监控系统，其特征在于，

所述数据统计分析，包括根据现场设备告警次数和不同告警类型，进行统计分析后形成报表，并对故障问题进行推测以及生成更换或备货的设备建议。

8.根据权利要求1所述的AI视频联动感知监控系统，其特征在于，还包括

网络监管平台，用于可视化管理系统设备，查看设备使用情况并对设备异常情况进行报警，同时提供数据给AI视频联动感知监控平台。

9.根据权利要求1所述的AI视频联动感知监控系统，其特征在于，还包括

视频云平台，用于连接所述视觉模块，并联动所述视觉模块进行识别抓拍。

10.根据权利要求1所述的AI视频联动感知监控系统，其特征在于，还包括

管理终端，用于接受告警信息、实时查阅调用实况视频、录像和告警记录；

通讯模块，所述通讯模块包括5G基站、MEC和交换机。

Images