CN115484263A - 一种基于边缘计算的跨区域智慧工厂实时安全监测系统 - Google Patents

Abstract

本发明公开了一种基于边缘计算的跨区域智慧工厂实时安全监测系统及方法。包括数据采集模块、边缘计算模块和云中心管理模块三个部分。其中数据采集模块主要负责对智慧工厂的设备、人员、环境等进行数据采集。边缘计算模块能够对传感器的数据做智能化分析处理，监测工厂安全状态，对工厂的人员进行识别与轨行跟踪，并能够提前准备三维重建的所需数据。云中心能够重建设备的三维模型，提供远程服务连接，远程操控工厂设备，并将工厂信息全方面的做可视化展示。本发明运用边缘计算提高了系统的计算性能，对工厂数据进行实时化的智能处理与显示，对工厂危险提前做出警示。提供远程连接服务，可跨区域监测工厂的全方面信息，并对设备进行管控。

Description

一种基于边缘计算的跨区域智慧工厂实时安全监测系统

技术领域

本发明涉及计算机应用技术、边缘计算、数据采集以及数据处理领域，尤其是涉及一种基于边缘计算的跨区域智慧工厂实时安全监测系统。

背景技术

智慧工厂是现代工厂信息化发展的新阶段，是利用了物联网技术实现设备间高效的信息互联来实现对整个工厂进行信息化的监控管理，来提高生产过程的可控性、减少生产线上人工的干预。也正因为人员管控参与的减少，对于工厂的全方面信息，仅依靠人员不仅无法做到全方面的管理，而且对于信息的处理更是无法在短时间内完成，无法做到对设备，环境的实时监控。所以更需要一套能够对智慧工厂人员的持续性跟踪分析，设备的实时监测，数据的全方面对比检测的监控体系。而边缘计算具有更高访问数据的速度，能够在边缘端对数据做出更快的处理，使用预置模型与算法能够对工厂现有的状况进行监测与安全管理。

基于上述问题，亟待提出一种基于边缘计算的跨区域智慧工厂实时安全监测系统，利用监控和传感设备来采集获取智慧工厂全面的数据信息，再利用边缘计算技术来获得更高效的计算性能与执行能力，最终由云端实时显示整个智慧工厂的运行情况。实现对工厂内的设备、人员、分析结果等进行可视化的决策和管理。

发明内容

本发明的目的是为了实现对智慧工厂信息的实时分析与更安全的管理，提供一种基于边缘计算的跨区域智慧工厂实时安全监测系统，通过边缘计算实现对对工厂数据做智能化处理，对人员的信息能够检测识别与跟踪，再运用云中心管理模块，对工厂内的设备、人员、采集数据等进行可视化的决策和管理，对设备进行三维重建，提供远程服务连接，能够将工厂信息全方面供用户展示。

本发明提出的一种基于边缘计算的跨区域智慧工厂实时安全监测系统及方法，所述发明包括：数据采集模块、边缘计算模块和云中心管理模块三个部分。所述智慧工厂根据边缘计算模块的最大计算性能或不同工作区域设备的功效被划分成几个区，每个区域有数据采集模块采集和边缘计算模块计算做相应的数据采集和边缘计算，所有区域的计算结果会发送至云中心管理模块做最终的决策与可视化协同管理。其中数据采集模块由摄像头与多种传感器组成，用于对工厂内的设备、人员、环境的相关数据信息进行采集。所述边缘计算模块，其包括边缘计算单元与边缘存储单元，部署了多个预置计算模型，可对采集到的数据进行筛选、分析、计算，并将处理后的结果向上可传输至云中心管理模块，向下可依据计算结果对设备、摄像头、传感器的工作状态进行管控。所述云中心管理模块包括云服务器、云存储器和云计算器。预置辐射神经场网络模型，可对设备进行三维模型重建，将其的调用嵌入到按钮中，并与边缘计算的人员与环境信息可视化在二维的地图中。

所述数据采集模块中的摄像头与传感器分布在整个智慧工厂，可全方位的采集工厂内的大部分信息，包括摄像头拍摄到的内容，传感器所采集到的数据。进一步的，所有摄像头与传感器所取得的信息皆上传至该区域对应的边缘计算模块中去处理。

所述边缘计算模块承担着关键的计算任务，是整个系统最重要的部分，每个边缘设备会接收所负责区域数据采集模块发送来的数据。进一步的，当接收的是传感器数据时，边缘计算模块会调用数据智能异常处理算法对数据做分析处理，判断当前的数据是否存在潜在的异常，若数据异常如设备运行温度持续上升，则边缘计算模块会提前发送警报数据到云中心管理模块，控控制相应的设备停止运行，并获取设备相关联传感器的信息，以此来分析造成异常的起因。算法总共进行三层的计算分析，第一层为同种传感器的检测分析，第二层为相互关联传感器的结果分析，第三层为所有传感器的综合分析。算法总体包括两个部分，分别是对数值本身与数值在单位时间内的增量。数值本身用于实时监测当下的情况，数据的增量用于查询事故的原因，依靠是哪种传感器的变化导致事故的发生。具体可表示成，在一个区域内，对于同一种传感器而言，第i个传感器所检测到的数据为xi，其单位时间内的增量为Δxi。例如同一房间不同位置的多个温度传感器，则综合分析的结果f为

对于不同的传感器都有对应的分析结果，其中α_i为不同结果的加权系数，g(x,Δx)针对于同一个传感器不同位置的模型结果。所有的传感器都有其对应的模型，最终的检测结果为[f1,f2,......,fn]，n为传感器的种类。第二次分析将对有相互关联的传感器，同一类型功能的传感器进行分析，例如温度传感器、湿度传感器与光传感器检测外部环境对设备的影响，如粉尘传感器气味传感器来检测设备是否泄漏对空气产生了影响。实现同一检测功能的传感器，其第i个结果为fi，其增量为Δfi。则其结果h为

其中η_i与λ_i为权重系数，k为不同传感器之间联合检测模型，w为结果的一个定量偏差值。针对于传感器之间联合实现不同功能的检测，每种功能都有其对应的模型，最终的检测结果为[h1,h2,......,hn]，n为组合的数量。第三次分析将对该区域所有的传感器进行检测，利用第二次的检测结果，其最终的结果r为

进一步的，当数据为视频数据时，边缘计算模块会调用预置的人脸检测模型和行为识别模型，对人员进行识别并记录人员的信息与场所，并不断的实时监测人员。

人脸检测模型会对视频中的每帧图像进行检测，对存在人脸的图像，抽取人脸的n个特征[x₁,x₂, ......,x_n]，并与数据库中人员人脸数据的特征进行计算，若数据库中第k个用户的特征为

人脸模型的识别从两个角度出发，分别为特征从数值方向上的相似度和从空间方向上的欧式距离，得到计算特征结果G(x,y)为

对比所有人员的人脸特征，得到序列{G1，G2,......,Gn}，取出序列中的最小值gmin＝argmin{G1,G2 ......,Gn}，其中对于计算的特征结果的最小值还要判定，若gim＞θ，则认定为外来人员。

若视频数据没有人员遮挡设备时，则会间断截取设备图像，根据不同摄像头截取到的两幅图像的特征点进行匹配，利用匹配得像点计算两视图的基础矩阵，在根据相机的内参，从基础矩阵中分解得到相机的选择矩阵和平移向量最终获取相机的相对位姿，供三维设备模型重建提供数据。进一步的，将所有的计算结果整理并发送到云中心管理模块。，

所述云中心管理模块会接受来自各边缘计算模块的计算结果。进一步的，云计算器会调用云存储器中的辐射神经场网络模型，根据边缘计算得到的无遮挡的图片与相机的内参数据，通过网络模型的训练，重构不同角度的图像，最终根据所有的图像重构来设备的三维模型。摄像头所截取设备的图像分别[m₁,m₂,......,m_n]，其对应的计算出的拍摄角度为[r₁,r₂,......,r_n]，辐射神经场网络模型从光学的角度出发来重建设备模型，对于三维在二维上的投影图像，每个像素值为从拍摄角度看向设备过程中累积的颜色值。

对于重建的三维模型来说，有其对应的包围框，包围框内部的区域也正是要重建的地方。最近的距离可被定义为tn，远端的距离为tf，将这个模型分段，目的是为了方便模型对光照颜色的渲染。每段的距离为：

t_i～U[tn+(i-1)/n*(tf-tn),tn+i/n*(tf-tn)] (5)

每个段距离都有其对应的颜色，可被模型描述成cti。但因为看到模型的外貌跟物体是否透明有关，实体的模型只能看到物体的表面，因此还要定义一个透明度α。单一的透明度还不能够描述，对于表面透明的物体，越往内部不透明度累积增大，对于重建所看到的颜色贡献越少，因此还需要一个Ti来表示该方向一段的累积不透明度，将之前的透明度累加并通过转化即可得到。

最后就可以表述辐射神经场网络模型，

网络模型会进行训练，对于已有视角可以损失值函数计算，来达到我们预期想要的结果。

模型的损失函数可被表述成

根据反向传播可训练模型，最终训练好的模型可被嵌入到边缘存储器中，可根据需要观察到设备三维不同视角的图像。

进一步的，云中心管理模块会对即将异常的数据做对比，如传感器数据一直上升，将数据与以往该类传感器的异常比较是否是类似的情况，根据对比产生的结果，可提前做出处理。

进一步的，云计算器根据不同区域的边缘计算的结果，将人员、设备、环境信息和设备的模型可视化到对应的二维地图模型中，逐渐还原出整个智慧工厂当前运行的工作状态。进一步的，云服务器提供对外的连接服务，当用户登录后可提供查看最新的模型结果，直观监测工厂的安全状况。进一步的，用户可随时点击地图模型中的摄像头，云中心管理模块会反向向摄像头所在边缘计算模块发出信号，边缘计算模块会控制相应的摄像头拍摄，并将画面传输至地图模型。

与现有技术相比，本发明的有益效果是：

本发明提出一种基于边缘计算的跨区域智慧工厂实时安全监测系统，实现工厂内数据采集、计算与管理的一体化管理流程。利用摄像头与各传感设备来获取工厂内部全面的数据信息，使用的边缘计算设备提高系统整体的计算性能，预置的模型与算法实现工厂信息的实时处理，云中心管理模块提供工厂多方面信息的可视化简单操作，工厂远程服务连接的一键查看与管控工厂。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明一种基于边缘计算的跨区域智慧工厂实时安全监测系统及方法的模块组成示意图。

图2是本发明一种基于边缘计算的跨区域智慧工厂实时安全监测系统及方法的运行流程示意图。

具体实施方式

为了使本领域技术人员更好的理解本发明的技术方案，下面结合附图对本发明进行详细的描述，本部分的描述仅是示范性和解释性，不应对本发明的保护范围做任何限制。

如图1所示，本发明提出的一种基于边缘计算的跨区域智慧工厂实时安全监测系统及方法，所述发明包括：数据采集模块、边缘计算模块和云中心管理模块三个部分。所述智慧工厂根据边缘计算模型的最大计算性能或时设备不同工作区域功效被划分成几个区，每个区域有数据采集模块采集和边缘计算模块计算，所有区域的计算结果会发送至云中心管理模块做最终的计算与展示。其中数据采集模块由摄像头与多多种传感器(如温度、压力、光、湿度传感器等)组成，用于对工厂内的设备、人员、环境的相关数据信息进行采集。所述边缘计算模块，其包括边缘计算单元与边缘存储单元其边缘计算单元，部署了多个预置计算模型，可对采集到的数据进行筛选、分析、计算，并将处理后的结果向上可传输至云中心管理模块，向下可控制摄像头与生产设备的运行。所述云中心管理模块包括云服务器、云存储器和云计算器。内置辐射神经场网络模型，可对重建设备的三维模型，将其的调用嵌入到按钮中，并与边缘计算的人员与环境信息可视化在二维的地图中。

如图2所示，本发明的系统运行流程包括以下步骤：

S1：数据采集模块中的摄像头与传感器分布在整个智慧工厂，可全方位的采集工厂内的信息，包括摄像头拍摄到的内容，传感器所接受到的信号。所有摄像头与传感器所取得的信息皆上传至该区域所负责的边缘计算模块中去处理。

S2：每个边缘设备会接收所负责区域数据采集模块发送来的数据。进一步的，当数据为传感器发送来的数据是，边缘计算模块会对数据做分析处理，判断当前的数据是否存在潜在的异常，若数据异常如设备运行温度持续上升，则边缘计算模块会提前发送警报数据到云中心管理模块，控控制相应的设备停止运行，并获取设备相关联传感器的信息，以此来分析造成异常的起因。进一步的，当数据为视频数据时，边缘计算模块会调用预置的人脸检测模型和行为识别模型，对人员进行识别并记录人员的信息与场所，并不断的实时监测人员。若视频数据没有人员遮挡设备时，则会间断截取设备图像，根据不同摄像头截取到的两幅图像的特征点进行匹配，利用匹配得像点计算两视图的基础矩阵，在根据相机的内参，从基础矩阵中分解得到相机的选择矩阵和平移向量最终获取相机的相对位姿，供三维设备模型重建提供数据。进一步的，将所有的计算结果整理并发送到云中心管理模块。

S3：云中心管理模块会接受来自各边缘计算模块的计算结果。云计算器会调用云存储器中的辐射神经场网络模型，根据边缘计算得到的无遮挡的图片与拍摄角度的数据，通过网络模型的训练，重构不同角度的图像，最终根据所有的图像重构来设备的三维模型。云计算器根据不同区域的边缘计算的结果，将人员、设备、环境信息和设备的模型可视化到对应的数字工厂中，逐渐还原出整个智慧工厂当前运行的工作状态。

S4：云服务器提供对外的连接服务，当用户登录后可提供查看最新的模型结果，直观监测工厂的安全状况。用户可随时点击地图模型中的摄像头，云中心管理模块会反向向摄像头所在边缘计算模块发出信号，边缘计算模块会控制相应的摄像头拍摄，并将画面传输至地图模型。

Claims (6)

1.一种基于边缘计算的跨区域智慧工厂实时安全监测系统，其特征在于所述方法包括：数据采集模块、边缘计算模块和云中心管理模块三个部分。数据采集模块能够获取工厂的全方面数据，边缘计算模块能够对数据做智能化分析处理，通过多个边缘设备的分布计算，能够实现对工厂数据的实时化处理。边缘计算模块预置的算法与模型能够实现人员的识别跟踪与数据的安全检测。云中心管理模块可做设备的三维重建，对工厂内的设备、人员、数据等进行可视化的决策和管理。本发明运用边缘计算提高了系统计算能力，用预置的计算模型与算法可实现对采集数据的实时处理，并对工厂潜在的危险提前做出警示。提供远程连接服务，可跨区域实时监测工厂的全方面信息，并对设备进行管控。

该数据采集模块由摄像头与多种传感器(如温湿度，压强，粉尘，烟雾，噪声，振动，气味传感器等)组成。用于采集工厂内设备的运行状态、人员的工作状态及环境的变化信息。

该边缘计算模块能够对工厂数据做智能化处理，实现人员的信息分析与轨迹跟踪，并根据算法整理出三维重建所需数据。模块包括边缘计算单元与边缘存储单元。边缘计算单元能够调用智能算法对工厂数据做分析，通过数据潜在的规律，结合数据的走向趋势，综合判断其是否存在潜在的危害情况，若分析出的结果有存在危险的趋势，则边缘计算单元会发送警报并操控设备做相应的处理。其次边缘计算模块能够调用预置的人脸检测模型，对视频中的人员信息进行检测和识别，并不断的实时检测跟踪，来判断其行为轨迹。边缘计算单元还会从视频中截取设备的无遮挡图片，再根据不同摄像头截取到的两幅图像的特征点进行匹配，利用匹配得像点计算两视图的基础矩阵，在根据相机的内参，从基础矩阵中分解得到相机的选择矩阵和平移向量最终获取相机的相对位姿为下一阶段的三维重建做准备。最后将计算结果和处理的图片数据向上传递至数据中心管理模块，也可根据计算结果对摄像头与传感器进行管控。

该云中心管理模块能够重建设备的三维模型，可将工厂的数据全方面的做可视化展示，提供服务连接可供用户远程登录查看工厂信息，并随时对摄像头与传感器进行管控。模块包括云服务器、云存储器和云计算器。其中云服务器提供对外的服务连接，可供用户远程登录查看工厂的情况和一键下达指令对工厂的设备进行管控。云计算器能够调用预置的辐射神经场模型，根据准备好的图片数据与相机参数来更新重建三维设备模型。云存储中存储了数据和三维重建模型，其中数据包括了用来展示二维工厂的地图模型，上面显示了人员工作状态、环境的变化信息。以及可点击的按钮，可随时查看三维设备模型。

2.根据权利要求1所述的一种基于边缘计算的跨区域智慧工厂实时安全监测系统，其特征在于，所述边缘计算单元有采集数据智能异常处理算法，能够对传感器的采集数据进行分析计算，如对设备环境的温度，判断其是否在一定的范围之内，如有异常的变化，温度频繁升高降低等，则会控制设备停止运行并及时向上传递警报。对一些特定的化工场所则是会监测空气中的化学物质浓度是否在合理的范围区间，对浓度直升到达即将到达警戒线时控制设备停止运行并上传警报。

3.根据权利要求1所述的一种基于边缘计算的跨区域智慧工厂实时安全监测系统，其特征在于，所述边缘计算模块部署了多个预置计算模型(例如人脸检测模型，肢体识别模型等)，用于对采集数据进行自动分析计算。使用人脸检测模型可对在场人员的信息情况进行分析，使用行为识别检测模型可对行为轨迹进行检测识别和判断预测，以此来识别人员工作状态和是否有外来人员的进出。也可以根据云中心管理模块的需要来向下控制摄像头来跟踪拍摄。

4.根据权利要求1所述的一种基于边缘计算的跨区域智慧工厂实时安全监测系统，其特征在于，所述边缘计算模块会准备图片数据，其调用行为识别模型，判断当前设备无人员遮挡时，会截取相应的图片。根据不同摄像头截取到的两幅图像的特征点进行匹配，利用匹配得像点计算两视图的基础矩阵，在根据相机的内参，从基础矩阵中分解得到相机的选择矩阵和平移向量最终获取相机的相对位姿来供辐射神经场网络模型使用。最后将结果上传至云中心管理模块，也可根据需要从新控制摄像头拍摄不同角度的设备。

5.根据权利要求1所述的一种基于边缘计算的跨区域智慧工厂实时安全监测系统，其特征在于，所述使用重建设备模型，是根据边缘计算模块预处理的图片数据，图片的相机估计参数和场景几何信息，调用辐射身经常模型去重构出设备的三维网络模型。可通过点击二维工厂地图上的图标来显示模型。

6.根据权利要求1所述的一种基于边缘计算的跨区域智慧工厂实时安全监测系统，其特征在于，所述二维工厂地图模型，是工厂内部事先存储的平面图，并将工厂所在的设备、摄像头与传感器所在的位置与图中的坐标相对应。此图展示工厂的多方面信息，皆由计算结果得来。根据边缘计算的结果与传感器或摄像头对应的坐标，将人员的信息标注在图中工厂出现的位置，将传感器的信息标注在工厂地图相应的位置，若是数据异常，则会出现显著的颜色来警示，设备所在位置可被点开查看设备的三维模型来直观的观察现状。二维工厂的地图可供用户直观监测整个工厂。

Images