CN110751081A - 基于机器视觉的施工安全监控方法及装置 - Google Patents

Abstract

一种基于机器视觉的施工安全监控方法及装置，在施工区域四周设置多个周边监测装置，其中周边监测装置包括可见光相机和红外相机；在初始化周边监测装置的位姿后，对准的施工区域，并将图片送至管理平台，管理平台利用神经网络进行分析，当有异常人员或物体进入该高风险区时，通过神经网络进行识别报警。本发明识别率高、适用场景广、并且可以自动进行识别报警。

Description

基于机器视觉的施工安全监控方法及装置

技术领域

本发明涉及建筑施工领域，特别涉及基于机器视觉的施工安全监控。

背景技术

现有技术中，施工区域安全都是依靠设立制度，专人检查来实现的，无法做到实时性，也无法提前预警。

目前也有人提出对塔吊吊篮、配电室等高风险区域进行单独监控，即对单独已知区域进行监控，例如CN110166751A。但是这种方式需要提前预知哪些区域是高风险区域，虽然按照施工经验可以设定一些高风险区域，在施工前专门安装相应的设备对准该区域进行监控，但这种方案依然具有三个缺点：1、只能排除一些常见的风险区域，并且依赖施工方的经验。而根据大量事故数据表明，虽然大部分危险发生在常见的一些危险区域，但仍然有非常大比例的事故是在其他未预先知道的区域发生的。2、随着施工进度变化，某些高风险区域位置会发生变化，因此需要重新设定监控设备位置，费时费力。3、不能在光线不好的条件下危险预防危险发生。

有一些方案提出对特殊区域的进入进行管控，例如通过打卡、人脸识别等方式。但是这种方式只能规范进入的人员和状态，并不能实时预警。而且特殊区域也需要提前指定，并不全面，并且存在上述类似问题。

目前还有一些方案提到了建筑工地的智能管理系统，但这些系统都是在获得了报警信号后如何发送，如何统筹协调管理，并没有涉及如何自动地、准确地、方便地监控整个施工进度内，施工场地的安全。

而且目前对施工区域监控的方案都是在监控重物跌落、倒塌等安全风险。并没有一个方案能够监控在整个施工进度内监控整个施工区域的坠落、触电、重物掉落、碰撞、火灾等多种类型的安全风险。特别是，也没有方案对于傍晚、阴天等光照不好条件下如何监控安全提出改进。事实上，这是风险极高的时间段。

目前也有通过图片对比的方式进行施工安全的监控，但这种对比一般采用人工对比，费时费力不准确；或是采用图像处理的方式，但每个施工工地并不完全相同，因此这种方法准确性往往不高，通常还需要人工复核。而且不管哪种方式，数据库中都需要大量图片，收集图片本身就是巨大的工程。

为了能够解决上述现有技术中存在的问题，例如准确、全面、自动地监控各种风险类型，避免预设风险区受施工经验的影响，并且随着施工进度、风险区域的变换能够自动变换监控，同时能够对光照条件不佳的情况下保持准确监控等，提出本发明。

发明内容

本申请描述了一种基于机器视觉的施工安全监控报警方法，包括：

在施工区域四周设置多个周边监测装置，在施工场地矩形区域的四个角上分别设置监测装置，在矩形区域的四个边上分别间隔10-20米设置监测装置；周边监测装置包括可见光相机和红外相机；

初始化可见光相机，每个可见光相机分别沿水平方向和俯仰方向进行扫描旋转，保证相机朝向施工区域的方向全部被扫描到，在扫描的同时进行拍照并记录拍摄每张照片时可见光相机的位姿；每一次扫描获得的图片均传输至管理平台，管理平台将每一张图片送入神经网络进行分析，从而准确判断该图片中的施工区域的风险等级，在风险等级高时，记录此时的相机位姿，从而固定该相机位姿；在可见光相机初始化后，同一周边监测装置中的红外相机直接设定为与其相同的位姿；

周边监测装置中的可见光相机和红外相机以一定频率拍摄其所对准的施工区域，并将图片送至管理平台，管理平台利用神经网络进行分析，当有异常人员或物体进入该高风险区时，通过神经网络进行识别报警；

神经网络处理步骤包括：

步骤1：对拍摄到的工地施工现场图像进行预处理，其目标是对输入图像的噪声进行抑制或者去除；包括：

1.1选取滤波卷积核K。

1.2对于源图像S，应用卷积核K，得到目标图像D，其中核函数如下：

其中，σ为函数的方差

步骤2：建立图像之间差分运动特征向量，通过度量前后帧图像之间的差异，建立图像随时间变化的特征向量，作为神经网络的输入信号；

步骤3：采用神经网络算法对输入信号进行识别，输入信号为步骤2所得差分运动特征向量D，输出为是否产生告警，可标识为{0,1}集合，0对应不产生告警，1对应产生告警；

其中在输入层与全连接层之间插入了含有局部运动信息的卷积层构成了神经网络，并且在训练神经网络时，选取交叉熵函数作为度量神经网络拟合效果的代价函数，该函数为

上式中，x是神经网络的输入，y是神经网络的输出值，a表示样本的真实值，n是样本数量。

进一步，还包括可见光图像和红外图像的融合步骤，具体包括：

步骤1、将图像Iv(R,G,B)按照如下公式映射到新空间Iv(V)，其中：

步骤2、设置如下的卷积窗口：

其中，u,v分别是窗口内部元素相对于窗口中心在横坐标和纵坐标上的偏移。对Iv(V)和Ir(R)分别应用四个卷积窗口，得到8张图像Iv(C1)、Iv(C2)、Iv(C3)、Iv(C4)和Ir(C1)、Ir(C2)、Ir(C3)、Ir(C4)。其中Ir(R)为红外图像。

步骤3、根据对应卷积窗口在红外图像和可见光图像上的响应，生成一张融合图像Im(C)，其每一个像素的值等于：

步骤4、根据融合图像Im(C)、Iv(V)生成一张新的RGB融合图像Im(R,G,B)，其中：

更进一步，如果发生报警事件，管理平台会定向发出声音警报，并且在能见度较低的情况下，管理平台可以通过直射光源照射报警区域。

更进一步，每个可见光相机和红外相机均安装在支架上，支架上设置水平旋转平台和俯仰旋转平台，使得相机在支架上可以在水平面中转动，方便调节相机光轴所对应的水平方向；同时相机可以在支架上俯仰转动，方便调节相机光轴所对应的垂直方向。

更进一步，每个相机的光轴对准矩形区域外接圆的圆心。

更进一步，在进行监控前对可见光相机和红外相机进行位姿初始化。

一种使用上述方法的施工安全监控报警装置。

本发明的发明点及技术效果：

1、针对施工安全的场景特殊设计了神经网络结构(包括结构、激励函数、代价函数等)，同时兼顾了识别率和训练时间，并且不依靠人工经验，对于高风险区的监控更加全面，防止遗漏。

2、针对光照条件不佳的情况，在硬件上设置了红外相机和可见光相机相融合的方案，在软件上针对这样的方案进行了特殊的图像融合处理，提高了光照条件不佳的情况下的识别率。

3、通过相机的初始化方法使得整个系统能够自动对准高风险区域，而不需要人工参与，既节省了人工成本，也能够防止风险区域遗漏。

4、从光学角度设计了相机，使其采集的图片更加适合本发明的识别。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1是安全监控报警装置结构示意图；

图2是核函数例图；

图3是神经网络结构示意图；

图4是在神经元前接入激励函数的神经网络示意图。

具体实施方式

本发明提出了一种基于机器视觉的施工安全监控装置及方法，利用摄像机采集施工现场的图像，设计神经网络算法对视频中的敏感区域进行分析，实现对施工现场高风险区域的实时监控，当有人员进入敏感区域，输出一个报警信号，实行程序化自动报警。具体如下：

监控报警装置结构

施工安全监控报警装置，包括多个周边监测装置1，设置在施工场地3四周，施工场地内具有建筑物4。周边监测装置1包括可见光相机1-1和红外相机1-2。具体为在施工场地3矩形区域的四个角上分别设置监测装置1。优选的，在矩形区域的四个边上分别间隔10-20米设置监测装置1(图中未示出)，每个相机的光轴对准矩形区域外接圆的圆心。

为了保证图像质量及拍摄范围，优选可见光和红外相机镜头应当如下设计：

透镜面	曲率半径	厚度/间隔	折射率	阿贝数	焦距
						第1镜片第1面	0.801	0.201	1.51	56.4	2.305
第1镜片第2面	2.763	0.230	1.51	56.4	2.305
						第2镜片第1面	-4.732	0.463	1.53	55.1	-70.021
第2镜片第2面	-5.089	0.171	1.53	55.1	-70.021
						第3镜片第1面	0.701	0.456	1.58	32	6.916
第3镜片第2面	0.622	0.181	1.58	32	6.916

该镜头是为了后续神经网络处理图像更加准确快捷而专门设计的，虽然用普通镜头也可以，但利用该镜头能够提高图像采集质量，更适合本发明中特殊的神经网络模型结构和算法，因此也是本发明的发明点之一。

每个相机安装在支架上，支架上设置水平旋转平台和俯仰旋转平台(图中未示出)，使得相机在支架上可以在水平面中转动，方便调节相机光轴所对应的水平方向；同时相机可以在支架上俯仰转动，方便调节相机光轴所对应的垂直方向。

每个相机与管理平台连接，进行远程的管理和监控，并及时报警。

初始化方法

在初始化时，每个相机分别沿水平方向和俯仰方向进行扫描旋转，保证相机朝向施工区域的方向全部被扫描到，在扫描的同时进行拍照并记录拍摄每张照片时的相机的位姿。该扫描过程可以为先固定某一俯仰角，再进行水平方向-60°～60°范围内的扫描，进行后再改变另一俯仰角。再进行水平方向-60°～60°范围内的扫描，依次类推，直到水平-60°～60°范围和俯仰范围-60°～60°均被扫描到。

上述扫描过程优选可以为根据管理平台中存储的，不同位置相机的初始水平角和俯仰角的统计规律，将该位置出现概率最大的水平角和俯仰角设定为初始角度，在这个角度基础上利用上述方法改变水平角和俯仰角依次进行扫描。这样，可以极大地提高获得高风险区域的可能性，并缩短扫描时间。

每一次扫描获得的图片均传输至管理平台，管理平台将每一张图片送入专门设计的神经网络进行分析，从而准确判断该图片中的施工区域的风险等级。在风险等级较高时，记录此时的相机位姿(水平角、俯仰角)，从而固定该相机位姿。

因此类推，进行第2台、第3台…第n台相机的初始化，其过程与前述一致。例如第n台相机拍摄的图片被神经网络判断为高风险等级，此时分析第n台相机拍摄的图片所代表的区域与位姿已经固定的第1、2…n-1台相机固定拍摄的区域是否有重叠，如果重叠超过50％，则第n台相机需要继续扫描，而不固定位姿，直到寻找到一个高风险区域，且其他前面相机未拍摄的区域。在可见光相机初始化后，同一周边监测装置中的红外相机直接设定为与其相同的位姿。这种初始化方法也是本发明的发明点之一

当然，随着施工进度的变化，高风险区域也在变化。因此，定期应当重新对相机进行初始化，例如在每天开工前进行初始化，也可以定期进行初始化。

在初始化后，可见光相机以一定频率拍摄其所对准的施工区域，并将图片送至管理平台，管理平台利用神经网络进行分析，当有异常人员或物体进入该高风险区时，通过神经网络进行识别报警。虽然使用可见光相机并结合神经网络虽然可以较为准确的监控安全风险，但当临近傍晚时、阴天时，此时可见度较低，会导致识别误差较大。因此此时通过红外相机对应拍摄高风险区图片，将红外相机图片与可见光相机图片相互融合，从而提高在低可见度时间的识别率。这也是本发明的发明点之一。由于红外相机价格较高，因此如果选择拍摄图片质量好的相机会增加成本，本发明通过可见光相机与红外相机图片相互配合，降低了对红外相机图像质量的要求，同时克服了可见光相机傍晚时刻识别率差的问题。

在光照条件比较好的情况下，如果发生识别报警事件，管理平台会定向发出声音警报。当然，也可以让进入施工区域的人员佩戴移动终端，管理平台通过向移动终端发射信号的方式进行报警，并后台记录报警事件。在能见度较低的情况下，管理平台可以通过直射光源照射报警区域，从而提醒相关进入人员注意安全风险，例如可以向高风险区域投射红色感叹号标记。这也是发明点之一。

为了准确识别，自动报警，管理平台中的神经网络模型尤为重要，这也是本发明的重要发明点之一。机器视觉是模式识别、人工智能领域正在快速发展的一个分支。通俗的说，机器视觉就是用机器代替人眼和人脑进行感知与决策。一套完整的机器视觉系统包括视觉采集装置、图像处理装置、视觉识别装置等部分。视觉采集装置(摄像机或照相机)将被摄取目标转换成图像信号，传送给图像处理装置。图像处理装置获得视觉采集装置传递的信号，通过进行滤波、采样等处理后，获得图像数据，并将数据传递给视觉识别装置。视觉识别装置再根据图像的像素分布和亮度、颜色等信息执行图像识别等任务，完成决策。神经网络，又称人工神经网络，是以人脑神经元互联结构为基础，通过数学模型来模拟神经元与神经元之间的连接，实现对人脑神经的模拟。抽象地说，神经网络是一种运算模型，由大量的节点相互联接构成，这些节点就称为神经元。每个神经元对应一组输入和一组输出，神经元与神经元之间通过某个预定义的权重相互连接。对神经网络训练后得到的神经网络参数的集合就与人的记忆类似。通常所说训练一个神经网络，就是指建立某个神经网络，确定其节点的数量及节点间连接方式，并通过训练后获得一组神经网络参数。神经网络作为一个整体，有多个输入和多个输出，直接与输入相联结的神经元节点称为输入层，直接与输出相联结的神经元称为输出层，输入层和输出层之间的神经元统称为隐藏层。

神经网络

管理平台中的神经网络是按如下步骤构建的：基于机器视觉的施工安全监控装置及方法，主要包含下列步骤：

1、一种对施工现场图像预处理的方法；

2、一种建立图像之间差分运动特征向量的方法；

3、一种基于神经网络的施工安全监控装置及方法。

步骤1所述的一种对施工现场图像预处理的方法，是指对拍摄到的工地施工现场图像进行预处理，其目标是对输入图像的噪声进行抑制或者去除，包括下列步骤：

1.1选取滤波卷积核K。

1.2对于源图像S，应用卷积核K，得到目标图像D。D的每一个像素由下式确定：

D_ij＝∑_m∑nS_i+m，j+n×K_mn (1)

上式表明目标图像D等于源图像S与卷积核K的卷积，图像卷积是一维信号卷积的二维拓展，目标图像像素是源图像像素与卷积核在卷积窗内对应像素乘积之和。如所示。

特别地，为了抑制源图像噪声，选取核函数，该函数定义如下：

其中，σ为函数的方差，其值越大表明对噪声的抑制效果越好，相应的，图像的细节也保留的越少。

以卷积核窗口边长为3，方差σ＝1.5为例，以窗口的中心为坐标原点，核函数的取值如图2所示。

步骤2所述的一种建立图像之间差分运动特征向量的方法，通过度量前后帧图像之间的差异，建立图像随时间变化的特征向量，作为神经网络的输入信号。该方法包含下列步骤：

2.1在监控场景处布置N台摄像机，N台摄像机拍摄的图像分辨率相同。摄像机编号分别是1、2、…、N。任意选取一个图像坐标X＝(x,y)，摄像机1-1在坐标X处的图像像素取值为I₁(x,y)，摄像机1-2在坐标X处的图像像素取值为I₂(x,y)，以此类推，摄像机N在坐标X处的图像像素取值为I_N(x,y)。

2.2建立三维矩阵D(x,y,z)，z的取值范围为1、2、…、N-1，使得：

D(x，y，z)＝I_z+1(x，y)-I_z(x，y) (3)

即D(x,y,1)＝I₂(x,y)-I₁(x,y)，D(x,y,2)＝I₃(x,y)-I₂(x,y)，以此类推，D(x,y,N-1)＝I_N(x,y)-I_N-1(x,y)。D(x,y,z)即为步骤2的输出差分运动特征向量。

作为实践的一种推荐配置，将N台摄像机围绕拍摄场景环形布置，并按顺时针方向依次编号，使得编号相邻的两台摄像机处于最近临位，有助于提高方法的识别率。

步骤3所述一种基于神经网络的施工安全监控装置及方法，神经网络分类器由输入层、输出层和隐藏层组成，每一层包含若干个节点，称为神经元，神经元、神经元之间的连接组成了神经网络(图3)；采用神经网络算法对输入信号进行识别，输入信号为步骤2所得差分运动特征向量D，输出为是否产生告警，可标识为{0,1}集合，0对应不产生告警，1对应产生告警。该方法分为下列步骤：

3.1神经网络结构的建立，是指设置神经网络输入层、隐藏层与输出层神经元之间的连接方式，设置神经网络的激励函数。进一步划分为如下步骤：

3.1.1以下列方式建立神经网络的第一个隐藏层：

3.1.1.1对输入数组D在第三维上进行切分，可以得到N-1个二维数组D(·，·，z)，z∈{0，1，…，N-1}。

3.1.1.2对二维数组D(·，·，z)进行遍历，对每个元素D(x，y，z)，选取以其为中心，在x、y方向上范围均为N₁的N₁×N₁邻域，在第一隐藏层插入一个节点h₁(x,y,z)，并为输入层邻域内所有节点和新节点分别建立一条连接；设置遍历步长为s，选取下一个输入层的参考点，以相同方式在第一隐藏层插入一个新节点，并建立连接；遍历时使选取的邻域内的所有节点都在输入层内(即略去边缘点)，重复直至遍历完成。经过大量实验，根据本发明场景限定，s优选为3-5，特别优选为4。这样可以兼顾识别效果和训练速度。这也是本发明的发明点。

3.1.1.3对于上述获得的第一隐藏层节点，每个节点与输入层的N₁ ²个节点相连，对于每个隐藏层节点，设置其与输入层对应位置节点连接的权重为相同值。

3.1.1.4按照步骤3.1.1.2和步骤3.1.1.3的过程对步骤3.1.1.1获得的N-1个数组进行遍历；遍历完成后得到所有的第一隐藏层节点。由于第一隐藏层的连接方式相当于对二维数组的卷积操作，故命名第一隐藏层为卷积层。

3.1.2在卷积层后放置一个全连接层，全连接层设置有128个节点，全连接的含义是，对于卷积层的每一个节点，全连接层的全部节点都与其相连。

3.1.3将全连接层连接到输出层，输出层仅有一个节点，全连接层的每个节点均与其相连。

3.1.4定义神经网络的激励函数。神经元之间的连接权重是线性的，为了使神经网络能够模拟非线性函数，需要在每个神经元之前放置一个激励函数，该函数具有非线性特性。一个三层网络的结构包括输入层、隐藏层和输出层，如图4所示。

左侧三个节点X₁,X₂,1为输入层节点，右侧节点y为输出层节点，中间h₁,h₂,h₃为隐藏层节点，σ表示激励函数。神经网络的输出与输入之间的关系由下面式子定义：

其中w为权重系数，b为截距项。

本发明中，采用如下的激励函数：

3.2神经网络的训练。

3.2.1训练数据的归一化。

原始的训练数据为在T(t)时刻与T(t+1)时刻所有监控摄像机拍摄的图像建立的差分运动特征向量，及与其对应的T(t+1)时刻警报事件的发生标记。根据归一化原则对数据进行预处理。

设输入数据为X，则归一化数据X*根据下面式子计算：

其中μ为原始数据的均值，σ为原始数据的标准差。

3.2.2根据步骤3.1所述的方法建立神经网络，将步骤3.2.1获得的归一化的训练集数据作为输入，与图像对应的施工阶段标记作为输出，采用反向传播算法训练神经网络。

3.3利用神经网络识别施工现场是否发生警报事件。

3.3.1测试数据的归一化。根据步骤3.2.1所述的归一化方法，对测试集数据进行归一化。

3.3.2根据步骤3.2所述方法训练神经网络。训练神经网络时，选取度量神经网络拟合效果的代价函数定义如下：

上式中，x是神经网络的输入，y是神经网络的输出值，a表示样本的真实值，n是样本数量。训练完成后，将步骤3.3.1所获得的测试集数据作为输入，输入到训练完毕的神经网络模型中，神经网络模型输出警报事件是否发生。

特别要注意，代价函数是神经网络模型设计中核心内容之一，不同代价函数将会直接影响算法实施，并最终影响检测的效果及效率，上述代价函数是针对本发明的应用场景和硬件配置专门设计的，是发明点之一。

当然，不使用本发明的神经网络模型，使用其它模型甚至不使用模型也可以完成监控(例如人工)，也就是说本发明的硬件结构、红外图像与可见光相融合的构思也可以单独使用。也就是说，本发明的发明点相互之间互相关联，但单独也可以作为单独发明点。

红外与可见光图像融合

对于光照条件不佳的情况下，在上述步骤前，还需要进行红外与可见光图像的融合步骤，如下：

红外相机图片与可见光相机图片融合，是指根据红外图像与可见光图像局部信息特点，以可见光图像的信息为基础，将红外图像信息的局部变化融入可见光图像，实现对可见光图像信息的补充，使得能见度较低的情况下图像源仍能保持较为丰富的信息，可供神经网络算法识别使用。

设Iv(R,G,B)表示三通道RGB可见光图像，Ir(R)表示单通道红外图像。两者尺寸相同，且对应坐标的像素值对应真实世界的物理坐标相同。上述条件可以通过采购参数相近的红外相机与可见光相机实现，或者在软件上通过摄像机标定和图像重采样实现。

图像融合的步骤如下：

步骤1、将图像Iv(R,G,B)按照如下公式映射到新空间Iv(V)，其中：

步骤2、设置如下的卷积窗口：

其中，u,v分别是窗口内部元素相对于窗口中心在横坐标和纵坐标上的偏移。对Iv(V)和Ir(R)分别应用四个卷积窗口，得到8张图像Iv(C1)、Iv(C2)、Iv(C3)、Iv(C4)和Ir(C1)、Ir(C2)、Ir(C3)、Ir(C4)。

步骤3、根据对应卷积窗口在红外图像和可见光图像上的响应，生成一张融合图像Im(C)，其每一个像素的值等于：

步骤4、根据融合图像Im(C)、Iv(V)生成一张新的RGB融合图像Im(R,G,B)，其中：

神经网络模型可以在理论上逼近任意函数。神经网络的复杂度与参数的数量以及神经元之间的连接方式(即网络结构)有关，与基本的全连接结构相比，可以通过设置合理的网络结构提高神经网络对特定问题的求解能力。本文针对施工监控报警问题改进了神经网络结构，主要特点如下：

1)业界常用的用于图像识别的卷积神经网络接受的输入数据受限于多通道可见光数据，并且通常是应用于实验室环境中所获得的数据；与当前常用的卷积神经网络不同，本文所述方法针对建筑施工工地上所拍摄的图像，这些图像由经过特别设计的摄像机拍摄得到，而且图像并不直接输入神经网络，而是通过一次差分处理获得多摄像机的协同特征向量(步骤2)，再输入神经网络进行运算。

2)与通用的全连接神经网络不同的是，本方法所定义的神经网络其输入层没有直接连接全连接层，而是在输入层与全连接层之间插入了含有局部运动信息的卷积层，用以抽象与空间局部运动信息相关的模式(步骤3.1)；

2)在前述优化的基础上，减少全连接层的节点，实现对神经网络参数数量的优化，提升神经网络的工作性能。

下给出了在同量级参数数目下，使用经典的全连接神经网络与使用本文所述网络模型的神经网络的识别性能对比。

网络类型	参数数量	识别正确率	训练时间
				全连接	1,352,000	75.2％	12小时2分
本发明	1,352,000	89.7％	4时54分

Claims (7)

1.一种基于机器视觉的施工安全监控报警方法，其特征在于：

在施工区域四周设置多个周边监测装置，在施工场地矩形区域的四个角上分别设置监测装置，在矩形区域的四个边上分别间隔10-20米设置监测装置；周边监测装置包括可见光相机和红外相机；

初始化可见光相机，每个可见光相机分别沿水平方向和俯仰方向进行扫描旋转，保证相机朝向施工区域的方向全部被扫描到，在扫描的同时进行拍照并记录拍摄每张照片时可见光相机的位姿；每一次扫描获得的图片均传输至管理平台，管理平台将每一张图片送入神经网络进行分析，从而准确判断该图片中的施工区域的风险等级，在风险等级高时，记录此时的相机位姿，从而固定该相机位姿；在可见光相机初始化后，同一周边监测装置中的红外相机直接设定为与其相同的位姿；

周边监测装置中的可见光相机和红外相机以一定频率拍摄其所对准的施工区域，并将图片送至管理平台，管理平台利用神经网络进行分析，当有异常人员或物体进入该高风险区时，通过神经网络进行识别报警；

神经网络处理步骤包括：

步骤1：对拍摄到的工地施工现场图像进行预处理，其目标是对输入图像的噪声进行抑制或者去除；包括：

1.1选取滤波卷积核K。

1.2对于源图像S，应用卷积核K，得到目标图像D，其中核函数如下：

其中，σ为函数的方差

步骤2：建立图像之间差分运动特征向量，通过度量前后帧图像之间的差异，建立图像随时间变化的特征向量，作为神经网络的输入信号；

步骤3：采用神经网络算法对输入信号进行识别，输入信号为步骤2所得差分运动特征向量D，输出为是否产生告警，可标识为{0,1}集合，0对应不产生告警，1对应产生告警；

其中在输入层与全连接层之间插入了含有局部运动信息的卷积层构成了神经网络，并且在训练神经网络时，选取交叉熵函数作为度量神经网络拟合效果的代价函数，该函数为

上式中，x是神经网络的输入，y是神经网络的输出值，a表示样本的真实值，n是样本数量。

2.如权利要求1所述的方法，其特征在于：还包括可见光图像和红外图像的融合步骤，具体包括：

步骤1、将图像Iv(R,G,B)按照如下公式映射到新空间Iv(V)，其中：

步骤2、设置如下的卷积窗口：

其中，u,v分别是窗口内部元素相对于窗口中心在横坐标和纵坐标上的偏移。对Iv(V)和Ir(R)分别应用四个卷积窗口，得到8张图像Iv(C1)、Iv(C2)、Iv(C3)、Iv(C4)和Ir(C1)、Ir(C2)、Ir(C3)、Ir(C4)。

步骤3、根据对应卷积窗口在红外图像和可见光图像上的响应，生成一张融合图像Im(C)，其每一个像素的值等于：

步骤4、根据融合图像Im(C)、Iv(V)生成一张新的RGB融合图像Im(R,G,B)，其中：

3.如权利要求2所述方法，其特征在于：如果发生报警事件，管理平台会定向发出声音警报，并且在能见度较低的情况下，管理平台可以通过直射光源照射报警区域。

4.如权利要求3所述方法，其特征在于：每个可见光相机和红外相机均安装在支架上，支架上设置水平旋转平台和俯仰旋转平台，使得相机在支架上可以在水平面中转动，方便调节相机光轴所对应的水平方向；同时相机可以在支架上俯仰转动，方便调节相机光轴所对应的垂直方向。

5.如权利要求4所述方法，其特征在于：每个相机的光轴对准矩形区域外接圆的圆心。

6.如权利要求1所述方法，其特征在于：在进行监控前对可见光相机和红外相机进行位姿初始化。

7.一种使用权利要求1-6所述方法的施工安全监控报警装置。

Images