CN115311592A - 一种基于计算机视觉技术的施工现场物料安全评估系统 - Google Patents

Abstract

本发明提供了一种基于计算机视觉技术的施工现场物料安全评估系统，包括：校准模块，用于基于预先设置在施工现场的定位色块，对采集模块进行位置校准处理，当位置校准合格后，控制采集模块采集施工现场的图像数据；校准模块，还用于将图像数据与预设数据进行对齐处理，获取施工现场的材料堆放区域；识别模块，用于基于物料识别模型对材料堆放区域对应的实际图像进行物料识别以及基于物料复杂度模型对材料堆放区域对应的实际图像进行物料复杂度识别；评估模块，用于基于物料复杂度算法、物料越界判定算法以及物料分散度算法，对识别模块的识别结果进行综合安全评估。可以确定施工现场的综合安全评估，可以有效地避免人为评估，提高评估效率。

Description

一种基于计算机视觉技术的施工现场物料安全评估系统

技术领域

本发明涉及施工现场的物料安全评估技术领域，特别涉及一种基于计算机视觉技术的施工现场物料安全评估系统。

背景技术

全面质量管理理论提出，人机料法环是五个影响施工产品质量的主要因素，其中人指制造产品的人员，即工人；机指制造过程中使用的机器，包括物料加工机器、工程机械（起重机、挖掘机、吊车等等）；料指生产所用的原材料，即物料；法指制作工艺流程；环指施工环境。施工现场的安全风险的直接来源为人的不安全行为与物的不安全状态，其中，由物料造成的打击、绊倒等事故是造成工人伤亡的重要原因。因此物料在施工现场的整齐、合理、规则堆放可以有效体现施工项目的安全管理能力。

目前针对物料管理多采用人工巡逻的方法，依靠现场材料员、安全相关管理人员在现场巡视，通过定性的方法对物料的堆砌位置的正确与否、整齐程度和临时性物料在现场的分散程度进行判断。但是依靠人力巡逻的物料安全管理方法首先受到人力的限制，不能全面地反映工地全区的情况，其次不同材料员、安全相关管理人员对物料的各维度评价标准不同，依赖工作人员的主观判断，导致存在滥竽充数、评价参差不齐的现象发生，最后对物料管理的评测并没有数据存留，导致发生问题时无法溯源。

装配式建筑作为建设行业发展的大趋势，越来越多的装配式构件作为施工的物料出现在施工现场，在提高施工效率的同时，增加了施工现场安全物料管理的难度和风险。近年来计算机视觉、BIM技术的发展为数字化安全管理施工现场物料提供助力。

因此针对目前施工现场物料安全管理的现状，本发明基于计算机视觉结合BIM技术研发了施工现场物料安全评估系统，帮助材料员、安全相关管理人员客观、全面地安全管理施工现场物料。

发明内容

本发明提供一种基于计算机视觉技术的施工现场物料安全评估系统，用以解决上述提出的技术问题。

本发明一种基于计算机视觉技术的施工现场物料安全评估系统，包括：

校准模块，用于基于预先设置在施工现场的定位色块，对采集模块进行位置校准处理，当位置校准合格后，控制所述采集模块采集施工现场的图像数据；

所述校准模块，还用于将所述图像数据与预设施工平面布置图中的预设数据进行数据对齐处理，获取所述施工现场的材料堆放区；

预训练模块，用于基于卷积神经网络对施工现场相关的预设物料进行识别训练，得到物料识别模型，同时，基于卷积神经网络对施工现场相关的不同角度下的预设物料进行复杂度训练，得到物料复杂度模型；

识别模块，用于基于所述物料识别模型对所述材料堆放区对应的实际图像进行物料识别以及基于所述物料复杂度模型对材料堆放区对应的实际图像进行物料复杂度识别；

评估模块，用于基于物料复杂度算法、物料越界判定算法以及物料分散度算法，对所述识别模块的识别结果进行综合安全评估。

优选的，所述校准模块，还用于对所述采集模块采集的图像数据进行颜色校准处理，包括：

遍历单元，用于在RGB空间中遍历所述图像数据中的每一图像的每一像素点，计算点(X _i ,Y _j )的像素和：

C _ij = R _ij +G _ij +B _ij

其中，C _ij 表示点(X _i ,Y _j )的像素和；R _ij 表示点(X _i ,Y _j )对应红色通道的红色分量；G _ij 表示点(X _i ,Y _j )对应绿色通道的绿色分量；B _ij 表示点(X _i ,Y _j )对应蓝色通道的蓝色分量；

计算单元，用于获取所有像素和中的最大像素和C _m ，得到对应的R _m ,G _m ,B _m ，同时，对所有点的像素和进行大小排序，并提取大小分布结果所对应预设位置的像素点的

，并计算得到每一图像各像素点的增益系数R _g ,G _g ,B _g ；

从而得到各像素点的最后RGB值，进而完成颜色校准处理；

其中，R _m 表示最大像素和所对应点的红色通道的红色分量；G _m 表示最大像素和所对应点的绿色通道的绿色分量；B _m 表示最大像素和所对应点的蓝色通道的蓝色分量；

表示所对应预设位置的像素点的红色分量均值；

表示所对应预设位置的像素点的绿色分量均值；

表示所对应预设位置的像素点的蓝色分量均值；

表示点(X _i ,Y _j )对应红色通道的最后红色分量；

表示点(X _i ,Y _j )对应绿色通道的最后绿色分量；

表示点(X _i ,Y _j )对应蓝色通道的最后蓝色分量；R _g 表示红色分量对应的增益系数；G _g 表示绿色分量对应的增益系数；B _g 表示蓝色分量对应的增益系数。

优选的，所述采集模块，包括：

遥控单元，用于遥控云台单元上安装的高清相机的相机镜头的当前朝向；

云台单元，用于按照惯性测量单元和电机磁编码器对所述高清相机的相机镜头进行姿态校准；

图传单元，用于对朝向调整以及姿态校准后的高清相机的实时监控结果进行传输；

其中，所述实时监控结果为采集的施工现场的图像数据。

优选的，所述校准模块，包括：

设置单元，用于在施工现场设置多个定位色块；

第一获取单元，用于获取包括对应定位色块在内的第一图像，并将所述第一图像从RGB画面转换为HSV画面；

记录单元，用于基于所述HSV画面，获取满足第一预设要求的像素块，并记录水平方向上的最大值和最小值对应的像素块坐标，确定两者像素块坐标的平均坐标，作为多个定位色块的中心点坐标，并记录为原始坐标；

提醒单元，用于后续实时监测多个定位色块的后续中心点坐标，当所述后续中心点坐标与所述原始坐标的差值信息不满足第二预设要求时，进行报警提醒，并对后续中心点坐标进行校准更新，进而实现对高清相机的位置校准；

第二获取单元，用于按照校准后的高清相机采集的图像数据与预设数据进行对齐处理，得到材料堆放区。

优选的，所述预训练模块，包括：

提取单元，用于将BIM模型中在材料堆放区的预设堆放的各类物料单件依次摆放在材料堆放区，对应提取材料堆放区的原始色彩图像以及轮廓坐标为预设颜色材料的图像，计算轮廓范围内的图像复杂度；

复杂度数组获取单元，用于将材料堆放区中各类物料单件顺时针旋转1°，并重复操作360次，得到对应类物料的图像复杂度数组F _ZU ，且F _ZU = {C _ni ,i = 1,2,3,...,360}，其中，n为对应类物料在BIM模型中的编号，i=1，2，3…360，记对应类物料的复杂度为C _n ：

C _n = Min(F _ZU )

其中，n为对应类物料在BIM模型中的编号，i=1，2，3…360，BIM模型的编号数据集为N，n ∊ N；Min()表示针对对应类物料的图像复杂度数组F _ZU 的复杂度获取函数；

其中，针对每次操作后，对应类物料的图像复杂度数组中第i个物料单件的物料复杂度C _ni ，计算公式如下：

C _ni = ENT + IMD - CON - ASM

其中，对应第i个物料单件的图像熵为ENT，对应第i个物料单件的图像逆差矩为IMD，对应第i个物料单件的图像对比度为CON，对应第i个物料单件的图像能量为ASM。

优选的，所述评估模块，包括：

轮廓中心点计算单元，用于获取识别模块的识别结果，并基于识别结果获取每个实际物料坐标和实际物料所属的BIM模型编号，并提取到对齐模块对齐后的BIM模型的施工平面布置图中，计算每个实际物料的轮廓中心点坐标；

第一判断单元，用于判断所述轮廓中心点坐标是否位于对应材料堆放区中，若是，计算同编号对应的实际物料的图像复杂度，并获取图像复杂度的最小值；

其中，m为BIM模型中的编号为n的实际物料在材料堆放区的出现次数，n ∊ N；C _j1表示对应图像中第j1次出现编号为n的实际物料的复杂度；M _n 表示编号为n的实际物料的图像复杂度；

当M _n ∊ [0,1.2]时，显示所述材料堆放区对应编号为n的实际物料堆放整齐；

当M _n ∊ [1.2,2]时，显示所述材料堆放区对应编号为n的实际物料堆放合格；

当M _n ∊ [2,+∞]时，显示所述材料堆放区对应编号为n的实际物料堆放不合格；

若不是，对下一个同编号实际物料进行判断。

优选的，所述评估模块，还包括：

第二判断单元，用于当判定所述轮廓中心点坐标不位于对应材料堆放区中时，获取对应实际物料的轮廓坐标，若所述轮廓坐标不位于材料堆放区内，判定对应实际物料越界。

优选的，所述评估模块，还包括：

第三判断单元，用于判断并提取所有所述轮廓中心点坐标不位于对应材料堆放区中的实际物料的中心点坐标及其所属类别；

将BIM模型中的施工平面布置图进行分割，向下取整得到a个像素空间，统计每个像素空间内的实际物料的数量，记录除零外各数量出现的频次，如果频次小于0.01a，则将该数量对应的频次记为0，统计频次数组中除0外的中位数对应的单位像素空间的物料数量，得到物料分散度F；

当F等于0或1时，判定对应施工现场整洁；

当F大于1小于等于3时，判定对应施工现场合格；

当F大于3时，判定对应施工现场不整洁。

优选的，所述评估模块，还包括：

匹配单元，用于获取所述第一判断单元、第二判断单元以及第三判断单元的判断结果，并根据对应判断单元的单元属性以及对应判断结果的结果属性，确定每个判断单元对应的当下重要值；

其中，Y _y 表示第y个判断单元对应的当下重要值；

表示第y个判断单元对应的单元属性的标准单元转换值；

表示第y个判断结果对应的结果属性的标准结果转换值；

；exp（）表示指数函数；y=1，2，3；

获取不同单元属性对应的等级列表，并从所述等级列表中，为所述当下重要值匹配对应的优先等级；

根据所述优先等级得到对应的等级权重，并计算对应的提醒值S；

其中，d_y表示第y个判断单元对应的等级权重值，且取值范围为(0,1)；

表示对第y个判断单元的微调因子，且取值范围为（0,0.1）；

表示平均微调因子，且

；

根据提醒值S，设置对应的提醒等级，并按照提醒等级进行预警提醒。

优选的，所述第二获取单元，包括：

标注子单元，用于获取所述预设施工平面布置图，并确定预设施工平面布置图中每个预设区域的施工目的，且根据所述施工目的确定对应预设区域的预设操作难度以及预设操作作业，按照所述预设操作难度对对应预设区域进行第一标注，同时，按照预设操作作业对对应预设区域进行第二标注；

预测子单元，用于预测对应预设区域在对应的所述预设操作难度以及预设操作作业下的物料保存情况，获取每个预设区域的初始物料分配情况，且所述初始物料分配情况包括：初始物料分类、不同类初始物料的物料多少、以及不同类初始物料的被使用时间以及被使用概率；

设定子单元，用于按照第一标注结果、第二标注结果以及初始物料分配情况，设定每个预设区域的对齐处理顺序；

规划子单元，用于按照预设区域的区域分布对预设数据进行第一分割，同时，也对所述图像数据进行第二分割，并按照对齐处理顺序，对第一分割结果以及第二分割结果进行区域对齐，实现对对应的数据的对齐处理，得到材料堆放区。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中一种基于计算机视觉技术的施工现场物料安全评估系统的结构图；

图2为本发明实施例中数据采集模块A的结构图；

图3为本发明实施例中数据采集模块B的结构图；

图4为本发明实施例中施工平面布置—定位色块示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

本发明一种基于计算机视觉技术的施工现场物料安全评估系统，如图1所示，包括：

校准模块，用于基于预先设置在施工现场的定位色块，对采集模块进行位置校准处理，当位置校准合格后，控制所述采集模块采集施工现场的图像数据；

所述校准模块，还用于将所述图像数据与预设施工平面布置图中的预设数据进行数据对齐处理，获取所述施工现场的材料堆放区；

预训练模块，用于基于卷积神经网络对施工现场相关的预设物料进行识别训练，得到物料识别模型，同时，基于卷积神经网络对施工现场相关的不同角度下的预设物料进行复杂度训练，得到物料复杂度模型；

识别模块，用于基于所述物料识别模型对所述材料堆放区对应的实际图像进行物料识别以及基于所述物料复杂度模型对材料堆放区对应的实际图像进行物料复杂度识别；

评估模块，用于基于物料复杂度算法、物料越界判定算法以及物料分散度算法，对所述识别模块的识别结果进行综合安全评估。

上述技术方案的有益效果是：通过对采集模块进行校准，提高采集的准确性，通过数据对齐处理，便于有效获取材料堆放区，通过进行识别训练，便于得到有效模型，进而方便后续对物料的识别，且最后通过评估，可以确定施工现场的综合安全评估，可以有效地避免人为评估，提高评估效率。也便于对施工现场的物料进行合理客观的有效管理。

本发明一种基于计算机视觉技术的施工现场物料安全评估系统，所述校准模块，还用于对所述采集模块采集的图像数据进行颜色校准处理，包括：

遍历单元，用于在RGB空间中遍历所述图像数据中的每一图像的每一像素点，计算点(X _i ,Y _j )的像素和：

C _ij = R _ij +G _ij +B _ij

其中，C _ij 表示点(X _i ,Y _j )的像素和；R _ij 表示点(X _i ,Y _j )对应红色通道的红色分量；G _ij 表示点(X _i ,Y _j )对应绿色通道的绿色分量；B _ij 表示点(X _i ,Y _j )对应蓝色通道的蓝色分量；

计算单元，用于获取所有像素和中的最大像素和C _m ，得到对应的R _m ,G _m ,B _m ，同时，对所有点的像素和进行大小排序，并提取大小分布结果所对应预设位置的像素点的

，并计算得到每一图像各像素点的增益系数R _g ,G _g ,B _g ；

从而得到各像素点的最后RGB值，进而完成颜色校准处理；

其中，R _m 表示最大像素和所对应点的红色通道的红色分量；G _m 表示最大像素和所对应点的绿色通道的绿色分量；B _m 表示最大像素和所对应点的蓝色通道的蓝色分量；

表示所对应预设位置的像素点的红色分量均值；

表示所对应预设位置的像素点的绿色分量均值；

表示所对应预设位置的像素点的蓝色分量均值；

表示点(X _i ,Y _j )对应红色通道的最后红色分量；

表示点(X _i ,Y _j )对应绿色通道的最后绿色分量；

表示点(X _i ,Y _j )对应蓝色通道的最后蓝色分量；R _g 表示红色分量对应的增益系数；G _g 表示绿色分量对应的增益系数；B _g 表示蓝色分量对应的增益系数。

该实施例中，校准模块分为颜色校准算法、高清摄像机校准算法与BIM系统对齐模块三部分。由于大部分施工项目露天进行，高清摄像机捕获的图像会受到自然光照的影响从而存在一定的失真，为了对图像的颜色进行校准，本发明基于自动白平衡算法中的完美反射算法对画面进行校正，具体如本实施例的技术方案。完美反射算法的假设是图像中最亮的点是一面镜子，因此本发明设置镜子在施工现场的定位色块中。

上述技术方案的有益效果是：保证采集图像的有效性，为后续进行识别训练以及安全评估，提供数据基础。

本发明一种基于计算机视觉技术的施工现场物料安全评估系统，所述采集模块，包括：

遥控单元，用于遥控云台单元上安装的高清相机的相机镜头的当前朝向；

云台单元，用于按照惯性测量单元和电机磁编码器对所述高清相机的相机镜头进行姿态校准；

图传单元，用于对朝向调整以及姿态校准后的高清相机的实时监控结果进行传输；

其中，所述实时监控结果为采集的施工现场的图像数据。

针对本技术方案，具体实施例，如图2和3所示包括：数据采集模块A和B，且两个模块都包含高清相机、云台、图传模块和遥控模块四大子模块。为了保证画面覆盖施工现场，高清相机安装在至少40米的高处，相机倾角以画面覆盖整体施工现场为准。为了保证画面的清晰度，本发明选择6K及以上的高清相机对施工现场进行实时监控。云台模块采用三轴自稳云台，主要通过IMU（惯性测量单元）和电机磁编码器对云台上的相机镜头做姿态校准，保证镜头的稳定。遥控模块用于遥控镜头的朝向。图传模块用于实时传输高清相机采集的图片到地面工控机中。

在塔吊进场前，施工现场缺少安装相机的高空位置，因此在此阶段选择系留飞艇提供相机安装的位置。此处选择系留飞艇的主要原因是考虑其能不间断供电从而在高空长时间作业，价格相对无人机更加经济（无人机、工业气球等设备配合系留系统同样可以满足此处的要求）。在具体实施时，首先基于施工图纸，在现场选择合适的位置将飞艇升空（地面垂直位置可与未来将要架设塔吊的位置相同），通过系留系统在稳定供电的前提下将飞艇升到40米的高度。然后在地面通过工控机连接遥控模块和图传模块，调整高清相机的朝向。图传模块将高清相机拍摄的照片实时传输到地面工控机中。此外为了保证数据采集模块的长时间工作，系留飞艇连接工地电源（可以是生活区电源）并为整体数据采集模块供电。在塔吊进场后，数据采集模块中的系留飞艇换为塔吊供电模块，整体设备（高清摄像机、云台、图传模块、遥控模块）安装在塔吊上，由塔吊供电模块供电。当然也可继续使用数据采集模块A，相应的高度需要升高到高于塔吊的位置。

上述技术方案中，通过对相机进行姿态校正，便于有效的采集施工现场的图像，保证后续对物料的合理管理。

本发明一种基于计算机视觉技术的施工现场物料安全评估系统，所述校准模块，包括：

设置单元，用于在施工现场设置多个定位色块；

第一获取单元，用于获取包括对应定位色块在内的第一图像，并将所述第一图像从RGB画面转换为HSV画面；

记录单元，用于基于所述HSV画面，获取满足第一预设要求的像素块，并记录水平方向上的最大值和最小值对应的像素块坐标，确定两者像素块坐标的平均坐标，作为多个定位色块的中心点坐标，并记录为原始坐标；

提醒单元，用于后续实时监测多个定位色块的后续中心点坐标，当所述后续中心点坐标与所述原始坐标的差值信息不满足第二预设要求时，进行报警提醒，并对后续中心点坐标进行校准更新，进而实现对高清相机的位置校准；

第二获取单元，用于按照校准后的高清相机采集的图像数据与预设数据进行对齐处理，得到材料堆放区。

在施工最开始，现场并没有明显的建筑结构用以对施工作业区域进行识别，因此本发明需要在BIM系统内的施工平面布置图中新增3块1000mm×1000mm的定位色块（每个色块中心有一块100mm×100mm的镜子），施工现场通过全站仪放样，布设紫色正方形塑料板在施工范围的三个角构成定位色块，如图4所示。

在数据采集模块中的系留飞艇升空后，通过遥控模块调整高清摄像机使得3个定位色块均位于画面中分布于[(0,0), (2871,1536)], [(2871,0), (5742, 1536)], [(0,1536), (2871, 3072)], [(2871, 1536), (5742, 3072)]四部分，并尽量保持色块之间（非对角）的连线与画面框平齐。将RGB画面转化为HSV画面，并在上述4部分画面中寻找符合如下要求的像素块，并记录其水平方向的最大值和最小值对应的像素块坐标，两个像素块的坐标加和求平均，获得3个定位色块中心点坐标，记录为定位色块原始坐标。

H ∊ [125, 155], S ∊ [43, 255], V ∊ [46, 255]

每5分钟重新计算3个定位色块中心点坐标，并与原始坐标差值，如果X或者Y方向的偏差值占画面超过5%（X超过288，Y超过154）或者出现缺少某1定位色块中心点坐标，地面工控机弹出报警框，要求重新校准。每次校准后更新定位色块原始坐标。

校正后的高清摄像机捕获的图像实时传入地面的工控机中，并以每天为单位插入BIM系统中预设的施工平面布置图中。插入方式选择高清摄像机捕获的图中左上角定位色块的中心点为对齐中心点，与BIM系统中预先设计的左上角定位色块的中心点坐标对齐，从而将实际数据与预设的施工平面布置图中的数据对齐。通过数据对齐，可在高清摄像机捕获的空间中获得材料堆放区。

上述技术方案的有益效果是：通过设置定位色块，便于进行坐标对齐，进行实现数据的对齐，便于获取材料堆放区，为材料管理提供基础。

本发明一种基于计算机视觉技术的施工现场物料安全评估系统，所述预训练模块，包括：

提取单元，用于将BIM模型中在材料堆放区的预设堆放的各类物料单件依次摆放在材料堆放区，对应提取材料堆放区的原始色彩图像以及轮廓坐标为预设颜色材料的图像，计算轮廓范围内的图像复杂度；

复杂度数组获取单元，用于将材料堆放区中各类物料单件顺时针旋转1°，并重复操作360次，得到对应类物料的图像复杂度数组F _ZU ，且F _ZU = {C _ni ,i = 1,2,3,...,360}，其中，n为对应类物料在BIM模型中的编号，i=1，2，3…360，记对应类物料的复杂度为C _n ：

C _n = Min(F _ZU )

其中，n为对应类物料在BIM模型中的编号，i=1，2，3…360，BIM模型的编号数据集为N，n ∊ N；Min()表示针对对应类物料的图像复杂度数组F _ZU 的复杂度获取函数；

其中，针对每次操作后，对应类物料的图像复杂度数组中第i个物料单件的物料复杂度C _ni ，计算公式如下：

C _ni = ENT + IMD - CON - ASM

其中，对应第i个物料单件的图像熵为ENT，对应第i个物料单件的图像逆差矩为IMD，对应第i个物料单件的图像对比度为CON，对应第i个物料单件的图像能量为ASM。

该实施例中，预训练模块包括识别预训练模块与图像复杂度预训练模块两部分。首先是识别预训练模块。施工现场的物料包括常规物料（例如砖块、钢筋、石块等）与定制化物料（例如装配式构件），其物料标准件的长宽高可从BIM模型中直接读取。常规物料由于存在大量的真实图像数据，可直接通过标准将数据传入卷积神经网络加以学习从而进行识别，但定制化物料并没有大量真实图像可供训练，因此需要在预训练模块中通过BIM模型中获得。校准模块中将BIM模型于图像捕获的真实场景对齐并可知摄像机的高度，因此在BIM模型中单独调出一单位定制化物料（例如装配式构件），随机放置在真实场景对应的区域内，物料朝向随机，通过相机功能选择与高清摄像机同等的高度对物料进行拍照并存储图像，保持物料和相机位置不变，将物料表面颜色从真实改为纯黄色再次拍照并存储图像。对第二张图片通过像素颜色提取物料边缘，完成对物料的标定。重复上述动作10万次，获得10万张标注好的照片，将数据同样传入卷积神经网络进行训练，得到基于Mask R-CNN的定制化物料识别模型。

在计算图像复杂度前，首先需要计算图像的灰度共生矩阵，第一步将RGB图像灰度化，具体算法如下：

G(i, j) = 0.299×R(i, j)＋0.578×G(i, j)＋0.114×B(i, j)

其中i和j对应图像中每一点像素；第二步计算图像的灰度共生矩阵，选择图像中两点(x,y)与(x＋1,y)，将其对应的灰度值

和

记为点(x,y)的灰度值对

，统计图像中的所有点对应的灰度值对出现的频次，由于图形中有k种灰度值，因此灰度共生矩阵为k行k列的矩阵如下：

其中

回到图像复杂度C，在已知灰度共生矩阵的前提下，图像熵为ENT，图像逆差矩为IMD，图像对比度为CON，图像能量为ASM的共识分别为：

通过上述图像熵为ENT，图像逆差矩为IMD，图像对比度为CON，图像能量为ASM，来构建得到复杂度公式。

上述技术方案的有益效果是：通过训练识别构建物料复杂度模型，为后续进行物料复杂度监管提供基础。

本发明一种基于计算机视觉技术的施工现场物料安全评估系统，所述评估模块，包括：

轮廓中心点计算单元，用于获取识别模块的识别结果，并基于识别结果获取每个实际物料坐标和实际物料所属的BIM模型编号，并提取到对齐模块对齐后的BIM模型的施工平面布置图中，计算每个实际物料的轮廓中心点坐标；

第一判断单元，用于判断所述轮廓中心点坐标是否位于对应材料堆放区中，若是，计算同编号对应的实际物料的图像复杂度，并获取图像复杂度的最小值；

其中，m为BIM模型中的编号为n的实际物料在材料堆放区出现次数，n ∊ N；C _j1表示对应图像中第j1次出现编号为n的实际物料的复杂度；M _n 表示编号为n的实际物料的图像复杂度；

当M _n ∊ [0,1.2]时，显示所述材料堆放区对应编号为n的实际物料堆放整齐；

当M _n ∊ [1.2,2]时，显示所述材料堆放区对应编号为n的实际物料堆放合格；

当M _n ∊ [2,+∞]时，显示所述材料堆放区对应编号为n的实际物料堆放不合格；

若不是，对下一个同编号实际物料进行判断。

优选的，所述评估模块，还包括：

第二判断单元，用于当判定所述轮廓中心点坐标不位于对应材料堆放区中时，获取对应实际物料的轮廓坐标，若所述轮廓坐标不位于材料堆放区内，判定对应实际物料越界。

优选的，所述评估模块，还包括：

第三判断单元，用于判断并提取所有所述轮廓中心点坐标不位于对应材料堆放区中的实际物料的中心点坐标及其所属类别；

将BIM模型中的施工平面布置图进行分割，向下取整得到a个像素空间，统计每个像素空间内的实际物料的数量，记录除零外各数量出现的频次，如果频次小于0.01a，则将该数量对应的频次记为0，统计频次数组中除0外的中位数对应的单位像素空间的物料数量，得到物料分散度F；

当F等于0或1时，判定对应施工现场整洁；

当F大于1小于等于3时，判定对应施工现场合格；

当F大于3时，判定对应施工现场不整洁。

该实施例中，识别模块的算法为卷积神经网络算法Mask R-CNN，其主要功能为在图像中识别物料并将其进行分割，获得物料的边缘坐标与物料所属的在BIM模型中的编号。

上述技术方案的有益效果是：通过物料复杂度算法、物料越界判定算法与物料分散度算法，来对施工现场进行有效判分析，便于有效管理。

本发明一种基于计算机视觉技术的施工现场物料安全评估系统，所述评估模块，还包括：

匹配单元，用于获取所述第一判断单元、第二判断单元以及第三判断单元的判断结果，并根据对应判断单元的单元属性以及对应判断结果的结果属性，确定每个判断单元对应的当下重要值；

其中，Y _y 表示第y个判断单元对应的当下重要值；

表示第y个判断单元对应的单元属性的标准单元转换值；

表示第y个判断结果对应的结果属性的标准结果转换值；

；exp（）表示指数函数；y=1，2，3；

获取不同单元属性对应的等级列表，并从所述等级列表中，为所述当下重要值匹配对应的优先等级；

根据所述优先等级得到对应的等级权重，并计算对应的提醒值S；

其中，d_y表示第y个判断单元对应的等级权重值，且取值范围为(0,1)；

表示对第y个判断单元的微调因子，且取值范围为（0,0.1）；

表示平均微调因子，且

；

根据提醒值S，设置对应的提醒等级，并按照提醒等级进行预警提醒。

该实施例中，在获取到评估模块每日早7点评估一次，材料员和安全相关管理人员可通过本系统清晰的了解材料堆放区的物料堆放整齐情况，是否越界，以及施工全局物料在作业完成后是否被妥善整理。

该实施例中，比如判断属性，是针对物料复杂度、物料越界与物料分散度来决定的，且判断结果是上述实施例的公式计算结果，且对应的结果属性，比如，是否越界、复杂度、分散度等。

该实施例中，等级列表是预先设定好的，且是包含单元属性以及当下重要值来构建得到的。且优先等级、等级权重可以是基于一个映射表得到的，且该表示包括优先等级、等级权重在内的。

上述技术方案的有益效果是：通过确定每个单元的当下重要值，来按照当下重要值匹配优先等级，并按照优先等级来获取等级权值，进而根据公式计算相应的提醒值S，按照提醒值S进行相应的预警提醒，进行有效提醒，实现对物料的有效监管。

本发明一种基于计算机视觉技术的施工现场物料安全评估系统，所述第二获取单元，包括：

标注子单元，用于在定位色块对齐之后，获取所述预设施工平面布置图，并确定预设施工平面布置图中每个预设区域的施工目的，且根据所述施工目的确定对应预设区域的预设操作难度以及预设操作作业，按照所述预设操作难度对对应预设区域进行第一标注，同时，按照预设操作作业对对应预设区域进行第二标注；

预测子单元，用于预测对应预设区域在对应的所述预设操作难度以及预设操作作业下的物料保存情况，获取每个预设区域的初始物料分配情况，且所述初始物料分配情况包括：初始物料分类、不同类初始物料的物料多少、以及不同类初始物料的被使用时间以及被使用概率；

设定子单元，用于按照第一标注结果、第二标注结果以及初始物料分配情况，设定每个预设区域的对齐处理顺序；

规划子单元，用于按照定位色块对齐之后的预设区域的区域分布对预设数据进行第一分割，同时，也对所述图像数据进行第二分割，并按照对齐处理顺序，对第一分割结果以及第二分割结果进行区域对齐，实现对对应的数据的对齐处理，得到材料堆放区。

该实施例中，预设施工平面布值图是预先设置好的，且每个预设区域也是预先规划好的，且上述标注子单元、预测子单元、设定子单元、规划子单元的实施，都是在按照色块进行对齐处理之后进行的，是为了获取对齐顺序，按照该顺序，来依次获取对齐处理后的数据，保证数据获得可靠性。

该实施例中，预设操作难度以及预设操作作业都是预先规划好的，比如在对该区域进行操作之前，是需要有规划的，保证操作进度的正常进行。

该实施例中，物料包产能情况与预设操作难度以及预设操作作业有关，进而确定初始物料分配情况，比如，该区域使用的a物料、b物料的分量为100kg与40kg，此时即可视为物料分配。

该实施例中，通过按照对齐处理顺序，来实现区域对齐，进而实现数据对齐处理，得到材料堆放区。

上述技术方案的有益效果是：通过对预设区域进行第一标注和第二标注、以及获取预设区域的物料分配情况，便于设定得到不同区域的对齐处理顺序，通过进行区域分割，并按照对齐处理顺序，来优先筛选区域，进行区域对齐，保证对才材料区域的高效率确定，间接提高对施工现场物料的管理。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于计算机视觉技术的施工现场物料安全评估系统，其特征在于，包括：

校准模块，用于基于预先设置在施工现场的定位色块，对采集模块进行位置校准处理，当位置校准合格后，控制所述采集模块采集施工现场的图像数据；

所述校准模块，还用于将所述图像数据与预设施工平面布置图中的预设数据进行数据对齐处理，获取所述施工现场的材料堆放区；

预训练模块，用于基于卷积神经网络对施工现场相关的预设物料进行识别训练，得到物料识别模型，同时，基于卷积神经网络对施工现场相关的不同角度下的预设物料进行复杂度训练，得到物料复杂度模型；

识别模块，用于基于所述物料识别模型对所述材料堆放区对应的实际图像进行物料识别以及基于所述物料复杂度模型对材料堆放区对应的实际图像进行物料复杂度识别；

评估模块，用于基于物料复杂度算法、物料越界判定算法以及物料分散度算法，对所述识别模块的识别结果进行综合安全评估。

2.如权利要求1所述的基于计算机视觉技术的施工现场物料安全评估系统，其特征在于，所述校准模块，还用于对所述采集模块采集的图像数据进行颜色校准处理，包括：

遍历单元，用于在RGB空间中遍历所述图像数据中的每一图像的每一像素点，计算点(X _i ,Y _j )的像素和：

C _ij = R _ij +G _ij +B _ij

其中，C _ij 表示点(X _i ,Y _j )的像素和；R _ij 表示点(X _i ,Y _j )对应红色通道的红色分量；G _ij 表示点(X _i ,Y _j )对应绿色通道的绿色分量；B _ij 表示点(X _i ,Y _j )对应蓝色通道的蓝色分量；

计算单元，用于获取所有像素和中的最大像素和C _m ，得到对应的R _m ,G _m ,B _m ，同时，对所有点的像素和进行大小排序，并提取大小分布结果所对应预设位置的像素点的

，并计算得到每一图像各像素点的增益系数R _g ,G _g ,B _g ；

从而得到各像素点的最后RGB值，进而完成颜色校准处理；

其中，R _m 表示最大像素和所对应点的红色通道的红色分量；G _m 表示最大像素和所对应点的绿色通道的绿色分量；B _m 表示最大像素和所对应点的蓝色通道的蓝色分量；

表示所对应预设位置的像素点的红色分量均值；

表示所对应预设位置的像素点的绿色分量均值；

表示所对应预设位置的像素点的蓝色分量均值；

表示点(X _i ,Y _j )对应红色通道的最后红色分量；

表示点(X _i ,Y _j )对应绿色通道的最后绿色分量；

表示点(X _i ,Y _j )对应蓝色通道的最后蓝色分量；R _g 表示红色分量对应的增益系数；G _g 表示绿色分量对应的增益系数；B _g 表示蓝色分量对应的增益系数。

3.如权利要求1所述的基于计算机视觉技术的施工现场物料安全评估系统，其特征在于，所述采集模块，包括：

遥控单元，用于遥控云台单元上安装的高清相机的相机镜头的当前朝向；

云台单元，用于按照惯性测量单元和电机磁编码器对所述高清相机的相机镜头进行姿态校准；

图传单元，用于对朝向调整以及姿态校准后的高清相机的实时监控结果进行传输；

其中，所述实时监控结果为采集的施工现场的图像数据。

4.如权利要求1所述的基于计算机视觉技术的施工现场物料安全评估系统，其特征在于，所述校准模块，包括：

设置单元，用于在施工现场设置多个定位色块；

第一获取单元，用于获取包括对应定位色块在内的第一图像，并将所述第一图像从RGB画面转换为HSV画面；

记录单元，用于基于所述HSV画面，获取满足第一预设要求的像素块，并记录水平方向上的最大值和最小值对应的像素块坐标，确定两者像素块坐标的平均坐标，作为多个定位色块的中心点坐标，并记录为原始坐标；

提醒单元，用于后续实时监测多个定位色块的后续中心点坐标，当所述后续中心点坐标与所述原始坐标的差值信息不满足第二预设要求时，进行报警提醒，并对后续中心点坐标进行校准更新，进而实现对高清相机的位置校准；

第二获取单元，用于按照校准后的高清相机采集的图像数据与预设数据进行对齐处理，得到材料堆放区。

5.如权利要求1所述的基于计算机视觉技术的施工现场物料安全评估系统，其特征在于，所述预训练模块，包括：

提取单元，用于将BIM模型中在材料堆放区的预设堆放的各类物料单件依次摆放在材料堆放区，对应提取材料堆放区的原始色彩图像以及轮廓坐标为预设颜色材料的图像，计算轮廓范围内的图像复杂度；

复杂度数组获取单元，用于将材料堆放区中各类物料单件顺时针旋转1°，并重复操作360次，得到对应类物料的图像复杂度数组F _ZU ，且F _ZU = {C _ni ,i = 1,2,3,...,360}，其中，n为对应类物料在BIM模型中的编号，i=1，2，3…360，记对应类物料的复杂度为C _n ：

C _n = Min(F _ZU )

其中，n为对应类物料在BIM模型中的编号，i=1，2，3…360，BIM模型的编号数据集为N，n ∊ N；Min()表示针对对应类物料的图像复杂度数组F _ZU 的复杂度获取函数；

其中，针对每次操作后，对应类物料的图像复杂度数组中第i个物料单件的物料复杂度C _ni ，计算公式如下：

C _ni = ENT + IMD - CON - ASM

其中，对应第i个物料单件的图像熵为ENT，对应第i个物料单件的图像逆差矩为IMD，对应第i个物料单件的图像对比度为CON，对应第i个物料单件的图像能量为ASM。

6.如权利要求5所述的基于计算机视觉技术的施工现场物料安全评估系统，其特征在于，所述评估模块，包括：

轮廓中心点计算单元，用于获取识别模块的识别结果，并基于识别结果获取每个实际物料坐标和实际物料所属的BIM模型编号，并提取到对齐模块对齐后的BIM模型的施工平面布置图中，计算每个实际物料的轮廓中心点坐标；

第一判断单元，用于判断所述轮廓中心点坐标是否位于对应材料堆放区中，若是，计算同编号对应的实际物料的图像复杂度，并获取图像复杂度的最小值；

其中，m为BIM模型中的编号为n的实际物料在材料堆放区的出现次数，n ∊ N；C _j1表示对应图像中第j1次出现编号为n的实际物料的复杂度；M _n 表示编号为n的实际物料的图像复杂度；

当M _n ∊ [0,1.2]时，显示所述材料堆放区对应编号为n的实际物料堆放整齐；

当M _n ∊ [1.2,2]时，显示所述材料堆放区对应编号为n的实际物料堆放合格；

当M _n ∊ [2,+∞]时，显示所述材料堆放区对应编号为n的实际物料堆放不合格；

若不是，对下一个同编号实际物料进行判断。

7.如权利要求6所述的基于计算机视觉技术的施工现场物料安全评估系统，其特征在于，所述评估模块，还包括：

第二判断单元，用于当判定所述轮廓中心点坐标不位于对应材料堆放区中时，获取对应实际物料的轮廓坐标，若所述轮廓坐标不位于材料堆放区内，判定对应实际物料越界。

8.如权利要求7所述的基于计算机视觉技术的施工现场物料安全评估系统，其特征在于，所述评估模块，还包括：

第三判断单元，用于判断并提取所有所述轮廓中心点坐标不位于对应材料堆放区中的实际物料的中心点坐标及其所属类别；

将BIM模型中的施工平面布置图进行分割，向下取整得到a个像素空间，统计每个像素空间内的实际物料的数量，记录除零外各数量出现的频次，如果频次小于0.01a，则将该数量对应的频次记为0，统计频次数组中除0外的中位数对应的单位像素空间的物料数量，得到物料分散度F；

当F等于0或1时，判定对应施工现场整洁；

当F大于1小于等于3时，判定对应施工现场合格；

当F大于3时，判定对应施工现场不整洁。

9.如权利要求8所述的基于计算机视觉技术的施工现场物料安全评估系统，其特征在于，所述评估模块，还包括：

匹配单元，用于获取所述第一判断单元、第二判断单元以及第三判断单元的判断结果，并根据对应判断单元的单元属性以及对应判断结果的结果属性，确定每个判断单元对应的当下重要值；

其中，Y _y 表示第y个判断单元对应的当下重要值；

表示第y个判断单元对应的单元属性的标准单元转换值；

表示第y个判断结果对应的结果属性的标准结果转换值；

；exp（）表示指数函数；y=1，2，3；

获取不同单元属性对应的等级列表，并从所述等级列表中，为所述当下重要值匹配对应的优先等级；

根据所述优先等级得到对应的等级权重，并计算对应的提醒值S；

其中，d_y表示第y个判断单元对应的等级权重值，且取值范围为(0,1)；

表示对第y个判断单元的微调因子，且取值范围为（0,0.1）；

表示平均微调因子，且

；

根据提醒值S，设置对应的提醒等级，并按照提醒等级进行预警提醒。

10.如权利要求4所述的基于计算机视觉技术的施工现场物料安全评估系统，其特征在于，所述第二获取单元，包括：

标注子单元，用于获取所述预设施工平面布置图，并确定预设施工平面布置图中每个预设区域的施工目的，且根据所述施工目的确定对应预设区域的预设操作难度以及预设操作作业，按照所述预设操作难度对对应预设区域进行第一标注，同时，按照预设操作作业对对应预设区域进行第二标注；

预测子单元，用于预测对应预设区域在对应的所述预设操作难度以及预设操作作业下的物料保存情况，获取每个预设区域的初始物料分配情况，且所述初始物料分配情况包括：初始物料分类、不同类初始物料的物料多少、以及不同类初始物料的被使用时间以及被使用概率；

设定子单元，用于按照第一标注结果、第二标注结果以及初始物料分配情况，设定每个预设区域的对齐处理顺序；

规划子单元，用于按照预设区域的区域分布对预设数据进行第一分割，同时，也对所述图像数据进行第二分割，并按照对齐处理顺序，对第一分割结果以及第二分割结果进行区域对齐，实现对对应的数据的对齐处理，得到材料堆放区。

Images