CN109635758A - 智慧工地基于视频的高空作业人员安全带穿戴检测方法 - Google Patents

智慧工地基于视频的高空作业人员安全带穿戴检测方法 Download PDF

Info

Publication number
CN109635758A
CN109635758A CN201811550005.6A CN201811550005A CN109635758A CN 109635758 A CN109635758 A CN 109635758A CN 201811550005 A CN201811550005 A CN 201811550005A CN 109635758 A CN109635758 A CN 109635758A
Authority
CN
China
Prior art keywords
image
distance
color
high altitude
altitude operation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811550005.6A
Other languages
English (en)
Other versions
CN109635758B (zh
Inventor
罗小安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Blue Collar Talent Technology Co Ltd
Original Assignee
Wuhan Blue Collar Talent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Blue Collar Talent Technology Co Ltd filed Critical Wuhan Blue Collar Talent Technology Co Ltd
Priority to CN201811550005.6A priority Critical patent/CN109635758B/zh
Publication of CN109635758A publication Critical patent/CN109635758A/zh
Application granted granted Critical
Publication of CN109635758B publication Critical patent/CN109635758B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于安全作业信息处理技术领域，公开了一种智慧工地基于视频的高空作业人员安全带穿戴检测方法，对获取的施工现场图像进行自适应白平衡，消除色差；利用深度学习神经网络进行用户目标图像的检测和识别；采用mean shift平滑方法进行平滑滤波，采用基于CIE00颜色距离进行边缘检测，二值化后得到边缘图像；遍历搜索范围内直线到原点的距离Rho与水平线的夹角Theta值，在边缘图像中检测所有可能是安全带的两侧边缘的直线；如果存在两条平行直线的距离在指定范围内，则存在安全带。本发明设备安装和维护费用低；基于视频图像，采用人工智能技术，实现高空作业人员安全带佩戴情况的全天候监测，应用方便，成本低，具有较大的应用前景。

Description

智慧工地基于视频的高空作业人员安全带穿戴检测方法
技术领域
本发明属于安全作业信息处理技术领域，尤其涉及一种智慧工地基于视频的高空作业人员安全带穿戴检测方法。
背景技术
目前，业内常用的现有技术是这样的：
对于高空作业来说，安全带是生命带。对于特种高空作业，在作业现场一般会有专门的安全管理人员对安全带的佩戴与使用情况进行监督，但在一般建筑工地施工现场，比如脚手架上的施工作业，工作面大，工作人员多，工作时间长，现场管理人员要做到全天候不间断监督，难度大，而且投入的人力也很多。现场管理实际情况是，施工开始时的教育和提醒后，施工过程中的监督管理几乎是空白。施工现场都安装有视频监控设备，利用现有视频监控设备，抓拍高清图像，基于图像分析，对现场作业人员的安全带佩戴状况进行检测，作为管理人员的监管辅助系统，将大大提高监管效率，并降低监管成本。
基于视频的安全带检测技术，当前主要应用在对机动车驾驶员佩戴情况的抓怕上，这方面已有系统在实际交通系统中应用。在施工工地现场高空作业人员安全带佩戴情况的检测方面，鲜有资料，也未见有相关系统在建筑工地应用。相对于交通系统机动车驾驶员抓拍应用场景，工地现场高空作业人员抓拍的应用场景复杂很多，而且应用要求也不同。其特点是：目标在整体在位置上长期不移动或只是肢体的小幅移动；图像背景复杂，且光照变化大；人员姿态变化多样；人员穿着复杂，可能佩戴有其它装备；施工现场抓拍后的分析处理，对速度要求不高。
对机动车驾驶员安全带佩戴情况的检测，一般方法是，首先采用运动目标的检测方法获取机动车目标，然后检测机动车前挡窗位置并根据位置关系或者是通过人脸检测的方式，提取驾驶员目标，然后在灰度图像领域，用canny算子提取边缘并进行二值化，最后采用霍夫变换检测直线，然后根据两侧边缘为平行线的特征识别是否戴有安全带。
而工地高空作业人员并不具有明显的运动特征，所以运动目标提取的方法在此并不适用。对于在高空作业的工人目标，边缘信息非常丰富，图像灰度化后，用canny算子会提取大量的边缘，以至安全带边缘信息被淹没，而且安全带的柔性使得其边缘的线性并不很理想，最终并不能很好地提取出安全带的边缘直线，从而检测失败。因而，针对智慧工地高空作业人员的安全带检测，需要采用新的处理方法。
对静态人体目标的提取，当前应用最为广泛的是HOG_SVM方法和深度神经网络方法。其中HOG_SVM为经典的人体目标检测方法，基本思想是以人体目标HOG特征作为识别特征，采用SVM分类器进行分类识别的方法。深度学习神经网络方法，是近年来发展非常迅速的新方法，它以感知器为基础，逐步发展为多层链接的人工神经网络，采用深度学习训练方法，在自然语言识别与图像识别方面取得了巨大成功，是当前识别率最高的方法。
综上所述，现有技术存在的问题是：
在工地高空作业人员不具有明显的运动特征下，运动目标提取的方法在此并不适用。对于在高空作业的工人目标，边缘信息非常丰富，图像灰度化后，用canny算子提取大量的边缘，以至安全带边缘信息被淹没，而且安全带的柔性使得其边缘的线性并不很理想，最终并不能很好地提取出安全带的边缘直线，从而检测失败。
解决上述技术问题的难度和意义：
图像中人体目标的检测是计算机视觉的经典基础问题，也是当前人工智能技术中的焦点问题之一，检测结果是后续处理的基础。
本发明所采用的深度神经网络人体目标检测方法，是模拟人类视觉机理，基于图像内容理解的目标检测方法，检测准确率高，鲁棒性好。安全带检测的核心是基于检测到的人体目标，检测人体腰部是否存在代表安全带上下边缘的两条近似平行的直线，该两条直线间的颜色一致，且两条边缘直线所分隔的颜色也应该一致。本发明创造性的利用颜色距离双边缘信息，对安全带边缘的检测更有效，结合边界两侧所区分的颜色信息，可以使得对安全带的判定不必强依赖于两条直线的平行性，从而系统的准确率更高，鲁棒性更强。
发明内容
针对现有技术存在的问题，本发明提供了一种智慧工地基于视频的高空作业人员安全带穿戴检测方法。
本发明是这样实现的，一种智慧工地基于视频的高空作业人员安全带穿戴检测方法，包括：
第一步，视频监控设备抓拍高空作业的施工现场图像，对获取的施工现场图像进行自适应白平衡，消除色差；
第二步，对消除色差后的施工现场图像，利用深度学习神经网络进行用户目标图像的检测和识别；
第三步，采用mean shift平滑方法对识别后目标图像的颜色进行平滑滤波；
第四步，应用sobel算子模板，按照CIE00颜色距离计算平滑滤波后的目标图像像素间的颜色距离；对动态范围调整后的颜色距离图像进行二值化，得到最终的边缘图像；
第五步，从进行二值化处理的边缘图像中截取直线检测的感兴趣区域；遍历搜索范围内直线到原点的距离Rho与水平线的夹角Theta值，检测安全带的两侧边缘所有待选直线；
第六步，在检测到的所有待选直线中，如果存在两条平行直线的距离在指定范围内，则存在安全带。
进一步，第一步具体包括:
1)将采集到的图像从RGB颜色空间转换到YCbCr颜色空间；
2)设置分块矩形区域的大小，在图像的Cb-Cr空间，将图像按指定区域块大小分块；
3)计算每个区域块Cb的均值Mb，Cr的均值Mr；
4)计算每个区域块Cb的平均均值差Db，Cr的平均均值差Dr；
5)同时满足以下两个判定式的像素点为近似白平衡点：
|Cb(i，j)-(Mb+Db×sign(Mb))|＜1.5×Db
|Cr(i，j)-(1.5×Mr+Dr×sign(Mr))|＜1.5×Dr；
6)按照亮度值Y，选取步骤5)中所有近似白平衡点的前10％作为图像的参考白平衡点；
7)计算步骤6)中所选取参考平衡点R、G、B三个通道的平均值Rav，Gav，Bav；
8)计算R、G、B三个通道的校正增益：Rgain＝Ymax/Ravew，Ggain＝Ymax/Gavew，Bgain＝Ymax/Bavew；
9)计算校正后图像各像素各通道的值：R′＝R×Rgain，G′＝G×Ggain，B′＝B×Bgain。
进一步，第二步具体包括：
a)采集高空作业用户图片样本数据集，采集高空作业背景图片样本数据集；
b)将步骤a)中采集的专门数据集与INRIAP公开数据集相结合，作为训练数据集；
c)选用GoogleLeNet的Inception V2网络结构，用步骤b)中准备的数据集训练该网络；
d)对专门数据集中的数据进行强化训练；
e)用训练好的神经网络进行用户目标识别。
进一步，第三步具体包括：
i)设置空间域带宽r和值域带宽w，并取边长为2*r+1的正方形区域作为处理窗，计算该窗各点到其中心的高斯距离，以高斯距离的倒数作为权值，进行权重模板初始化；
ii)将待处理图像从RGB颜色空间转换到Lab颜色空间；
iii)按下式计算当前位置平滑后的值：
其中，G为核函数，取为单位函数或者是高斯函数，w为值域带宽，w(i)为步骤i)计算的权值，Xi为处理窗中像素值(Li,ai,bi)；X为处理窗中心位置像素值(L0,a0,b0)；|xi-x|为CIE00颜色距离。
进一步，第四步具体包括：
A)应用sobel算子模板，按照CIE00颜色距离标准计算图像像素间的颜色距离，同时保存改颜色距离所区分的颜色；
B)设置尺度参数k，当颜色距离值大于2.3*k,为不同颜色间的边缘，保持原值不变，小于2.3*k值，距离设置为2.3*k；
C)在进行初步阈值处理后，将颜色距离分布值线性均匀拉升到0-255，为xx＝255*(x-xmin)/(xmax-xmin)；
D)对动态范围调整后的颜色距离图像进行二值化，得到最终的边缘图像。
进一步，第五步具体包括：
I)从所提取边缘二值化图像中截取直线检测的感兴趣区域；
II)设置直线到原点的距离Rho与水平线的夹角Theta的搜索范围及搜索步长，给定Rho与Theta值确定直线Rho＝X*Cos(Theta)+Y*Sin(Theta)，扫描区域内所有边缘点，计算点到所述直线的距离，如果距离小于预设的阈值，则所述点为直线上的点；
III)对所有直线上的点，依据所区分的颜色信息分类，不同类型的边界点组成不同的边界线；
IV)设置构成直线最少点数阈值，大于所述阈值，则保存为待选直线；
V)遍历搜索范围内所有Rho和Theta值，检测到所有的待选直线。
进一步，第六步具体包括：
(1)对所有待选直线段，两两计算其中一条直线段的两个端点到另一条直线度的垂直距离，d1和d2；
(2)设置安全带宽度范围，如果d1和d2任意一个值不在所述区间，则舍弃；
(3)如果d1*d2<0,则两个端点在直线的不同侧，为相交线，舍弃；
(4)如果d1*d2>0，两条线段的平行度为：paralRatio＝abs(d1-d2)/(abs(d1+d2)/2)，当paralRatio小于预定阈值，判定为平行线，否则舍弃；
(5)若存在两条平行线，且平行线之间的距离在指定的范围内，则有安全带，否则则没有。
进一步，执行第六步后，进一步进行：
照片和视频数据保存及异常信息上报，当检测到没有安全带时，将异常消息同抓拍的照片通过网络实时上报到云端智慧工地服务管理系统。
本发明的另一目的在于提供一种实施所述智慧工地基于视频的高空作业人员安全带穿戴检测方法的施工现场视频监控系统。
本发明的另一目的在于提供一种实施所述智慧工地基于视频的高空作业人员安全带穿戴检测方法的智慧工地安全带穿监控平台。
综上所述，本发明的优点及积极效果为：
本发明基于视频监控设备抓拍有高空作业的施工现场图像，用深度神经网络检测施工人员目标；对检测到的目标区域图像进一步做自适应白平衡，消除色温影响；先采用mean shift平滑方法对颜色进行平滑滤波，之后基于CIE00颜色距离，提取图像中不同颜色区域的边缘；对二值化后的边缘图像，采用霍夫变换方法，提取安全带的两侧边缘直线；基于检测到的直线信息，利用安全带在人体上佩戴的位置、宽度、以及两边缘线平行的特征，判断是否佩戴有安全带。如果没有，实时上报安全报警消息至管理人员，同时抓拍存档。本发明利用施工现场视频监控系统，不增加设备安装和维护费用；基于视频图像，采用人工智能技术，实现高空作业人员安全带佩戴情况的全天候监测，应用方便，成本低，具有较大的应用前景。
本发明的优点还有：
基于高清摄像头对施工现场的抓拍，采用智能图像分析识别方法，实现高空作业工作人员安全带的佩戴状况的检测，可以大大提高高空作业人员安全监控的效率，降低人工监测成本，增强施工安全管控。
系统中采用基于深度学习的神经网络人体目标检测方法，正确识别率高，误识别率和漏检率低。更为重要的是，稳定性和鲁棒性好，应用环境适应性强。
系统中采用了自适应白平衡方法改善色差影响，提高基于颜色处理方法的鲁棒性。一方面摄像头本身色温对颜色的影响；另一方面，因为天气变化，或者是在一天内不同时间，成像的光照情况都会变化，从而对图像色彩产生影响。自适应白平衡处理，可以较好地消除这些色差，形成稳定的彩色“标准”图像，从而提高后续处理算法的稳定性。
系统中采用基于颜色距离的边缘提取方法，相对于基于灰度的canny算子方法，提取的边缘更有效，且提取的边缘为不同颜色区域边界的双边缘，更有利于安全带边缘直线的提取。受施工人员工作环境影响，图像中存在各种阴影、工作服褶皱等，使得基于灰度的边缘检测方法会得到大量的无效边缘，安全带边缘信息可能被“淹没”，最终影响代表安全带边缘的直线检测结果。而颜色信息不受亮度影响，其色相保持不变，因此检测到的边缘信息更有效。
系统中采用改进的霍夫变换直线检测检测方法，同时利用原图信息，剔除在同一直线上却不属于同一区域的二值点，提高直线检测的准确率。
附图说明
图1是本发明实施例提供的智慧工地基于视频的高空作业人员安全带穿戴检测方法流程图。
图2是本发明实施例提供的智慧工地基于视频的高空作业人员安全带穿戴检测原理图。
图3是本发明实施例提供的实时上报安全报警消息至管理中心原理图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
现有技术中，在工地高空作业人员不具有明显的运动特征下，运动目标提取的方法在此并不适用。对于在高空作业的工人目标，边缘信息非常丰富，图像灰度化后，用canny算子提取大量的边缘，以至安全带边缘信息被淹没，而且安全带的柔性使得其边缘的线性并不很理想，最终并不能很好地提取出安全带的边缘直线，从而检测失败。
针对上述问题，下面结合附图对本发明的应用原理作详细描述。
如图1所示，本发明实施例提供的智慧工地基于视频的高空作业人员安全带穿戴检测方法包括：
S101:视频监控设备抓拍高空作业的施工现场图像，对获取的施工现场图像进行自适应白平衡，消除色差；
S102:对消除色差后的施工现场图像，利用深度学习神经网络进行用户目标图像的检测和识别；
S103:采用mean shift平滑方法对识别后目标图像的颜色进行平滑滤波；
S104:应用sobel算子模板，按照CIE00颜色距离计算平滑滤波后的目标图像像素间的颜色距离；对动态范围调整后的颜色距离图像进行二值化，得到最终的边缘图像；
S105:从进行二值化处理的边缘图像中截取直线检测的感兴趣区域；遍历搜索范围内直线到原点的距离Rho与水平线的夹角Theta值，检测安全带的两侧边缘所有待选直线；
S106:在检测到的所有待选直线中，如果存在两条平行直线的距离在指定范围内，则存在安全带；
S107:在检测到的所有待选直线中，如果两条平行直线的距离没有在指定范围内，则没有存在安全带，将检测后的信息实时上报至云端智慧工地服务管理系统。
在本发明实施例中，图像的色差主要由光照和摄像机设备本身决定，色差的存在，对基于颜色距离的边缘检测结果有较大的影响，必须校正。当摄像设备及其成像参数确定后，其对色差的影响就已经确定了，在应用中，需要校正的是因成像环境中光照变化引起的色差，本发明中自适应白平衡就是针对这种色差。在智慧工地应用场景中，当天气变化，阳光的照度不同，而且在一天内，早晨、中午和晚上的关照也有较大的差别，同时，建筑工地上常常有颜色鲜艳的设备、建筑材料和标识等背景，产生大量的单色反射光，这些都会影响成像效果，产生色差。
作为本发明优选实施例，步骤S101具体包括：
1)将采集到的图像从RGB颜色空间转换到YCbCr颜色空间。
2)设置分块矩形区域的大小，在图像的Cb-Cr空间，将图像按指定区域块大小分块。
3)计算每个区域块Cb的均值Mb，Cr的均值Mr；
4)计算每个区域块Cb的平均均值差Db，Cr的平均均值差Dr。
5)同时满足以下两个判定式的像素点即为近似白平衡点：
|Cb(i，j)-(Mb+Db×sign(Mb))|＜1.5×Db
|Cr(i，j)-(1.5×Mr+Dr×sign(Mr))|＜1.5×Dr
6)按照亮度值Y，选取5)步骤中所有近似白平衡点的前10％作为图像的参考白平衡点；
7)计算6)中所选取参考平衡点R、G、B三个通道的平均值Rav，Gav，Bav。
8)计算R、G、B三个通道的校正增益：Rgain＝Ymax/Ravew，Ggain＝Ymax/Gavew，Bgain＝Ymax/Bavew。
9)计算校正后图像各像素各通道的值：R′＝R×Rgain，G′＝G×Ggain，B′＝B×Bgain。
作为本发明优选实施例，步骤S102包括基于深度学习神经网络人体目标检测，具体为：
a)采集高空作业人员图片样本数据集，采集高空作业背景图片样本数据集；
b)将步骤a)中采集的专门数据集与INRIAP公开数据集相结合，作为训练数据集；
c)选用GoogleLeNet的Inception V2网络结构，用步骤b)中准备的数据集训练该网络；
d)对专门数据集中的数据进行强化训练；
e)用训练好的神经网络进行人体目标识别。
作为本发明优选实施例，步骤S103包括Mean shift平滑，在保边缘滤波器中，Meanshift方法在运算速度和性能方面具有较大的优越性，本发明采用该方法作为基于颜色距离的边缘提取前的预处理。Mean shift平滑滤波器的两个重要参数是体现空域带宽的r和值域带宽的w，该参数的选取对滤波结果有较大的影响。
Mean shift平滑方法包括：
i)设置空间域带宽r和值域带宽w，并取边长为2*r+1的正方形区域作为处理窗，计算该窗各点到其中心的高斯距离，以高斯距离的倒数作为权值，完成权重模板初始化。
ii)将待处理图像从RGB颜色空间转换到Lab颜色空间。
iii)按下式计算当前位置平滑后的值：
其中，G为核函数，一般取为单位函数或者是高斯函数，w为值域带宽，w(i)为i)中所计算的权值，Xi为处理窗中像素值(Li,ai,bi)。X为处理窗中心位置像素值(L0,a0,b0)。|xi-x|为CIE00颜色距离。
作为本发明优选实施例，步骤S104包括基于颜色距离的边缘提取；物体颜色受光照强度的影响不是很大，用颜色作为不同目标的区分条件比亮度条件具有好的应用环境适应性。本发明应用CIE00标准进行区分。
基于颜色距离的边缘提取方法具体为：
A)应用sobel算子模板，按照CIE00颜色距离标准计算图像像素间的颜色距离，同时保存改颜色距离所区分的颜色。
B)根据CIE标准，Lab颜色空间中，当颜色距离小于2.3，人眼基本就分辨不出差别。设尺度参数k，当颜色距离值大于2.3*k,则认为是不同颜色间的边缘，保持原值不变，小于该值，距离设置为2.3*k。
C)在进行初步阈值处理后，将颜色距离分布值线性均匀拉升到0-255之间，具体为xx＝255*(x-xmin)/(xmax-xmin)。
D)对动态范围调整后的颜色距离图像进行二值化，得到最终的边缘图像。
作为本发明优选实施例，步骤S105包括霍夫变换直线检测；
具体为：
I)从所提取边缘二值化图像中截取直线检测的感兴趣区域。
II)设置直线到原点的距离Rho与其水平线的夹角Theta的搜索范围及其搜索步长，给定具体的Rho与Theta值，则可确定一条直线Rho＝X*Cos(Theta)+Y*Sin(Theta)，扫描区域内所有边缘点，计算点到该直线的距离，如果距离小于预设的阈值，则该点为直线上的点。
III)因为直线上点的检测是在全区域内搜索，并未区分该边界点所区分颜色域的性质，而该性质决定了边界点的类别。对所有直线上的点，依据其所区分的颜色信息分类，不同类型的边界点组成不同的边界线。
IV)设置构成直线最少点数阈值，大于该阈值，则保存为待选直线。
V)遍历搜索范围内所有Rho和Theta值，检测到所有的待选直线。
作为本发明优选实施例，步骤S106包括平行线检测与判定，在检测到的所有候选直线中，如果存在两条平行距离在指定范围内的平行直线，则可确定存在安全带。
具体为：
(1)对所有待选直线段，两两计算其中一条直线段的两个端点到另一条直线度的垂直距离，d1和d2；
(2)设置安全带宽度范围，如果d1和d2任意一个值不在该区间，则舍弃；
(3)如果d1*d2<0,则两个端点在直线的不同侧，为相交线，舍弃；
(4)如果d1*d2>0，定义两条线段的平行度为：paralRatio＝abs(d1-d2)/(abs(d1+d2)/2)，当paralRatio小于预定阈值，则判定为平行线，否则舍弃。
(5)若存在两条平行线，且平行线之间的距离在指定的范围内，则佩戴有安全带，否则则没有。
作为本发明优选实施例，步骤S107包括照片和视频数据保存及异常信息上报，当检测到有高空作业人员员没有佩戴安全带时，抓拍当前照片，并开始对该场景开始录像，保存现场状况证据。同时将该异常消息同抓拍照片一起，通过网络实时上报到云端智慧工地服务管理系统，由管理系统将报警消息和照片发送给相关管理人员，同时启用现场音柱，警告工作人员应按要求佩戴安全带。在系统闲时，将视频数据均上报到云端，作为备份(如图3所示，是本发明实施例提供的实时上报安全报警消息至管理中心原理图)。
下面结合实施例对本发明的应用原理作进一步描述。
实施例：如图2所示；
本发明实施例提供的智慧工地基于视频的高空作业人员安全带穿戴检测方法包括：
步骤一，进行自适应白平衡，具体包括：
1)对每一个像素根据
Y＝0.257*R+0.564*G+0.098*B+16，Cb＝-0.148*R-0.291*G+0.439*B+128，Cr＝0.439*R-0.368*G-0.071*B+128。将图像从RGB颜色空间转化到YCbCr颜色空间。
2)设置分块矩形区域的大小，为了满足不同分辨率图像的应用，图像分块的宽度和高度分别选取为图像宽度与高度的五分之一，如果余数小于块宽度的1/2，则合并到最后一个分块中，否则，作为一个独立较小的分块。
3)计算每个区域块Cb的均值Mb，Cr的均值Mr；
4)计算每个区域块Cb的平均均值差Db，Cr的平均均值差Dr。
5)同时满足以下两个判定式的像素点即为近似白平衡点，其中sign为符号函数，参数大于0，返回值为1，否则为-1。
|Cb(i，j)-(Mb+Db×sign(Mb))|＜1.5×Db；
|Cr(i，j)-(1.5×Mr+Dr×sign(Mr))|＜1.5×Dr；
6)按Y值从大到小选取前10％的候选近似白平衡点作为图像的参考白平衡点；
7)计算所有选参考白平衡点R、G、B三个通道的平均值Rav，Gav，Bav。
8)根据公式Rgain＝Ymax/Ravew，Ggain＝Ymax/Gavew，Bgain＝Ymax/Bavew计算R、G、B三个通道的校正增益。
9)根据公式R′＝R×Rgain，G′＝G×Ggain，B′＝B×Bgain计算校正后图像各像素各通道的值。
10)校正后各像素各通道的值如果大于255，则全部固定为255，生成最终校正后图像。
步骤二，基于深度学习神经网络人体目标检测，网络结构采用GoogleLeNet的Inception V2，训练数据集以INRIAP公开数据集为基础，添加了112例施工人员正例和由16张施工场所背景图像中随机截取480张负例。训练过程中，对添加的112个正例和480个负例进行了强化训练。
步骤三，进行Mean shift平滑滤波处理，该滤波器的处理对象为检测到的人体目标矩形区域图像，是能够“保边缘”的滤波器。平滑之后，同类颜色之间的距离更小，而不同类间的边缘因类内颜色的平滑效果而更加突出。
Mean shift平滑滤波处理的方法包括：
空间域带宽r取值为32，则空域处理正方形区域边长为2*r+1＝65，值域带宽参数w取值为16，权值模板以方差为5的高斯距离的倒数作为权值。
将待处理图像从RGB颜色空间转换到Lab颜色空间。
按下式计算当前位置平滑后的值，其中核函数G取为高斯函数，|xi-x|用CIE00颜色距离计算标准提供的计算方法：
步骤四，基于颜色距离的边缘提取，具体包括：
1)应用sobel算子模板，按照CIE00颜色距离标准计算图像像素间的颜色距离，同时保存改颜色距离所区分的颜色。
2)根据CIE标准，Lab颜色空间中，当颜色距离小于2.3，人眼基本就分辨不出差别，取尺度因子k为5，当颜色距离值大于2.3*k＝11.5是，则认为是不同颜色间的边缘，保持原值不变，小于该值，则认为是同一种颜色的波动，并统一设置该值为2.3*k。
3)将颜色距离分布值线性均匀拉升到0-255之间，具体为xx＝(x-xmin)/(xmax-xmin)。
4)对动态范围调整后的颜色距离图像取阈值64进行二值化，得到最终的边缘图像。
步骤五，利用霍夫变换直线检测方法检测安全带腰带的上下边缘，根据安全腰带在人体的上半部分，并且大致呈水平状态的特征，具体为：
1)在所提取二值边缘图像中，截取图像高度的1/8至4/8(图像顶部为0)、宽度1/8至7/8区域为直线检测区域。
2)霍夫变换直线检测方法中，设置距离Rho的搜素步长为1，角度Theta的搜索步长为1°，且角度搜索范围限定在-(15°，15°)范围内，点到直线的距离阈值设置为2，小于该阈值，则为直线上的点。应用霍夫直线变换，将二值边缘图像变换到直线参数Rho—Theta空间。在参数空间每一对(Rho,Theta)值，确定了一条直线Rho＝X*Cos(Theta)+Y*Sin(Theta)，对应边缘图像中一个点的集合。
3)因为直线上点的检测是在全区域内搜索，区分不同颜色区域的边界可能在同一条直线上，对每一条直线点集，根据各点(距离)对应的两个原图像中两个点的颜色信息，进一步分类，每一类即为可能的边缘分界线。假设点集中两个代表距离的点p1、p2,p1对应原图中p11、p12两点间的颜色距离，p2对应原图中p21、p22两点间的颜色距离，如果p11与p21和p12与p22都小于阈值2.3*k，则p1与p2为同一个分界线上的点。
4)对所有的不同颜色区域分界直线，设置直线上总点数的阈值为直线检测区域宽度的1/2，所有大于该阈值的直线为有效候选直线。
步骤六，安全带的腰带在二值边缘图像中体现为两条平行直线，且两条边之间的距离不大。在检测到的所有候选直线中，如果存在两条平行距离在指定范围内的平行直线，则可确定存在安全带。
在本发明实施例中，对所有待选直线段，两两计算其中一条直线段的两个端点到另一条直线度的垂直距离，d1和d2；
安全带的实际宽度为40-50mm，若设定人体高度范围为1500-2000mm，则安全带宽度为人体高度的(4/200，5/150)，取安全带宽度最小为人体目标矩形高度的4/200，最大为人体目标矩形高度的5/150，如果d1和d2任意一个值不在该区间，则舍弃；
如果d1*d2<0,则两个端点在直线的不同侧，为相交线，舍弃；
如果d1*d2>0且两条线段的距离在2)所规定的范围内，定义两条线段的平行度为：paralRatio＝abs(d1-d2)/(abs(d1+d2)/2)，当paralRatio小于预定阈值，则判定为平行线，否则舍弃。
若存在两条平行线，且平行线之间的距离在指定的范围内，则佩戴有安全带，否则则没有。
在本发明实施例中，对抓拍到高空作业人员佩戴有安全带的图片检测中，实验证明，本发明能够检测出工作人员安全带的佩戴情况，具有较大的应用价值和前景。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种智慧工地基于视频的高空作业人员安全带穿戴检测方法，其特征在于，所述智慧工地基于视频的高空作业人员安全带穿戴检测方法包括：
第一步，视频监控设备抓拍高空作业的施工现场图像，对获取的施工现场图像进行自适应白平衡，消除色差；
第二步，对消除色差后的施工现场图像，利用深度学习神经网络进行用户目标图像的检测和识别；
第三步，采用mean shift平滑方法对识别后目标图像的颜色进行平滑滤波；
第四步，应用sobel算子模板，按照CIE00颜色距离计算平滑滤波后的目标图像像素间的颜色距离；对动态范围调整后的颜色距离图像进行二值化，得到最终的边缘图像；
第五步，从进行二值化处理的边缘图像中截取直线检测的感兴趣区域；遍历搜索范围内直线到原点的距离Rho与水平线的夹角Theta值，检测安全带的两侧边缘所有待选直线；
第六步，在检测到的所有待选直线中，如果存在两条平行直线的距离在指定范围内，则存在安全带。
2.如权利要求1所述的智慧工地基于视频的高空作业人员安全带穿戴检测方法，其特征在于，第一步具体包括:
1)将采集到的图像从RGB颜色空间转换到YCbCr颜色空间；
2)设置分块矩形区域的大小，在图像的Cb-Cr空间，将图像按指定区域块大小分块；
3)计算每个区域块Cb的均值Mb,Cr的均值Mr；
4)计算每个区域块Cb的平均均值差Db，Cr的平均均值差Dr；
5)同时满足以下两个判定式的像素点为近似白平衡点：
|Cb(i，j)-(Mb+Db×sign(Mb))|＜1.5×Db
|Cr(i，j)-(1.5×Mr+Dr×sign(Mr))|＜1.5×Dr；
6)按照亮度值Y，选取步骤5)中所有近似白平衡点的前10％作为图像的参考白平衡点；
7)计算步骤6)中所选取参考平衡点R、G、B三个通道的平均值Rav，Gav，Bav；
8)计算R、G、B三个通道的校正增益：Rgain＝Ymax/Ravew，Ggain＝Ymax/Gavew，Bgain＝Ymax/Barew；
9)计算校正后图像各像素各通道的值：R′＝R×Rgain，G′＝G×Ggain，B′＝B×Bgain。
3.如权利要求1所述的智慧工地基于视频的高空作业人员安全带穿戴检测方法，其特征在于，第二步具体包括：
a)采集高空作业用户图片样本数据集，采集高空作业背景图片样本数据集；
b)将步骤a)中采集的专门数据集与INRIAP公开数据集相结合，作为训练数据集；
c)选用GoogleLeNet的Inception V2网络结构，用步骤b)中准备的数据集训练该网络；
d)对专门数据集中的数据进行强化训练；
e)用训练好的神经网络进行用户目标识别。
4.如权利要求1所述的智慧工地基于视频的高空作业人员安全带穿戴检测方法，其特征在于，第三步具体包括：
i)设置空间域带宽r和值域带宽w，并取边长为2*r+1的正方形区域作为处理窗，计算该窗各点到其中心的高斯距离，以高斯距离的倒数作为权值，进行权重模板初始化；
ii)将待处理图像从RGB颜色空间转换到Lab颜色空间；
iii)按下式计算当前位置平滑后的值：
其中，G为核函数，取为单位函数或者是高斯函数，w为值域带宽，w(i)为步骤i)计算的权值，Xi为处理窗中像素值(Li,ai,bi)；X为处理窗中心位置像素值(L0,a0,b0)；|xi-x|为CIE00颜色距离。
5.如权利要求1所述的智慧工地基于视频的高空作业人员安全带穿戴检测方法，其特征在于，第四步具体包括：
A)应用sobel算子模板，按照CIE00颜色距离标准计算图像像素间的颜色距离，同时保存改颜色距离所区分的颜色；
B)设置尺度参数k，当颜色距离值大于2.3*k,为不同颜色间的边缘，保持原值不变，小于2.3*k值，距离设置为2.3*k；
C)在进行初步阈值处理后，将颜色距离分布值线性均匀拉升到0-255，为xx＝255*(x-xmin)/(xmax-xmin)；
D)对动态范围调整后的颜色距离图像进行二值化，得到最终的边缘图像。
6.如权利要求1所述的智慧工地基于视频的高空作业人员安全带穿戴检测方法，其特征在于，第五步具体包括：
I)从所提取边缘二值化图像中截取直线检测的感兴趣区域；
II)设置直线到原点的距离Rho与水平线的夹角Theta的搜索范围及搜索步长，给定Rho与Theta值确定直线Rho＝X*Cos(Theta)+Y*Sin(Theta)，扫描区域内所有边缘点，计算点到所述直线的距离，如果距离小于预设的阈值，则所述点为直线上的点；
III)对所有直线上的点，依据所区分的颜色信息分类，不同类型的边界点组成不同的边界线；
IV)设置构成直线最少点数阈值，大于所述阈值，则保存为待选直线；
V)遍历搜索范围内所有Rho和Theta值，检测到所有的待选直线。
7.如权利要求1所述的智慧工地基于视频的高空作业人员安全带穿戴检测方法，其特征在于，第六步具体包括：
(1)对所有待选直线段，两两计算其中一条直线段的两个端点到另一条直线度的垂直距离，d1和d2；
(2)设置安全带宽度范围，如果d1和d2任意一个值不在所述区间，则舍弃；
(3)如果d1*d2<0,则两个端点在直线的不同侧，为相交线，舍弃；
(4)如果d1*d2>0，两条线段的平行度为：paralRatio＝abs(d1-d2)/(abs(d1+d2)/2)，当paralRatio小于预定阈值，判定为平行线，否则舍弃；
(5)若存在两条平行线，且平行线之间的距离在指定的范围内，则有安全带，否则则没有。
8.如权利要求1所述的智慧工地基于视频的高空作业人员安全带穿戴检测方法，其特征在于，执行第六步后，进一步进行：
照片和视频数据保存及异常信息上报，当检测到没有安全带时，将异常消息同抓拍的照片通过网络实时上报到云端智慧工地服务管理系统。
9.一种实施权利要求1所述智慧工地基于视频的高空作业人员安全带穿戴检测方法的施工现场视频监控系统。
10.一种实施权利要求1所述智慧工地基于视频的高空作业人员安全带穿戴检测方法的智慧工地安全带穿监控平台。
CN201811550005.6A 2018-12-18 2018-12-18 智慧工地基于视频的高空作业人员安全带穿戴检测方法 Active CN109635758B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811550005.6A CN109635758B (zh) 2018-12-18 2018-12-18 智慧工地基于视频的高空作业人员安全带穿戴检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811550005.6A CN109635758B (zh) 2018-12-18 2018-12-18 智慧工地基于视频的高空作业人员安全带穿戴检测方法

Publications (2)

Publication Number Publication Date
CN109635758A true CN109635758A (zh) 2019-04-16
CN109635758B CN109635758B (zh) 2021-07-09

Family

ID=66074999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811550005.6A Active CN109635758B (zh) 2018-12-18 2018-12-18 智慧工地基于视频的高空作业人员安全带穿戴检测方法

Country Status (1)

Country Link
CN (1) CN109635758B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110404202A (zh) * 2019-06-28 2019-11-05 北京市政建设集团有限责任公司 高空作业安全带的检测方法及装置、高空作业安全带
CN110472638A (zh) * 2019-07-30 2019-11-19 精硕科技（北京）股份有限公司 一种目标检测方法、装置及设备、存储介质
CN111178212A (zh) * 2019-12-23 2020-05-19 深圳供电局有限公司 图像识别方法、装置、计算机设备和存储介质
CN111652046A (zh) * 2020-04-17 2020-09-11 济南浪潮高新科技投资发展有限公司 基于深度学习的安全穿戴检测方法、设备及系统
CN111680610A (zh) * 2020-06-03 2020-09-18 合肥中科类脑智能技术有限公司 一种施工场景异常监测方法和装置
CN111932581A (zh) * 2020-08-11 2020-11-13 沈阳帝信人工智能产业研究院有限公司 安全绳检测方法、装置、电子设备和可读存储介质
CN112101260A (zh) * 2020-09-22 2020-12-18 广东电科院能源技术有限责任公司 一种作业人员安全带识别方法、装置、设备和存储介质
CN112883786A (zh) * 2021-01-14 2021-06-01 深圳市博远科技创新发展有限公司 一种智能交通安全综合管理与监管系统及其使用方法
CN113313186A (zh) * 2021-06-09 2021-08-27 广东电网有限责任公司 一种不规范穿戴工作服识别方法及系统
CN113657153A (zh) * 2021-07-08 2021-11-16 西安理工大学 改进EfficientNet用于安全带检测的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203989573U (zh) * 2014-06-19 2014-12-10 国家电网公司 一种电线杆登杆用安全带报警装置
CN105373779A (zh) * 2015-11-10 2016-03-02 北京汉王智通科技有限公司 一种车辆安全带智能检测方法及智能检测系统
US9415746B1 (en) * 2016-01-13 2016-08-16 International Business Machines Corporation Vehicle safety belt bypass warning system
CN106198542A (zh) * 2016-07-05 2016-12-07 江南大学 一种基于智能手机的经编织物工艺快速分析装置及方法
KR20170004394A (ko) * 2015-07-02 2017-01-11 휴앤에스(주) 원격으로 조정되는 비행체에 의한 도로촬영시스템
CN107944341A (zh) * 2017-10-27 2018-04-20 荆门程远电子科技有限公司 基于交通监控图像的司机未系安全带自动检测系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203989573U (zh) * 2014-06-19 2014-12-10 国家电网公司 一种电线杆登杆用安全带报警装置
KR20170004394A (ko) * 2015-07-02 2017-01-11 휴앤에스(주) 원격으로 조정되는 비행체에 의한 도로촬영시스템
CN105373779A (zh) * 2015-11-10 2016-03-02 北京汉王智通科技有限公司 一种车辆安全带智能检测方法及智能检测系统
US9415746B1 (en) * 2016-01-13 2016-08-16 International Business Machines Corporation Vehicle safety belt bypass warning system
CN106198542A (zh) * 2016-07-05 2016-12-07 江南大学 一种基于智能手机的经编织物工艺快速分析装置及方法
CN107944341A (zh) * 2017-10-27 2018-04-20 荆门程远电子科技有限公司 基于交通监控图像的司机未系安全带自动检测系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WANG KF ET AL: "《An Embedded System for Vision-based Driving Environment Perception》", 《2006 2ND IEEE/ASME INTERNATIONAL CONFERENCE ON MECHATRONICS AND EMBEDDED SYSTEMS》 *
丁永华等: "《改进的Mean Shift滤波在砂砾岩图像分割中的应用》", 《计算机与数字工程》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110404202A (zh) * 2019-06-28 2019-11-05 北京市政建设集团有限责任公司 高空作业安全带的检测方法及装置、高空作业安全带
CN110472638A (zh) * 2019-07-30 2019-11-19 精硕科技（北京）股份有限公司 一种目标检测方法、装置及设备、存储介质
CN111178212A (zh) * 2019-12-23 2020-05-19 深圳供电局有限公司 图像识别方法、装置、计算机设备和存储介质
CN111652046A (zh) * 2020-04-17 2020-09-11 济南浪潮高新科技投资发展有限公司 基于深度学习的安全穿戴检测方法、设备及系统
CN111680610A (zh) * 2020-06-03 2020-09-18 合肥中科类脑智能技术有限公司 一种施工场景异常监测方法和装置
CN111932581B (zh) * 2020-08-11 2023-09-26 沈阳帝信人工智能产业研究院有限公司 安全绳检测方法、装置、电子设备和可读存储介质
CN111932581A (zh) * 2020-08-11 2020-11-13 沈阳帝信人工智能产业研究院有限公司 安全绳检测方法、装置、电子设备和可读存储介质
CN112101260A (zh) * 2020-09-22 2020-12-18 广东电科院能源技术有限责任公司 一种作业人员安全带识别方法、装置、设备和存储介质
CN112101260B (zh) * 2020-09-22 2023-09-26 南方电网电力科技股份有限公司 一种作业人员安全带识别方法、装置、设备和存储介质
CN112883786A (zh) * 2021-01-14 2021-06-01 深圳市博远科技创新发展有限公司 一种智能交通安全综合管理与监管系统及其使用方法
CN113313186A (zh) * 2021-06-09 2021-08-27 广东电网有限责任公司 一种不规范穿戴工作服识别方法及系统
CN113313186B (zh) * 2021-06-09 2023-01-24 广东电网有限责任公司 一种不规范穿戴工作服识别方法及系统
CN113657153A (zh) * 2021-07-08 2021-11-16 西安理工大学 改进EfficientNet用于安全带检测的方法
CN113657153B (zh) * 2021-07-08 2024-04-19 西安理工大学 改进EfficientNet用于安全带检测的方法

Also Published As

Publication number Publication date
CN109635758B (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
CN109635758A (zh) 智慧工地基于视频的高空作业人员安全带穿戴检测方法
CN109819208B (zh) 一种基于人工智能动态监控的密集人群安防监控管理方法
CN109918971B (zh) 监控视频中人数检测方法及装置
CN106446926A (zh) 一种基于视频分析的变电站工人安全帽佩戴检测方法
CN105426828B (zh) 人脸检测方法、装置及系统
CN105868689A (zh) 一种基于级联卷积神经网络的人脸遮挡检测方法
CN106339657B (zh) 基于监控视频的秸秆焚烧监测方法、装置
CN105761261A (zh) 一种检测摄像头遭人为恶意破坏的方法
CN104091176A (zh) 人像比对在视频中的应用技术
CN103440475A (zh) 一种自动取款机使用者人脸可见性判断系统及方法
CN103824070A (zh) 一种基于计算机视觉的快速行人检测方法
CN104866843B (zh) 一种面向监控视频的蒙面人脸检测方法
CN105354563A (zh) 结合深度和彩色图像的遮挡人脸检测预警装置及实现方法
CN107347151A (zh) 双目摄像头遮挡检测方法及装置
CN109190475A (zh) 一种人脸识别网络与行人再识别网络协同训练方法
CN112287823A (zh) 一种基于视频监控的面部口罩识别方法
CN102542246A (zh) Atm机异常人脸检测方法
CN105160297A (zh) 基于肤色特征的蒙面人事件自动检测方法
CN103605971A (zh) 一种捕获人脸图像的方法及装置
CN103996033B (zh) 一种基于人脸五官坐标跟踪的真人识别方法
CN109948455A (zh) 一种遗留物体检测方法及装置
CN104318266A (zh) 一种图像智能分析处理预警方法
CN111325048A (zh) 一种人员聚集检测方法和装置
CN108492517A (zh) 一种用于楼宇的火灾监控系统
CN101364257B (zh) 能识别图像来源的人脸识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant