CN104573697B

CN104573697B - 基于多信息融合的施工升降机轿厢人数统计方法

Info

Publication number: CN104573697B
Application number: CN201410850070.6A
Authority: CN
Inventors: 杨静; 李伟
Original assignee: XI'AN MAPLE TREE ELECTRONICAL TECHNOLOGY DEVELOPMENT Co Ltd
Current assignee: XI'AN MAPLE TREE ELECTRONICAL TECHNOLOGY DEVELOPMENT Co Ltd
Priority date: 2014-12-31
Filing date: 2014-12-31
Publication date: 2017-10-31
Anticipated expiration: 2034-12-31
Also published as: CN104573697A

Abstract

本发明公开了一种基于多信息融合的施工升降机轿厢人数统计方法，步骤包括；步骤1、获取安全帽RGB颜色特征阈值；步骤2、对图像分割及二值化处理；步骤3、去除背景干扰；步骤4、对图像进行数学形态学处理；步骤5、提取图像中的多几何特征；步骤6、通过多信息融合方式识别出人数。本发明的方法，有效解决了用图像处理方法统计施工升降机内人数的问题，算法识别准确率高，实时性好，能够满足工程应用的需要。

Description

基于多信息融合的施工升降机轿厢人数统计方法

技术领域

本发明属于计算机视觉技术领域，涉及一种基于多信息融合的施工升降机轿厢人数统计方法。

背景技术

随着城镇化建设的推进，高楼大厦越来越多，施工升降机的使用日益频繁，为了避免群死、群伤事故，国内对施工升降机的载运人数进行了限制，要求安全监控系统实现升降机吊笼内人数的统计。根据施工升降机工作特点，因为轿厢需要在建筑物不同层楼运输物品或工作人员，不能简单在门外安全计算装置，因此，最简单可行的方法是利用图像识别的方法。利用图像在区域环境下进行人数统计主要有两种算法，一是基于视频图像的跟踪，通过对图像序列分析，实现对运动目标检测与跟踪；二是利用静态图像的目标特征，基于先验知识与规则进行人数识别。施工升降机吊笼尺寸一般为3.1m*1.5m*2.4m，空间狭小，在该区域内，人的运动行程短，人与人容易彼此遮挡，图像跟踪的方法容易丢失目标。根据施工升降机工作特点，人数统计只需在每次门关闭的时刻进行，本发明采用了静态图像识别。本算法采用头部特征和轮廓面积特征。Haritaoglu利用头部与人体的高度之比的几何特征方法提取人头；于海滨提出了在基于人体头部梯度信息Hough变换的基础上，用形状信息提取人头，然而，现有的头部特征提取都要求图像中每个人的头部成像是独立的，不能相互遮挡，所以对于施工升降机内人员粘连图像问题不能解决。针对施工升降机吊笼空间小，人体图像出现重叠、粘连，人员位置对图像面积影响较大的问题，目前没有相关方法报道。本发明方法利用施工现场，工作人员都必须佩戴安全帽这一特点，基于静态图像，采用目标颜色以及最小外接矩形的面积、占空比、质心距离、宽径比等多种几何特征的融合，可以有效解决因位置不同的面积差异以及粘连问题，实现施工升降机吊笼内人数统计。

发明内容

本发明的目的是提供一种基于多信息融合的施工升降机轿厢人数统计方法，解决了现有技术存在的施工升降机轿厢背景复杂、图像粘连，分辨率低，导致施工升降机吊笼内人数统计不准确的问题。

本发明所采用的技术方案是，一种基于多信息融合的施工升降机轿厢人数统计方法，按照以下步骤实施；

步骤1、获取安全帽RGB颜色特征阈值；

步骤2、图像分割及二值化处理；

步骤3、去除背景干扰；

步骤4、对图像进行数学形态学处理；

步骤5、提取图像中的多几何特征；

步骤6、通过多信息融合方式识别出人数。

本发明的有益效果是，有效解决了用图像处理方法统计施工升降机内人数的问题，算法识别准确率高，实时性好，能够满足工程应用的需要。

附图说明

图1是本发明方法的实施例轿厢内视频图像；

图2是本发明方法中的安全帽面积与距离的线性关系图；

图3是本发明方法中的不同特征的连通域图；

图4是本发明方法实施例的统计原始图像；

图5是本发明方法对图4进行图像分割二值化后的图像；

图6是本发明方法对图4最终得到的处理结果图像。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

以下假设施工现场的工人仅戴红色安全帽或黄色安全帽，

本发明基于多信息融合的施工升降机轿厢人数统计方法，通过采用图像处理的方法，对施工升降机轿厢内的人数进行统计，具体按照以下步骤实施：

步骤1、获取安全帽RGB颜色特征阈值

在施工现场获取大量的轿厢内工作图像，从中截取安全帽样本，利用安全帽样本图像分别得到红色安全帽的r-g和r-b直方图，以及黄色安全帽g-b和r-b直方图，由此得到红、黄色的色差阈值为：r-g＞40&&r-b＞40和g-b＞40&&r-b＞60，其中，r、g、b分别表示RGB颜色空间的红、绿和蓝三个分量；

步骤2、图像分割及二值化处理

读入待检测图像，获取图像的红、绿和蓝三个分量；

根据公式(1)计算F值，

其中，该F值用于判断图像像素是否为彩色，单色提取因子D＝20，当F>＝1为彩色，当F<l为单色，为了对标志颜色进行分类提取，在提取彩色信息基础上，即F>＝1时，利用RGB空间红色和黄色的色差阈值进行二值化，从而实现不同标志颜色的分类分割提取结果。

本步骤针对红色、黄色特征提取，利用先验样本获得红色和黄色的色差阈值，对红色阈值和黄色阈值分别进行图像分割，获得两种分割结果图，目的是减少红黄色的彼此干扰，图1为图像分割及二值化处理的实施例结果图像，其中标号1为黄色安全帽，标号2为红色安全帽，还有红色的轿厢顶棚都分割出来了。

步骤3、去除背景干扰

实际工程中，施工升降机轿厢背景非常复杂，如图1所示实施例，轿厢图像中有大片的红色背景(顶棚、门帘、门框)，根据成像原理，本步骤采用位置背景滤除的方式去除非人员位置的颜色背景，如图1中的顶棚红色区域可以利用位置滤除。

虽然这种方法不能完全滤除背景干扰，但计算速度快，能够对图像进行前期处理，有利于后续的人数统计。

步骤4、对图像进行数学形态学处理

去除部分背景干扰后的图像中存在着若干颜色特征的连通区域，即安全帽候选区域，此时这些区域中可能存在孔洞、或者边缘存在毛刺，因此，首先要对二值图像使用膨胀、腐蚀算子进行形态学开运算操作，结构元素选择半径为4的圆盘模板，对闭运算的结果图像进行空洞填充；然后，对图像再进行两次形态学的开运算，这样就使得图像有微粘连的部分得到比较清楚的分割。

步骤5、提取图像中的多几何特征

5.1)提取面积特征

利用连通域的面积特征可以去除图像中面积比较小，不合理的连通域。连通域的面积是靠贴标签再计算的方法，本步骤采用4连接的贴标签方法，设二值图像的标签矩阵为L(i,j)，i、j分别为原图像矩阵的像素行号与列号，图像贴标具体步骤如下：

5.11)设标签值λ＝0，已贴标签数N＝0，按照从左到右、从上到下的顺序对二值化的图像进行扫描，寻找像素值为1的目标像素点；

5.12)对于尚未贴标签的目标像素点，搜索其邻域已扫描过的点，

如果这些点的标签值为0，则标签值λ＝λ+1，该点的标签矩阵值为L(i,j)＝λ，贴标签数N＝N+1；

如果这些点的标签值相同且不为0，则L(i,j)＝λ；

如果标签值不同，设标签值分别为λ、λ',且0＜λ＜λ'，则当前目标像素点的标签值L(i,j)＝λ，并将标签值为λ'的所有像素点的标签值改为λ，并令标签数N＝N-1；

5.13)将图像中所有像素按步骤5.12)的方式进行处理；

5.14)判断是否λ＝N，若是则处理结束；

否则，说明已贴标签为不连续编号，则进行编号调整，使其标签号连续排列，

经过贴标签之后再针对各个连通域计算面积，即计算每个不同标签值下联通域的像素点的总个数，并将其记录在各自的标签值下，即为连通域的面积A_S；

5.2)提取形状特征

由于实际轿厢内人群拥挤，图像中相邻安全帽经常出现粘连现象，此时，简单的圆形形状特征无法准确识别数量。因此，本步骤利用了目标图像连通域的最小外接矩形的长宽比C以及占空比Z两个特征，长宽比C以及占空比Z分别定义为：

其中，a为外接矩形的长，b为外接矩形的宽，A_S是连通区域面积，A₀是连通区域外接矩形的面积，具体步骤如下：

5.21)对每个做标记的连通域边界以每次3度的增量在90度范围内旋转，每旋转一次记录其坐标系方向上的外接矩形边界点的最大和最小的x值和y值，x值和y值分别代表图像中像素点的横坐标与纵坐标，旋转到某一角度后，外接矩形的面积达到最小，即为该连通域的最小外接矩形；

5.22)得到最小外接矩形后即可得到连通域四个拐角点图像坐标分别是(x₁,y₁)、(x₂,y₂)、(x₃,y₃)及(x₄,y₄)，再根据两点坐标求距离得到外接矩形的长a、外接矩形的宽b以及外接矩形的面积A₀；

5.23)利用公式(2)分别得到连通域的长宽比C和占空比Z；

步骤6、通过多信息融合方式识别出人数

具体步骤如下：

6.1)面积滤除

根据实际工况，为了得到轿厢内完整图像，摄像头必须安装于施工升降机轿厢一侧，由于轿厢高度有限，安全帽与摄像头的距离对图像中安全帽的面积影响较大，如图1中，普通3.1米的轿厢，同样规格的安全帽在距摄像头近的地方以及远离摄像头的地方，安全帽图像面积相差80％，在同一个位置，由于人的高度不同，安全帽的面积也不同。本步骤结合连通域位置，利用图2的距离与安全帽面积的线性函数关系计算不同位置处的安全帽最小面积A_min，使用该最小面积对图像中非安全帽进行面积滤除。

6.2)识别目标连通域

标准圆图像最小外接矩形的长宽比C＝1，占空比Z＝0.79，当目标粘连时，最小外接矩形长宽比C能够确定目标个数，占空比Z则能够判定该连通域是否为检测目标区域。如图3所示为两种不同的连通域，对于连通域1，占空比Z＝0.78即可确定其符合目标形状要求，长宽比C＝1.8即可确定目标数量为2；对于连通域2，占空比Z＝0.43，即可确定其形状为非目标形状，从而判断为非目标区域，

根据施工升降机的工况，可以确定安全帽连通域的占空比Z>0.7；

6.3)识别人数

当连通域的面积大于该位置处最小面积，且占空比满足条件，即A_min＜A_s&&Z＞0.7，确定该连通域为目标区域，在此基础上，根据连通域的长宽比C，以及连通域面积A_S与该位置处最小面积A_min，的比值识别该连通域人数。

经过大量实验，考虑施工升降机吊笼的尺寸，一般情况最多三人粘连，则人数识别的判断逻辑如下：

如果1≤C≤2，且0.8*A_min≤A_s≤1.1*A_min，则该连通域目标个数1；

如果1.8≤C≤2，且1.6*A_min≤A_s≤2*A_min，则该连通域目标个数2；

如果2.5≤C≤3，且2.5*A_min≤A_s≤3*A_min，则该连通域目标个数3；

最后，累加各个连通域目标个数即为轿厢内总人数，即成。

实施例

某施工现场实际采集图像如图4，图中也标出了红色背景，标号1为黄色安全帽，标号2为红色安全帽，以红色安全帽为例进行分析，图5为图像分割二值化后的图像，图6为本发明最终得到的分析、处理结果。由图5可见，二值化分割后，首先黄色安全帽被滤除，颜色提取后有6个连通域，其中，连通域4(红色门框)、连通域5(红色背景)、连通域6(红色背景)可以利用面积特征直接排除；连通域3长宽比为2、但因占空比为0.63不符合目标阈值被排除；连通域1占空比为0.82、长宽比为1.81，利用面积特征，连通域1的目标数为2；对于连通域2，占空比为0.81、长宽比为1.18，利用面积特征，连通域2的目标数为1，最后图4统计红色安全帽数量为3。相比较，若采用单一的面积特征处理，对于图4的情况，连通域3将会被标为2个目标物，最终图4安全帽数量将会识别为5，误差高达40％。由此可见，对于复杂的背景，安全帽粘连情况下的施工升降机人数识别，本算法采用多几何特征融合处理，准确率更高。

现场测试中发现，施工升降机吊笼内有对外窗户，升降机在运行过程中，不同楼层，光线从窗口入射情况不同，光照变化导致人数识别错误。实验中，将窗户遮挡，利用吊笼内的照明灯，提供稳定的光源，对施工现场上、下班人员乘梯高峰时间段以及正常工作时间段进行了测试，提取了100多种不同位置有图像粘连的情况的照片，利用上述多几何信息融合的算法，人数统计误差不大于1人的结果为86％以上。

Claims

1.一种基于多信息融合的施工升降机轿厢人数统计方法，其特征在于，按照以下步骤实施；

步骤1、获取安全帽RGB颜色特征阈值，

在施工现场获取大量的轿厢内工作图像，从中截取安全帽样本，利用安全帽样本图像分别得到红色安全帽的r-g和r-b直方图，以及黄色安全帽g-b和r-b直方图，由此得到红、黄色的色差阈值为：r-g>40&&r-b>40和g-b>40&&r-b>60，其中，r、g、b分别表示RGB颜色空间的红、绿和蓝三个分量；

步骤2、对图像分割及二值化处理，具体步骤如下：

读入待检测图像，获取图像的红、绿和蓝三个分量，

根据公式(1)计算F值，

其中，该F值用于判断图像像素是否为彩色，单色提取因子D＝20，当F>＝1为彩色，当F<l为单色，为了对标志颜色进行分类提取，在提取彩色信息基础上，即F>＝1时，利用RGB空间红色和黄色的色差阈值进行二值化，从而实现不同标志颜色的分类分割提取结果；

步骤3、去除背景干扰，

采用位置背景滤除的方式去除非人员位置的颜色背景；

步骤4、对图像进行数学形态学处理，具体步骤如下：

首先对二值图像使用膨胀、腐蚀算子进行形态学开运算操作，结构元素选择半径为4的圆盘模板，对闭运算的结果图像进行空洞填充；

然后，对图像再进行两次形态学的开运算，使得图像有微粘连的部分得到清楚的分割；

步骤5、提取图像中的多几何特征，具体步骤如下：

5.1)提取面积特征

利用连通域的面积特征去除图像中面积比较小的连通域，连通域的面积是靠贴标签再计算的方法，本步骤采用4连接的贴标签方法，设二值图像的标签矩阵为L(i,j)，i、j分别为原图像矩阵的像素行号与列号，图像贴标具体步骤如下：

如果这些点的标签值相同且不为0，则L(i,j)＝λ；

如果标签值不同，设标签值分别为λ、λ',且0<λ<λ'，则当前目标像素点的标签值L(i,j)＝λ，并将标签值为λ'的所有像素点的标签值改为λ，并令标签数N＝N-1；

5.13)将图像中所有像素按步骤5.12)的方式进行处理；

5.14)判断是否λ＝N，若是，则处理结束；否则，说明已贴标签为不连续编号，则进行编号调整，使其标签号连续排列，

5.2)提取形状特征

利用目标图像连通域的最小外接矩形的长宽比C以及占空比Z两个特征，长宽比C以及占空比Z分别定义为：

其中，a为外接矩形的长，b为外接矩形的宽，A_S是连通区域面积，A₀是连通区域外接矩形的面积，具体步骤是：

5.22)得到最小外接矩形后即得到连通域四个拐角点图像坐标分别是(x₁,y₁)、(x₂,y₂)、(x₃,y₃)及(x₄,y₄)，再根据两点坐标求距离得到外接矩形的长a、外接矩形的宽b以及外接矩形的面积A₀；

5.23)利用公式(2)分别得到连通域的长宽比C和占空比Z；

步骤6、通过多信息融合方式识别出人数，具体步骤如下：

6.1)面积滤除

结合连通域位置，利用距离与安全帽面积的线性函数关系计算不同位置处的安全帽最小面积A_min，使用该最小面积对图像中非安全帽进行面积滤除；

6.2)识别目标连通域

标准圆图像最小外接矩形的长宽比C＝1，占空比Z＝0.79，当目标粘连时，最小外接矩形长宽比C能够确定目标个数，占空比Z则能够判定该连通域是否为检测目标区域，

根据施工升降机的工况，确定安全帽连通域的占空比Z>0.7；

6.3)识别人数

当连通域的面积大于该位置处最小面积，且占空比满足条件，即A_min<A_s&&Z>0.7，确定该连通域为目标区域，在此基础上，根据连通域的长宽比C，以及连通域面积A_S与该位置处最小面积A_min，的比值识别该连通域人数；考虑施工升降机吊笼的尺寸，一般情况最多三人粘连，则人数识别的判断逻辑如下：

最后，累加各个连通域目标个数即为轿厢内总人数。