CN109660761A - 基于ssd的皮带通廊复杂环境人员识别与报警系统及方法 - Google Patents

Abstract

本发明提供一种基于SSD的皮带通廊复杂环境人员识别与报警系统及方法，包括中央服务器、摄像头、硬盘录像机、交换机、液晶屏、报警连锁控制器和PLC输入控制模块。所述的摄像头安装在皮带的左右两侧，所述的交换机将硬盘录像机、中央服务器组成以太网，所述的中央服务器存取硬盘录像机的视频流，实时处理，并进行实时人体目标识别，并对识别结果进行危险判断，并将危险判断结果发送给报警连锁控制器。在光线多变、粉尘大自然环境比较恶劣的皮带通廊，构建一套基于实时目标检测技术的皮带通廊内复杂环境人员识别与报警系统，提升皮带通廊人员安全监管能力，降低皮带通廊人员安全事故率。

Description

基于SSD的皮带通廊复杂环境人员识别与报警系统及方法

技术领域

本发明涉及皮带通廊目标检测控制技术领域，特别涉及一种基于SSD的皮带通廊内复杂环境人员识别与报警系统及方法。

背景技术

皮带通廊工况条件较为恶劣，其光线多变，粉尘大且通廊的人行过道狭窄，工作人员在进行巡检作业时，受光线、粉尘、道路狭窄、运输材料气味、温度、雾气等因素影响，容易发生安全事故。目前，皮带通廊虽已安装视频监控设备，但因监控人员所出现漏看、漏监情况，无有效的对监控视频进行实时解析判别手段，因此，当前视频监控设备主要应用于人员安全事件发生后的视频回放，调查事故原因使用，无法完全达到保障皮带通廊内人员安全的目标。

机器视觉是一项综合技术，包括图像处理、机械工程技术、控制、电光源照明、光学成像、传感器、模拟与数字视频技术、计算机软硬件技术。近年来随着人工智能技术的发展飞速发展。机器视觉系统的特点是提高生产的柔性和自动化程度。在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉；在目标检测、目标识别的方面的应用有高精度零部件检测、缺陷检测、装配完整性检测等，人员检测在交通、安防领域已获成熟应用，正在向比较恶劣的工业环境中应用与推广。

发明内容

为了解决背景技术中所述问题，本发明提供一种基于SSD的皮带通廊内复杂环境人员识别与报警系统及方法，在光线多变、粉尘大自然环境比较恶劣的皮带通廊，构建一套基于SSD的皮带通廊内复杂环境人员识别与报警系统，提升皮带通廊人员安全监管能力，降低皮带通廊人员安全事故率。

为了达到上述目的，本发明采用以下技术方案实现：

一种基于SSD的皮带通廊内复杂环境人员识别与报警系统，包括中央服务器、摄像头、硬盘录像机、交换机、液晶屏、报警连锁控制器和PLC输入控制模块。

所述的摄像头安装在皮带的左右两侧，监控过道及整个通廊；摄像头的视频流经光纤接入至硬盘录像机中；所述的硬盘录像机采集与存储摄像头的视频流；所述的交换机将硬盘录像机、中央服务器组成以太网，中央服务器通过以太网访问摄像头视频流；所述的中央服务器存取硬盘录像机的视频流，实时处理，并进行实时人体目标识别，并对识别结果进行危险判断，并将危险判断结果发送给报警连锁控制器。

所述的液晶屏与中央服务器相连接，显示实时监控画面，显示客户设置的预警线、预警区域、报警线、报警区域。

所述的报警连锁控制器通过USB转RS232接口连接中央服务器，接收危险判断结果，通过继电器接口连接PLC输入控制模块，通知PLC控制现场设备，控制现场声光报警设备是否开启工作，延时控制皮带停止运转。

一种基于SSD的皮带通廊内复杂环境人员识别与报警系统的方法，包括如下步骤：

步骤一、在皮带通廊过道处部署摄像头，构成人行过道无死角的视频监控网络，

步骤二、首先获取报警及预警区的区域范围参数，如果系统是初次部署，需进行设定；所述的区域范围参数为区域多边形形状参数；

步骤三、进行视频采集，并将采集结果实时显示在主界面窗口，同时，获取视频中的帧图像，进行帧图像分割，将分割的图像作为参数调用SSD人员识别与定位模块，获取图像中人员轮廓与位置坐标；

步骤四、与初始时获取的报警区、预警区的参数进行比较，并将结果显示到主程序窗口；

步骤五、当人体轮廓线入侵预警线、或者预警区域后，触发系统预警流程，现场收到声光报警提示；当人体轮廓线入侵报警线、报警区域后，触发系统报警流程，现场收到声光报警提示，并通过PLC控制皮带停止运转，保护人员安全。

所述的步骤三中，皮带通廊环境选用SSD算法识别人体目标，具体包括如下步骤：

步骤301、图像采集和预处理，利用不同时间段、不同光照、不同粉尘状态的大量视频流中截取帧图片，并处理成X*X大小，X取值300mm或512mm，并做图像增强处理，突出安全帽及工作服的特征，制作样本集；

步骤302、对样本集进行标注，标注目标物体在每个feature map下的defalut box的宽高比和置信度，并对边界框进行编码；保持负样本和正样本比例为3:1；

步骤303、将训练集输入，开始GPU多任务训练SSD网络，得到分类得分和窗口回归的两个输出向量，至此，训练完毕；

步骤304、将待识别的视频帧输入到已经训练好的网络中，将得到的所有defaultbox，进行非极大值抑制，得到最终的default box，然后经过softmax计算分类得分，得分最高的就是识别结果。然后通过对default box解码，或得最终的边界值，包括中心位置、长度、宽度。

所述的步骤303具体如下：

1)待训练的图片输入SSD网络，使用基于VGG16的网络结构，选取的feature map包括38x38x512、19x19x1024、10x10x512、5x5x256、3x3x256、1x1x256，Conv4_3之后的featuremap默认的box是4个，在38x38的这个平面上的每一点上面获得4个box，总共能够获得38x38x4＝5776个；同理，依次将FC7、Conv8_2、Conv9_2、Conv10_2和Conv11_2的box数量设置为6、6、6、4、4，能够获得的box分别为2166、600、150、36、4，即总共可以获得8732个box，将这些box送入非极大值抑制模块中，筛选出交叠率大于0.55的box；

2)输入步骤1)得出的box，通过梯度下降的方法训练直至网络收敛。训练用的总体目标损失函数如公式(1)。

公式(1)中，x为样本，N代表步骤1)挑选出来的box的个数，C是置信度，l是defaultbox，g是ground truth box，α取值为1，L_conf是类别损失函数，L_loc是位置损失函数。

L_loc是位置损失函数，定义如下：

其中：

代表的是第i个default box，第j个box的比例，k代表的是第k个种类；

L_conf是分类损失函数，定义如下：

其中

表示第i个默认框匹配到第j个类别为p的ground truth box，表示没有匹配到合适的ground truth box，表示第i个default box为类别p的soft max匹配概率。

所述的非极大值抑制处理步骤如下：

步骤一：选择一个概率最大的box，设为A。

步骤二：分别计算剩余box与A重叠率，删除交叠率小于0.55的窗口，经大量实验验证，交叠率阀值设为0.55，能兼顾速度与精度的要求；

重复步骤一、步骤二，获得最终的分类结果。

与现有技术相比，本发明的有益效果是：

1本发明在光线多变、粉尘大自然环境比较恶劣的皮带通廊，构建一套基于实时目标检测技术的皮带通廊内复杂环境人员识别与报警系统，提升皮带通廊人员安全监管能力，降低皮带通廊人员安全事故率；

2、采用SSD目标算法，计算精度高，非极大值抑制处理中的交叠率阀值设为0.55，能兼顾速度与精度的要求；

3、利用不同时间段、不同光照、不同粉尘状态的大量视频流中截取帧图片进行样本训练，实现各种时间段、各种环境条件下对通廊区域人体目标检测。

附图说明

图1是本发明的系统结构示意图；

图2是本发明的SSD算法网络结构图。

具体实施方式

以下结合附图对本发明提供的具体实施方式进行详细说明。

如图1所示，一种基于SSD的皮带通廊内复杂环境人员识别与报警系统，包括摄像头1、硬盘录像机2、交换机3、中央服务器4、液晶屏5、报警连锁控制器6和PLC输入控制模块7。软件包括前台业务模块、基于SSD的人员识别与定位算法模块。

所述的摄像头1安装在皮带的左右两侧，监控过道及整个通廊；摄像头1的视频流经光纤接入至硬盘录像机2中。

所述的硬盘录像机2用于采集与存储摄像头1的视频流；

所述的交换机3用于将硬盘录像机2、中央服务器4组成以太网，使得服务器可以凭借IP地址访问摄像头1视频流；

所述的中央服务器4存取硬盘录像机2的视频流，实时处理，并进行实时人体目标识别，并对识别结果进行危险判断，并将危险判断结果发送给报警连锁控制器6；

所述的液晶屏5显示实时监控画面，显示客户设置的预警线、预警区域、报警线、报警区域。

所述的报警连锁控制器6，通过USB转RS232接口连接中央服务器4，接收危险判断结果，通过继电器接口连接PLC输入模块7，通知PLC控制现场设备。

所述的PLC输入控制模块7，报警连锁控制器6继电器的信号，控制现场声光报警设备是否开启工作，延时控制皮带停止运转。

在皮带通廊过道处部署摄像头1，构成人行过道无死角的视频监控网络，并将视频流通过光纤传输至硬盘录像2机群，硬盘录像机2通过以太网将视频流传输至中央服务器4。中央服务器4运行人员识别与报警前后端程序，并外接液晶屏5，液晶屏部5署在监控室，液晶屏5直观显示程序运行结果。中央服务器4同时外接报警连锁控制器6，通过RS232将报警、预警结果传输至报警连锁控制器6，连锁控制器6外接声光报警器，同时与PLC输入模块连接7，完成对皮带的连锁急停控制。

所述的前台业务模块，程序主窗口实时显示视频画面，画面上实时显示人体轮廓识别结果，实时显示预警线、报警线，同时实时显示预警、报警判断结果。其他功能还有预警报警查询功能，预警线、报警线自定义配置功能。

所述的基于SSD的人员识别与定位算法模块，用于识别视频流中的人体目标轮廓与位置及识别概率。SSD是一种基于卷积神经网络的图像目标检测算法，是目前为止主要的目标检测算法之一，速度比Faster-Rcnn快，精度比YOLO高，适合在兼顾速度、同时精度相对较高的情况下使用。

前台业务程序使用Python作为程序开发语言，使用OpenCV采集视频流并做预处理，并将视频流中的帧图像输入SSD的人员识别与定位算法模块，获得皮带通廊中的人体目标轮廓、位置坐标，进而，可以与设定好的预警报警参数比较，判断人员是否处于预警、报警区。系统中，获取判定结果后，通知报警连锁控制设备，触发相应的预警、报警处理流程，及触发PLC连锁控制皮带急停，保护人员安全。

一种基于SSD的皮带通廊内复杂环境人员识别与报警系统的方法，包括如下步骤：

步骤一、在皮带通廊过道处部署摄像头，构成人行过道无死角的视频监控网络，

步骤二、首先获取报警及预警区的区域范围参数，如果系统是初次部署，需进行设定；所述的区域范围参数为区域多边形形状参数；

步骤三、进行视频采集，并将采集结果实时显示在主界面窗口，同时，获取视频中的帧图像，进行帧图像分割，将分割的图像作为参数调用SSD人员识别与定位模块，获取图像中人员轮廓与位置坐标；

步骤四、与初始时获取的报警区、预警区的参数进行比较，并将结果显示到主程序窗口；

步骤五、当人体轮廓线入侵预警线、或者预警区域后，触发系统预警流程，现场收到声光报警提示；当人体轮廓线入侵报警线、报警区域后，触发系统报警流程，现场收到声光报警提示，并通过PLC控制皮带停止运转，保护人员安全。

所述的步骤三中，皮带通廊环境选用SSD算法识别人体目标，具体包括如下步骤：

步骤301、图像采集和预处理，利用不同时间段、不同光照、不同粉尘状态的大量视频流中截取帧图片，并处理成X*X大小，X取值300mm或512mm，并做图像增强处理，突出安全帽及工作服的特征，制作样本集；

步骤302、对样本集进行标注，标注目标物体在每个feature map下的defalut box的宽高比和置信度，并对边界框进行编码；保持负样本和正样本比例为3:1；

步骤303、将训练集输入，开始GPU多任务训练SSD网络，得到分类得分和窗口回归的两个输出向量，至此，训练完毕；

步骤304、将待识别的视频帧输入到已经训练好的网络中，将得到的所有defaultbox，进行非极大值抑制，得到最终的default box，然后经过softmax计算分类得分，得分最高的就是识别结果。然后通过对default box解码，或得最终的边界值，包括中心位置、长度、宽度。

所述的步骤303具体如下：

1)待训练的图片输入SSD网络，使用基于VGG16的网络结构，选取的feature map包括38x38x512、19x19x1024、10x10x512、5x5x256、3x3x256、1x1x256，Conv4_3之后的featuremap默认的box是4个，在38x38的这个平面上的每一点上面获得4个box，总共能够获得38x38x4＝5776个；同理，依次将FC7、Conv8_2、Conv9_2、Conv10_2和Conv11_2的box数量设置为6、6、6、4、4，能够获得的box分别为2166、600、150、36、4，即总共可以获得8732个box，将这些box送入非极大值抑制模块中，筛选出交叠率大于0.55的box；

2)输入步骤1)得出的box，通过梯度下降的方法训练直至网络收敛。训练用的总体目标损失函数如公式(1)。

公式(1)中，x为样本，N代表步骤1)挑选出来的box的个数，C是置信度，l是defaultbox，g是ground truth box，α取值为1，L_conf是类别损失函数，L_loc是位置损失函数。

L_loc是位置损失函数，定义如下：

其中：

代表的是第i个default box，第j个box的比例，k代表的是第k个种类；

L_conf是分类损失函数，定义如下：

其中

表示第i个默认框匹配到第j个类别为p的ground truth box，表示没有匹配到合适的ground truth box，表示第i个default box为类别p的soft max匹配概率。

所述的非极大值抑制处理步骤如下：

步骤一：选择一个概率最大的box，设为A。

步骤二：分别计算剩余box与A重叠率，删除交叠率小于0.55的窗口，经大量实验验证，交叠率阀值设为0.55，能兼顾速度与精度的要求；

重复步骤一、步骤二，获得最终的分类结果。

以上实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于上述的实施例。上述实施例中所用方法如无特别说明均为常规方法。

Claims (5)

1.一种基于SSD的皮带通廊内复杂环境人员识别与报警系统，其特征在于，包括中央服务器、摄像头、硬盘录像机、交换机、液晶屏、报警连锁控制器和PLC输入控制模块；

所述的摄像头安装在皮带的左右两侧，监控过道及整个通廊；摄像头的视频流经光纤接入至硬盘录像机中；所述的硬盘录像机采集与存储摄像头的视频流；所述的交换机将硬盘录像机、中央服务器组成以太网，中央服务器通过以太网访问摄像头视频流；所述的中央服务器存取硬盘录像机的视频流，实时处理，并进行实时人体目标识别，并对识别结果进行危险判断，并将危险判断结果发送给报警连锁控制器；

所述的液晶屏与中央服务器相连接，显示实时监控画面，显示客户设置的预警线、预警区域、报警线、报警区域；

所述的报警连锁控制器通过USB转RS232接口连接中央服务器，接收危险判断结果，通过继电器接口连接PLC输入控制模块，通知PLC控制现场设备，控制现场声光报警设备是否开启工作，延时控制皮带停止运转。

2.权利要求1所述的一种基于SSD的皮带通廊内复杂环境人员识别与报警系统的方法，其特征在于，包括如下步骤：

步骤一、在皮带通廊过道处部署摄像头，构成人行过道无死角的视频监控网络，

步骤二、首先获取报警及预警区的区域范围参数，如果系统是初次部署，需进行设定；所述的区域范围参数为区域多边形形状参数；

步骤三、进行视频采集，并将采集结果实时显示在主界面窗口，同时，获取视频中的帧图像，进行帧图像分割，将分割的图像作为参数调用SSD人员识别与定位模块，获取图像中人员轮廓与位置坐标；

步骤四、与初始时获取的报警区、预警区的参数进行比较，并将结果显示到主程序窗口；

步骤五、当人体轮廓线入侵预警线、或者预警区域后，触发系统预警流程，现场收到声光报警提示；当人体轮廓线入侵报警线、报警区域后，触发系统报警流程，现场收到声光报警提示，并通过PLC控制皮带停止运转，保护人员安全。

3.根据权利要求2所述的一种基于SSD的皮带通廊内复杂环境人员识别与报警系统的方法，其特征在于，所述的步骤三中，皮带通廊环境选用SSD算法识别人体目标，具体包括如下步骤：

步骤301、图像采集和预处理，利用不同时间段、不同光照、不同粉尘状态的大量视频流中截取帧图片，并处理成X*X大小，X取值300mm或512mm，并做图像增强处理，突出安全帽及工作服的特征，制作样本集；

步骤302、对样本集进行标注，标注目标物体在每个feature map下的defalut box的宽高比和置信度，并对边界框进行编码；保持负样本和正样本比例为3:1；

步骤303、将训练集输入，开始GPU多任务训练SSD网络，得到分类得分和窗口回归的两个输出向量，至此，训练完毕；

步骤304、将待识别的视频帧输入到已经训练好的网络中，将得到的所有default box，进行非极大值抑制，得到最终的default box，然后经过softmax计算分类得分，得分最高的就是识别结果；然后通过对default box解码，或得最终的边界值，包括中心位置、长度、宽度。

4.根据权利要求3所述的一种基于SSD的皮带通廊内复杂环境人员识别与报警系统的方法，其特征在于，所述的步骤303具体如下：

1)待训练的图片输入SSD网络，使用基于VGG16的网络结构，选取的feature map包括38x38x512、19x19x1024、10x10x512、5x5x256、3x3x256、1x1x256，Conv4_3之后的featuremap默认的box是4个，在38x38的这个平面上的每一点上面获得4个box，总共能够获得38x38x4＝5776个；同理，依次将FC7、Conv8_2、Conv9_2、Conv10_2和Conv11_2的box数量设置为6、6、6、4、4，能够获得的box分别为2166、600、150、36、4，即总共可以获得8732个box，将这些box送入非极大值抑制模块中，筛选出交叠率大于0.55的box；

2)输入步骤1)得出的box，通过梯度下降的方法训练直至网络收敛；训练用的总体目标损失函数如公式(1)；

公式(1)中，x为样本，N代表步骤1)挑选出来的box的个数，C是置信度，l是defaultbox，g是ground truth box，α取值为1，L_conf是类别损失函数，L_loc是位置损失函数，

L_loc是位置损失函数，定义如下：

其中：

代表的是第i个default box，第j个box的比例，k代表的是第k个种类；

L_conf是分类损失函数，定义如下：

其中

表示第i个默认框匹配到第j个类别为p的ground truth box，表示没有匹配到合适的ground truth box，表示第i个default box为类别p的soft max匹配概率。

5.根据权利要求4所述的一种基于SSD的皮带通廊内复杂环境人员识别与报警系统的方法，其特征在于，所述的非极大值抑制处理步骤如下：

步骤一：选择一个概率最大的box，设为A；

步骤二：分别计算剩余box与A重叠率，删除交叠率小于0.55的窗口，经大量实验验证，交叠率阀值设为0.55，能兼顾速度与精度的要求；

重复步骤一、步骤二，获得最终的分类结果。