CN114299451A - 一种深度学习监控视频遮挡的识别系统及方法 - Google Patents

Abstract

本发明设计图像处理技术领域，具体公开了一种深度学习监控视频遮挡的识别系统及方法，包括图像采集设备、图像处理服务器和图像分析平台，所述图像采集设备设有若干摄像机，摄像机连接网络模块，用于将实时监控视频和截取图片传输至图像处理服务器，图像处理服务器上安装有图像预处理平台，图像预处理平台对采集的截取图片进行对比、删除和分类存储，图像处理服务器上还安装有图像分析平台，用于对图像预处理后的截取图片进行分析判断遮挡率；本发明通过直方图和训练深度学习模型，对存储器中的图片做双重遮挡率检测，先检测遮挡图片的占比，再检测直方图中像素值的占比，使检测更加准确，提高对摄像机遮挡率检测的准确率。

Description

一种深度学习监控视频遮挡的识别系统及方法

技术领域

本发明涉及图像识别技术领域，具体涉及一种深度学习监控视频遮挡的识别系统及方法。

背景技术

现在土地使用要求较高，不能随意更改土地使用性质，因此，需要对土地进行视频监控。产生了很多对土地监控的摄像头，有些摄像头还需要安装在较为偏远的地区，对摄像头的维护提出了较高的要求。并且现在的摄像头都是进行视频和图片的直接存储造成存储器的压力增大，不及时清理，影响新数据传输。野外的摄像头还容易受到外部环境的干扰，造成对摄像头的遮挡，摄像头较多不易发现遮挡物的存在，不及时清理，又影响摄像头的使用，所以，需要增设对摄像头遮挡的识别系统。

现有技术中检测视频遮挡的方法有两种，一种是检测图像黑色的最大连通区域面积，该面积占整幅图像面积的比率即为遮挡率，该方法仅能检测紧贴镜头或黑色的遮挡物，对远离镜头或其他颜色的遮挡物存在误判；另一种是场景切换判定，需要设定参照场景图像，根据当前场景与参照场景的对比判定是否被遮挡，由于参照场景随季节、白天/夜间、施工等客观因素影响是变化的，需要经常更新参照场景图像，这对于目前数量庞大的监控设备来说是非常大的工作量，由于参照场景无法及时更新，对遮挡的检测准确性仍较低。因此，需要设计一种深度学习监控视频遮挡的识别系统及方法，以解决现有摄像头存储量大和遮挡率检测误判率高、检测不准确的问题。

发明内容

针对现有技术中存在的问题，本发明的目的在于提供一种深度学习监控视频遮挡的识别系统及方法。

本发明解决其技术问题所采用的技术方案是：一种深度学习监控视频遮挡的识别系统，包括图像采集设备、图像处理服务器和图像分析平台，所述图像采集设备设有若干摄像机，摄像机连接网络模块，用于将实时监控视频和截取图片传输至图像处理服务器，图像处理服务器上安装有图像预处理平台，图像预处理平台对采集的截取图片进行对比、删除和分类存储，图像处理服务器上还安装有图像分析平台，用于对图像预处理后的截取图片进行分析判断遮挡率。

具体的是，所述图像处理服务器内设有存储器，用于存储摄像机采集的监控视频和截取图片，存储器内设定视频文件和图片文件的保存时间为1个月。

具体的是，所述图像处理服务器上还安装有视频截图软件，视频截图软件内设有预置点，每到一个预置点截取一张图片，截取图片的时间为15-20秒，预置点的设置间隔为2分钟，用于对摄像机采集的监控视频进行图像截取形成截取图片。

一种深度学习监控视频遮挡的识别方法，其特征在于，包括以下步骤：

1)摄像机进行编号录入图像预处理平台和图像分析平台上，摄像机安装后7天内的监控视频和截取图片全保存在存储器中，用于作为训练图集的素材，并训练深度学习模型；

2)摄像机实时监控视频通过网络模块传输至图像处理服务器，形成两分钟一段的短视频，视频截图软件将短视频进行截取成两分钟一张的图片，短视频直接进入存储器；

3)截取图片通过网络模块传输至图像处理服务器中，并进入图像预处理平台；

4)图像预处理平台将按时间前后顺序的截取图片分别与训练图集中的图片进行对比，截取图片与训练图集中的图片的相似度达到100％，则将截取图片删除到存放箱中，存放箱中存放7天自动删除，截取图片与训练图集中的图片的相似度不到100％，则将截取图片均保存在存储器中；

5)图像分析平台对存储器中的图片进行分析判断遮挡率，存储器中的截取图片与已训练好的深度学习模型进行对比，以确定差别区域在截取图片中的位置和颜色，若是差别区域为黑色，且黑色面积占截取图片的比例超过设定的阈值10％，则说明发生近距离遮挡，若是其他颜色，则判断区别区域在截取图片上的位置和颜色；

6)存储器中的截取图片进行量化后在RGB颜色空间计算直方图，通过直方图计算截取图片中不同区域的像素值比例，与训练图集中图片的直方图进行对比，确定差别区域的在截取图片中的位置；

7)若是截取图片与训练图集中图片的差别区域的位置相同颜色不同，则是监控区域内土地使用状态发生变化；

8)若是截取图片与训练图集中图片的差别区域的位置不同，颜色不是黑色，且差别区域的像素值所占比例超过设定的阈值10％，则是发生其他色彩物品遮挡。

具体的是，所述步骤1)中的深度学习模型采用摄像机前期拍摄的图片作为训练图集，训练图集通过PPYOLO v2软件进行训练，通过软件的初始模型使用COCO数据集进行训练，得到摄像机拍摄图片的深度学习模型。

具体的是，所述步骤4)中的截取图片与训练图集中的图片的相似度采用直接生成的原始直方图进行匹配，分别计算两幅图片的直方图，HistA和HistB，然后计算两个直方图的归一化相关系数，归一化相关系数包括巴氏距离和直方图相交距离。

具体的是，所述步骤6)中的RGB颜色空间计算直方图一般由R、G、B三个通道构成，每一个通道由8位构成，最大为255，如果直接根据三个通道每一个不同的值构造直方图数据量非常大，为256*256*256＝256三次方个bins，为简单起见，每一个通道设置8个bins，这样一来，每一个通道最大值256/8＝32，即每一个通道划分8bins，每一个bins里面存放32个数，0-31，32-63，64-127，......224-255，RGB颜色空间转化为一维总共8*8*8＝512个bins。

本发明具有以下有益效果：

本发明设计的深度学习监控视频遮挡的识别系统及方法

1、通过直方图和训练深度学习模型，对存储器中的图片做双重遮挡率检测，先检测遮挡图片的占比，再检测直方图中像素值的占比，使检测更加准确，提高对摄像机遮挡率检测的准确率；

2、通过对图片的预处理，实现对不同时间相同的图片和监控直接做删除处理，删除的内容7天后自动消除，并且存储器也设定存储时间，提高了存储器的存储能力和使用寿命，避免存储器的长时间满载造成近期监控视频和图片的流失，保持数据的完整性；

3、本发明实现对图片和视频的自动处理，减少人工监测，降低使用成本，提高工作效率。

附图说明

图1是深度学习监控视频遮挡的识别方法的流程图。

具体实施方式

以下将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地进一步详细的说明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种深度学习监控视频遮挡的识别系统，包括图像采集设备、图像处理服务器和图像分析平台，图像采集设备设有若干摄像机，摄像机连接网络模块，网络模块采用STM32网关处理器，用于将实时监控视频和截取的图片传输至图像处理服务器，图像处理服务器上安装有图像预处理平台，图像预处理平台对采集的截取图片进行对比、删除和分类存储，图像处理服务器上还安装有图像分析平台，用于对图像预处理后的截取图片进行分析判断遮挡率。

图像处理服务器内设有存储器，用于存储摄像机采集的监控视频和图片，存储器内设定视频文件和图片文件的保存时间为1个月。图像处理服务器上还安装有视频截图软件，视频截图软件内设有预置点，每到一个预置点截取一张图片，截取图片的时间为15-20秒，预置点的设置间隔为2分钟，用于对摄像机采集的监控视频进行图像截取形成截取图片。

一种深度学习监控视频遮挡的识别方法，包括以下步骤：

1)摄像机进行编号录入图像预处理平台和图像分析平台上，摄像机安装后7天内的监控视频和抓拍图片全保存在存储器中，7天内可人工控制摄像头进行多张图片的抓拍，用于作为训练图集的素材，并训练深度学习模型；深度学习模型采用摄像机前期拍摄的图片作为训练图集，训练图集通过PPYOLO v2软件进行训练，通过软件的初始模型使用COCO数据集进行训练，得到摄像机拍摄图片的深度学习模型。

2)摄像机实时监控视频通过网络模块传输至图像处理服务器，形成两分钟一段的短视频，视频截图软件将短视频进行截取成两分钟一张的图片，短视频直接进入存储器。

3)截取图片通过网络模块传输至图像处理服务器中，并进入图像预处理平台。

4)图像预处理平台将按时间前后顺序的截取图片分别与训练图集中的图片进行对比，截取图片与训练图集中的图片的相似度达到100％，则将截取图片删除到存放箱中，存放箱中存放7天自动删除，截取图片与训练图集中的图片的相似度不到100％，则将截取图片保存在存储器中；

截取图片与训练图集中的图片的相似度采用直接生成的原始直方图进行匹配，分别计算两幅图片的直方图，HistA和HistB，然后计算两个直方图的归一化相关系数，归一化相关系数包括巴氏距离和直方图相交距离；

下面是一个基于直方图距离的图像相似度计算的Matlab Demo和实验结果：

M＝imread('1.jpg')；

N＝imread('2.jpg')；

I＝rgb2gray(M)；

J＝rgb2gray(N)；

[Count1,x]＝imhist(I)；

[Count2,x]＝imhist(J)；

Sum1＝sum(Count1)；Sum2＝sum(Count2)；

Sumup＝sqrt(Count1.*Count2)；

SumDown＝sqrt(Sum1*Sum2)；

Sumup＝sum(Sumup)；

figure(1)；

subplot(2,2,1)；imshow(I)；

subplot(2,2,2)；imshow(J)；

subplot(2,2,3)；imhist(I)；

subplot(2,2,4)；imhist(J)；

HistDist＝1-sqrt(1-Sumup/SumDown)。

5)图像分析平台对存储器中的图片进行分析判断遮挡率，存储器中的截取图片与已训练好的深度学习模型进行对比，以确定差别区域的在截取图片中的位置和颜色，若是差别区域为黑色，且黑色面积占图片的比例超过设定的阈值10％，则说明发生近距离遮挡，若是其他颜色，则判断区别区域在截取图片上的位置和颜色；

6)存储器中的截取图片进行量化后在RGB颜色空间计算直方图，通过直方图计算截取图片中不同区域的像素值比例，与训练图集中图片的直方图进行对比，确定差别区域的在截取图片中的位置；

RGB颜色空间计算直方图一般由R、G、B三个通道构成，每一个通道由8位构成，最大为255，如果直接根据三个通道每一个不同的值构造直方图数据量非常大，为256*256*256＝256三次方个bins，为简单起见，每一个通道设置8个bins，这样一来，每一个通道最大值256/8＝32，即每一个通道划分8bins，每一个bins里面存放32个数，0-31，32-63，64-127，......224-255，RGB颜色空间转化为一维总共8*8*8＝512个bins。

R＝image[(y*W+x)*3]>>R_SHIFT；

G＝image[(y*W+x)*3+1]>>G_SHIFT；

B＝image[(y*W+x)*3+2]>>B_SHIFT；

上述R_SHIFT，G_SHIFT，B_SHIFT宏定义5，右移5位，每一个R，G，B值除以32映射到相对应的8个bins中。0-31映射到bins1,32-63映射到bins2中......224-255映射到bins8中。

7)若是截取图片与训练图集中图片的差别区域的位置相同颜色不同，则是监控区域内土地使用状态发生变化；

8)若是截取图片与训练图集中图片的差别区域的位置不同，颜色不是黑色，且差别区域的像素值所占比例超过设定的阈值10％，则是发生其他色彩物品遮挡。

本发明不局限于上述实施方式，任何人应得知在本发明的启示下作出的结构变化，凡是与本发明具有相同或相近的技术方案，均落入本发明的保护范围之内。

本发明未详细描述的技术、形状、构造部分均为公知技术。

Claims (7)

1.一种深度学习监控视频遮挡的识别系统，其特征在于，包括图像采集设备、图像处理服务器和图像分析平台，所述图像采集设备设有若干摄像机，摄像机连接网络模块，用于将实时监控视频和截取图片传输至图像处理服务器，图像处理服务器上安装有图像预处理平台，图像预处理平台对采集的截取图片进行对比、删除和分类存储，图像处理服务器上还安装有图像分析平台，用于对图像预处理后的截取图片进行分析判断遮挡率。

2.根据权利要求1所述的深度学习监控视频遮挡的识别系统，其特征在于，所述图像处理服务器内设有存储器，用于存储摄像机采集的监控视频和截取图片，存储器内设定视频文件和图片文件的保存时间为1个月。

3.根据权利要求1所述的深度学习监控视频遮挡的识别系统，其特征在于，所述图像处理服务器上还安装有视频截图软件，视频截图软件内设有预置点，每到一个预置点截取一张图片，截取图片的时间为15-20秒，预置点的设置间隔为2分钟，用于对摄像机采集的监控视频进行图像截取形成截取图片。

4.根据权利要求1-3任一所述的深度学习监控视频遮挡的识别方法，其特征在于，包括以下步骤：

1)摄像机进行编号录入图像预处理平台和图像分析平台上，摄像机安装后7天内的监控视频和截取图片全保存在存储器中，用于作为训练图集的素材，并训练深度学习模型；

2)摄像机实时监控视频通过网络模块传输至图像处理服务器，形成两分钟一段的短视频，视频截图软件将短视频进行截取成两分钟一张的图片，短视频直接进入存储器；

3)截取图片通过网络模块传输至图像处理服务器中，并进入图像预处理平台；

4)图像预处理平台将按时间前后顺序的截取图片分别与训练图集中的图片进行对比，截取图片与训练图集中的图片的相似度达到100％，则将截取图片删除到存放箱中，存放箱中存放7天自动删除，截取图片与训练图集中的图片的相似度不到100％，则将截取图片均保存在存储器中；

5)图像分析平台对存储器中的图片进行分析判断遮挡率，存储器中的截取图片与已训练好的深度学习模型进行对比，以确定差别区域在截取图片中的位置和颜色，若是差别区域为黑色，且黑色面积占截取图片的比例超过设定的阈值10％，则说明发生近距离遮挡，若是其他颜色，则判断区别区域在截取图片上的位置和颜色；

6)存储器中的截取图片进行量化后在RGB颜色空间计算直方图，通过直方图计算截取图片中不同区域的像素值比例，与训练图集中图片的直方图进行对比，确定差别区域的在截取图片中的位置；

7)若是截取图片与训练图集中图片的差别区域的位置相同颜色不同，则是监控区域内土地使用状态发生变化；

8)若是截取图片与训练图集中图片的差别区域的位置不同，颜色不是黑色，且差别区域的像素值所占比例超过设定的阈值10％，则是发生其他色彩物品遮挡。

5.根据权利要求4所述的深度学习监控视频遮挡的识别方法，其特征在于，所述步骤1)中的深度学习模型采用摄像机前期拍摄的图片作为训练图集，训练图集通过PPYOLO v2软件进行训练，通过软件的初始模型使用COCO数据集进行训练，得到摄像机拍摄图片的深度学习模型。

6.根据权利要求4所述的深度学习监控视频遮挡的识别方法，其特征在于，所述步骤4)中的截取图片与训练图集中的图片的相似度采用直接生成的原始直方图进行匹配，分别计算两幅图片的直方图，HistA和HistB，然后计算两个直方图的归一化相关系数，归一化相关系数包括巴氏距离和直方图相交距离。

7.根据权利要求4所述的深度学习监控视频遮挡的识别方法，其特征在于，所述步骤6)中的RGB颜色空间计算直方图一般由R、G、B三个通道构成，每一个通道由8位构成，最大为255，如果直接根据三个通道每一个不同的值构造直方图数据量非常大，为256*256*256＝256三次方个bins，为简单起见，每一个通道设置8个bins，这样一来，每一个通道最大值256/8＝32，即每一个通道划分8bins，每一个bins里面存放32个数，0-31，32-63，64-127，......224-255，RGB颜色空间转化为一维总共8*8*8＝512个bins。

Images