CN107527009B - 一种基于yolo目标检测的遗留物检测方法 - Google Patents

Abstract

本发明公开了一种基于YOLO目标检测的遗留物检测方法，涉及智能监控、计算机视觉、深度学习领域。本发明通过YOLO目标实时检测，得到每帧图像数据中的目标类别和其对应的具体坐标。通过目标类别精确的过滤了行人和动物等非物体目标，大大减少了对后续遗留物判断的干扰。同时背景时间用YOLO检测背景目标，得到一个很干净的遗留物检测背景。再经过目标类别和两个坐标的重叠度对检测到的目标分类，对可疑目标跟踪计时后进行背景搬移物判断得到准确的遗留物。将YOLO目标检测应用于遗留物检测很大程度上保证了遗留物检测的准确度和实时性。并且也能很好的适应各种公共场合以及一些复杂环境变化产生的干扰。

Description

一种基于YOLO目标检测的遗留物检测方法

技术领域

本发明涉及智能视频监控、计算机视觉、机器学习等领域，具体涉及一种基于YOLO目标检测的遗留物检测方法。

背景技术

随着网络监控摄像头的普及和广泛使用，遗留物检测技术成了安全防范领域中智能视频监控的一个重要分支，是一项横跨图像处理、模式识别、机器学习等多个学科的交叉技术。遗留物检测在安全防范领域中应用广泛，与我们的生活息息相关。例如：在银行、军事基地、机场、地铁、火车站、商场等场所，对出现的遗留物品进行监控并及时报警。

尽管现在关于遗留物检测已经有很多研究，但是依然存在一些未解决好的问题。目前遗留物检测大多采取的是在基于双背景模型和混合高斯模型等的改进，在复杂场景下容易受到非物体目标(行人、动物等)移动的干扰，也无法彻底消除其他干扰物的影响。存在背景模型不够干净、对遗留目标误判、遗留物误检率极高等一些问题，同时需要运行的计算复杂度大，很难满足智能视频监控系统实时处理的要求。

所以如何提高在复杂环境下视频监控系统中遗留物检测的准确性、实时性是有待解决的问题。

发明内容

为了解决上述的技术问题，本发明的目的就在于提高遗留物检测的准确性和实时性，提供一种基于YOLO目标检测的遗留物检测方法。

本发明所采用的技术方案是：

S10，读入监控视频，图像数据预处理。

S20，YOLO实时检测视频中存在的目标。

S30，对检测到的目标进行筛选分类。

S40，判断遗留物和消失检测。

S50，判断背景搬移物。

S60，将遗留物加以标记输出到视频监控。

上述的技术方案，其中，所述步骤S10中读入监控视频，图像数据预处理包括如下步骤：

S11，初始化处理是对读入的图像分辨率缩放为416*416，进行图像锐化处理。

上述的技术方案，其中，所述步骤S20中YOLO实时检测视频中存在的目标如下步骤：

S21，读取参数文件，解析YOLO模型，加载模型权重。

S22，锐化处理后的当前帧图像进入YOLO的网络层，进行卷积和均值池化交替处理，输出13*13的卷积特征图，得到其特征值数据。

S23，通过激活函数将提取的特征值数据范围归一化到0～1之间，增强稳定性的同时方便后续预测层的操作。

S24，通过预测层使用anchor boxes预测目标类别和坐标，对13*13特征图中每个网格点cell预测5个框，每一个框包含5个值：x，y，w，h和目标置信度confidence，每个框还对应80种目标类别。得到目标类别概率和目标框位置。

S25，通过整合预测层的输出数据，得到一系列目标框，设置阈值过滤掉置信度得分低的目标框，最后对保留的目标框进行极大抑制处理，去掉重复框，选取目标类别出现概率最高的目标框，并输出其具体坐标。

上述的技术方案，其中，所述步骤S30对检测到的目标进行筛选分类如下步骤:

S31，首先对检测到的目标根据目标类别过滤行人和动物等非物体目标。

S32，将过滤后的目标划分到背景、可疑、遗留物三种队列。把视频背景检测时间内检测到的目标标记为背景，存入背景队列。

S33，计算两个目标坐标的重叠度，通过目标类别和坐标重叠度，将当前帧图像中的目标坐标跟背景和可疑队列的目标坐标作一一比较，判断该目标坐标是否为新的可疑目标。

S34，将每个目标的状态划分为背景、可疑、遗留物三种状态。将新的可疑目标状态标记为可疑状态。

上述的技术方案，其中，所述步骤S40判断遗留物和消失检测如下步骤：

S41，对状态为可疑的目标进行跟踪计时，如果该可疑目标的静止时间超过设定的阈值，将其状态标记为遗留物，存入遗留物队列。

S42，对后续图像帧检测遗留物目标。若未检测到，则对该遗留物进行消失计时。当目标消失的时间超过一定的阈值，可疑和遗留物队列中清除该目标。

上述的技术方案，其中，所述步骤S50判断背景搬移物如下步骤：

S51，对后续图像帧检测背景队列中的背景目标。若连续T帧都未检测到某一背景目标，则判断该背景目标搬移或消失。通过Fast特征点检测算法检测该背景坐标区域的FAST特征点，得到特征点集合X1。

S52，同时开始对遗留物队列中的遗留物坐标区域进行检测FAST特征点，得到特征点集合Y1、Y2、…Yn。

S53，将该背景目标的特征点与遗留物目标的特征点计算匹配率。当某一匹配率大于等于阈值，则判断该遗留物目标是背景搬移物，存入背景队列，状态标记为背景。

本发明的遗留物检测方法产生以下几种良好的效果：

效果1：本发明采用基于YOLO实时检测遗留物检测，从而取代了传统的基于混合高斯模型和双背景模型的遗留物检测，避免了使用复杂度数学概率的模型，并且YOLO的实时性和准确度能满足视频监控系统实时处理的要求。

效果2：本发明采用基于YOLO实时检测遗留物检测，能快速检测到背景中的物体，获取一个干扰噪声很小的背景，并且能稳定的防止静止物体在长期停留的过程中被更新到背景中去。

效果3：本发明采用的YOLO检测取代了采用HOG人体检测来区别物体和非物体，通过YOLO检测的目标类别能准确的过滤行人和动物等非物体目标，在很大程度上解决了传统遗留物检测中区分物体和非物体不准确的难题，大大减少了非物体目标的干扰。

效果4：本发明采用基于YOLO实时检测遗留物检测，在物体被部分遮挡的情况下，能排除遮挡的部分静止物体和行人的肢体移动等造成的遗留物误检，提高了遗留物算法的准确度。

附图说明

图1是本方法的步骤图；

图2是YOLO实时检测视频中存在的目标的流程图；

图3是对检测到的目标进行筛选分类的流程图；

图4是判断两个目标是否为同一目标的流程图；

图5是判断遗留物和消失检测流程图；

图6是判断背景搬移物流程图。

具体实施方式

以下结合附图和具体实施对本发明进行详细描述，但不作为对发明的限定。

一、方法

如图1，本方法的实现步骤如下：

A读入监控视频，图像数据预处理

利用摄像头获得监控实时视频图像720P数据，首先将每帧图像分辨率缩放为416*416，并且进行图像锐化处理。

BYOLO实时检测视频中存在的目标

首先对YOLO进行初始化操作，读取参数文件，解析YOLO模型，加载模型权重。

YOLO实时检测目标如图2所示，将A步骤图像锐化处理后的视频图像数据同步到GPU显存中，进入YOLO网络层处理。YOLO网络层包括22个卷积层和5个池化层，由于每一层中卷积核大小不固定，卷积层的值不相同，对当前帧图像进行卷积和均值池化交替处理，输出13*13的卷积特征图，获取特征值数据。为了方便后续预测层的操作，通过激活层将其特征数据范围归一化到0～1之间，同时也增强了稳定性。

通过预测层使用anchor boxes预测目标类别和坐标。对于13*13特征图的每个网格点cell预测5个框，每一个框包含5个值：x，y，w，h和confidence(目标置信度)，另外每个框还对应其80个目标类别，得到目标类别概率和目标框位置。

通过整合预测层的输出数据，得到一系列目标框，设置阈值过滤掉置信度得分低的目标框，最后对保留的目标框进行极大抑制处理，去掉重复框，选取目标类别出现概率最高的目标框，并输出其具体坐标。

C对检测到的目标进行筛选分类

对B步骤YOLO实时检测得到的目标根据目标类别过滤类别为行人和动物等非物体目标，在很大程度上解决了传统遗留物检测中区分物体和非物体不准确的难题，同时为后续的遗留物判定大大减少了非物体目标对检测的干扰。将目标状态划分为背景、可疑、遗留物三种状态。将目标队列划分为背景、可疑、遗留物三种队列，通过分类方法如图3将过滤后的目标分别存入相应队列。

首先根据环境复杂程度设定背景检测时间，将该设定时间内检测到的不同物体目标依次存入背景队列，并将其状态值标记为背景。在很大程度上获取了一个干扰噪声很小的背景，同时能防止静止物体在长期停留的过程中被更新到背景中去。当检测时间超过阈值，将当前帧的目标坐标依次与背景和可疑队列中的目标坐标做一一比较，判断队列中是否已存在当前帧中的目标。若可疑队列为空，则将与背景目标坐标都不同的坐标存入可疑队列。若当前目标坐标都不同于背景和可疑队列，则该目标坐标判断为新检测到的目标坐标，存入可疑队列。

其中判断不同帧检测到两个目标是否属于同一目标方法如图4所示，首先判断两个目标的类别是否相同，目标类型相同下情况根据坐标判别是否重叠。若两个目标坐标重叠，则通过计算重叠面积除以两个目标总面积得到重叠度。若目标坐标重叠度大于设定阈值，则判定这两个目标为同一目标。

D判断遗留物和消失检测

判断遗留物和消失检测如图5所示，对可疑队列中状态为可疑的目标进行跟踪计时。在后续的每帧中，若继续检测到该可疑目标存在，则计时加1。判断可疑目标静止时间是否大于阈值。若静止时间大于设定阈值，则判定该可疑目标为遗留物，状态值改为遗留物，存入遗留物队列。

在后续的每帧中，检测已判定遗留物的目标是否依旧存在。当未检测到某遗留物目标，则对某遗留物消失计时。若遗留物消失时间大于设定阈值，则判定该遗留物取走，同时清除可疑和遗留物对列中对应的目标坐标。

E判断背景搬移物

背景搬移物的判断防止在遗留物检测过程中对背景目标的移动造成遗留物误检，在很大程度提高了遗留物检测的准确度，如图6所示。对后续图像帧判断是否检测到背景队列中的背景目标。若连续T帧都未检测到某一背景目标，则判断该背景目标搬移或消失，清除背景队列中对应的目标坐标。通过FAST特征点检测算法检测该背景坐标区域的FAST特征点，得到特征点集合X1。同时开始对遗留物队列中的遗留物坐标区域进行检测FAST特征点，得到特征点集合Y1、Y2、…Yn。

将该背景目标的特征点与遗留物目标的特征点计算匹配率。若某一匹配率大于等于阈值，则判断该遗留物目标是背景搬移物，同时清除可疑和遗留物对列中对应的目标坐标，存入背景队列，状态值改为背景。若匹配率都小于阈值，则表示该遗留物队列中不存在背景搬移物，该背景目标被搬移出摄像头下。

F将遗留物加以标记输出到视频监控

将遗留物对列中的目标坐标实时画到视频监控图像上相对应的位置，用红色标注。

Claims (4)

1.一种基于YOLO目标检测的遗留物检测方法，其特征在于包括如下步骤：

S10，读入监控视频，图像数据预处理；

S20，YOLO实时检测视频中存在的目标；

S30，对检测到的目标进行筛选分类；

S40，判断遗留物和消失检测；

S50，判断背景搬移物；

S60，将遗留物加以标记输出到视频监控；

其中所述的YOLO实时检测视频中存在的目标具体包括如下步骤：

S21，读取参数文件，解析YOLO模型，加载模型权重；

S22，锐化处理后的当前帧图像进入YOLO的网络层，进行卷积和均值池化交替处理，输出13*13的卷积特征图，得到其特征值数据；

S23，通过激活函数将提取的特征值数据范围归一化到0~1之间，增强稳定性的同时方便后续预测层的操作；

S24，通过预测层使用anchor boxes预测目标类别和坐标，对13*13特征图中每个网格点cell预测5个框，每一个框包含5个值：x，y，w，h和目标置信度confidence，每个框还对应80种目标类别，得到目标类别概率和目标框位置；

S25，通过整合预测层的输出数据，得到一系列目标框，设置阈值过滤掉置信度得分低的目标框，最后对保留的目标框进行极大抑制处理，去掉重复框，选取目标类别出现概率最高的目标框，并输出其具体坐标；

所述步骤S30具体为：

S31，首先对检测到的目标根据目标类别过滤行人和动物；

S32，将过滤后的目标划分到背景、可疑、遗留物三种队列，把视频背景检测时间内检测到的目标标记为背景，存入背景队列；

S33，计算两个目标坐标的重叠度，通过目标类别和坐标重叠度，将当前帧图像中的目标坐标跟背景和可疑队列的目标坐标作一一比较，判断该目标坐标是否为新的可疑目标；

S34，将每个目标的状态划分为背景、可疑、遗留物三种状态，将新的可疑目标状态标记为可疑状态；

所述步骤S50具体为：

S51，对后续图像帧检测背景队列中的背景目标，若连续T帧都未检测到某一背景目标，则判断该背景目标搬移或消失，通过Fast特征点检测算法检测该背景坐标区域的FAST特征点，得到特征点集合X1；

S52，同时对遗留物队列中的遗留物坐标区域进行检测FAST特征点，得到特征点集合Y1、Y2、…Yn；

S53，将该背景目标的特征点与遗留物目标的特征点计算匹配率，当某一匹配率大于等于阈值，则判断该遗留物目标是背景搬移物，存入背景队列，状态标记为背景。

2.根据权利要求1所述的基于YOLO目标检测的遗留物检测方法，其特征在于：所述步骤S10具体为：

读入监控视频，初始化处理是对读入的图像分辨率缩放为416*416，进行图像锐化处理。

3.根据权利要求1所述的基于YOLO目标检测的遗留物检测方法，其特征在于所述将当前帧图像中的目标坐标跟背景和可疑队列的目标坐标作一一比较，判断该目标坐标是否为新的可疑目标的方法具体为：首先判断待比较的两个目标的类别是否相同，目标类型相同下根据坐标判别是否重叠，若两个目标坐标重叠，则通过计算重叠面积除以两个目标总面积得到重叠度，若目标坐标重叠度大于设定阈值，则判定这两个目标为同一目标；当前帧图像中的目标坐标跟背景和可疑队列的目标都不同时，判断该目标坐标是否为新的可疑目标。

4.根据权利要求1所述的基于YOLO目标检测的遗留物检测方法，其特征在于：所述步骤S40具体为：

S41，对状态为可疑的目标进行跟踪计时，如果该可疑目标的静止时间超过设定的阈值，将其状态标记为遗留物，存入遗留物队列；

S42，对后续图像帧检测遗留物目标，若未检测到，则对该遗留物进行消失计时，当目标消失的时间超过设定的阈值，可疑和遗留物队列中清除该目标。

Images