CN111369529B - 一种物品丢失、遗留检测方法及其系统 - Google Patents

Abstract

本发明涉及视频监控中物品检测技术领域，特别涉及一种物品丢失、遗留检测方法及其系统，其中，本发明提供的一种物品丢失、遗留检测方法，通过采用固定K帧间隔去更新背景帧，背景帧和参考帧的差值即得到前景；如果前景的位置、大小在设定的时间T内不变，就表示物品丢失或遗留。相比传统高斯背景建模，本发明可确定在设定时间T内物品的最终状态；再者，通过HSV颜色空间信息和纹理信息判断物品是丢失还是遗留，从颜色加纹理两个维度进行判别，极大地提升了检测的准确度。

Description

一种物品丢失、遗留检测方法及其系统

技术领域

本发明涉及图像识别技术领域，特别涉及一种物品丢失、遗留检测方法及其系统。

背景技术

在视频监控场景中，遗留物品检测主要用在公共场所中，物品被遗弃一段时间之后指出其所在位置并发出告警；丢失物品检测主要用于检测贵重物品是否被移走。

现有技术中的同类图像识别产品通常采用高斯背景建模或其他背景建模方法，例如申请号为CN201710312433.4的专利公开了一种遗弃物自动检测方法，采用高斯混合模型法提取前景像素点；对各前景像素点进行形态学图像处理，然后去除单个离散像素点，合并聚集在一起的像素点使之成为团块；计算各团块静置的时间，若团块的静置时间超出设定时间，则判定团块为遗弃物。

上述识别方法采用高斯背景建模或其他背景建模方法，当检测到前景后，物品会逐渐融入成背景，无法得知物品丢失及遗留了多久时间。

发明内容

为解决上述背景技术提及的现有物品识别检测方法无法获取物品丢失及遗留了多长时间的问题，本发明提供一种物品丢失、遗留检测方法及其系统，其中，一种物品丢失、遗留检测方法，包括以下步骤：

S10、获取第一参考帧；

S20、获取下一帧为参考帧，间隔K帧获取当前帧，所述当前帧与所述参考帧对比，对比结果保存为背景帧；

S30、对所述背景帧和所述参考帧进行差值计算，得到前景帧；

S40、对所述前景帧进行二值化处理和形态学处理，获取连通区域信息；

S50、循环执行S20、S30和S40，直至获取所有的连通区域信息；当某个连通区域信息的变化率在时间T内始终小于阈值R，则表明该连通区域发生物品丢失或遗留；

S60、提取S50中该连通区域的灰度值，采用canny边缘检测方法精确物品轮廓；

S70、计算S60物品轮廓区域内HSV颜色信息和纹理信息，识别判断物品属于丢失或遗留。

进一步地，所述当前帧与所述参考帧对比方法如下：

所述当前帧与所述参考帧的各像素进行对比；当前帧比参考帧对应的像素点的值大于V，则将所述参考帧的像素点值加上设定的步长L，生成新的值；若所述当前帧比所述参考帧对应的像素点的值小于V，则将参考帧的像素点值减去设定的步长L，生成新的值；当遍历完所有的像素点，新的值就组成了一幅新的图像，保存为背景帧。

进一步地，所述二值化处理包括如下方法：设定阈值N_f，根据阈值N_f将所述前景帧的像素点进行划分，并将所述前景帧的像素点的灰度值设为0或255。

进一步地，所述形态学处理包括如下：

对所述前景帧进行腐蚀操作，去除干扰点，再进行膨胀操作，将断裂的区域连接起来；

对灰度值为255的像素点逐个扫描，判断该像素点的上、下、左、右四个像素点，当其中一个像素点的灰度值为255，则表明这两个点为连通的，记录下所有连通的像素点的坐标。

进一步地，所述连通区域信息包括区域位置、大小、前景像素数量。

进一步地，所述S70中的计算HSV颜色信息包括如下步骤：

S71、提取物品轮廓区域内对应的RGB图，将对应的RGB色彩空间转换到HSV色彩空间，分离出H、S、V三个分量，求取H的均值V_hf；

S72、提取所述物品轮廓区域周围1/4的区域对应的RGB图，将对应的RGB色彩空间转换到HSV色彩空间，分离出H、S、V三个分量，求取H的均值V_hb；

S73、求取V_hf与V_hb的比值V_n，并预先设定区间[V_n1，V_n2]，当V_n不在该区间内，则表明该物品属于遗留；若V_n在该区间内，则计算V_n与V_n2的比值V_hn；

S74、对该物品轮廓区域进行sobel运算，得到梯度图，设定阈值R_S,统计所述梯度图内像素大于R_S的数量，记为S₁；

S75、对所述第一参考帧同样区域进行sobel运算，得到梯度图，设定阈值R_S,统计所述梯度图内像素大于R_S的数量，记为S₂；

S76、求取S₁与S₂的比值V_s，若S₁大于S₂，则令V_s等于S₂/S₁；若S₁小于S₂，则令V_s等于S₁/S₂；

S77、设定系数k_v、系数k_s，以及阈值F；若F小于k_v*V_hn+k_s*V_s，则表明物品遗留；若F大于k_v*V_hn+k_s*V_s，则表明物品丢失。

本发明另外提供一种物品丢失、遗留检测系统，采用如上任意所述的物品丢失、遗留检测方法，所述系统包括：

视频采集模块，用于获取视频数据并为其他模块提供数据来源；

背景建模模块，用于区分出背景和前景，为前景分割模块提供依据；

前景分割模块，用于分离出前景部分；

梯度与HSV分量计算模块，用于对分离出的前景进行梯度和HSV分离计算；

丢失与遗留判别模块，利用梯度信息和HSV和H分量进行判别前景的物体是丢失还是遗留状态。

本发明提供的物品丢失、遗留检测方法，通过设有参考帧，当检测到前景之后，物品不会逐渐融入成背景，可以确定在设定时间T内物品的最终状态；再者，通过HSV颜色空间信息和纹理信息判断物品是丢失还是遗留，从颜色加纹理两个维度进行判别，极大地提升了检测的准确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的物品丢失、遗留检测方法框图；

图2为本发明提供的物品丢失、遗留检测流程图；

图3为HSV颜色空间模型的示意图；

图4为sobel水平方向的卷积因子的数值图；

图5为sobel垂直方向的卷积因子的数值图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明提供一种物品丢失、遗留检测方法及其系统，其中，一种物品丢失、遗留检测方法，包括以下步骤：

S10、获取第一参考帧；

S20、获取下一帧为参考帧，间隔K帧获取当前帧，所述当前帧与所述参考帧对比，对比结果保存为背景帧；

S30、对所述背景帧和所述参考帧进行差值计算，得到前景帧；

S40、对所述前景帧进行二值化处理和形态学处理，获取连通区域信息；

S50、循环执行S20、S30和S40，直至获取所有的连通区域信息；当某个连通区域信息的变化率在时间T内始终小于阈值R，则表明该连通区域发生物品丢失或遗留；

S60、提取S50中该连通区域的灰度值，采用canny边缘检测方法精确物品轮廓；

S70、计算S60物品轮廓区域内HSV颜色信息和纹理信息，识别判断物品属于丢失或遗留。

具体实施时，如图1和图2所示，包括以下步骤：

S10、获取系统和环境稳定之后的某一帧，记为第一参考帧；

S20、获取下一帧为普通参考帧，简称参考帧，然后间隔K帧获取当前帧，所述当前帧与所述参考帧的各像素进行对比，若当前帧比参考帧对应的像素点的值大于V，则将所述参考帧的像素点值加上设定的步长L，生成新的值；若所述当前帧比所述参考帧对应的像素点的值小于V，则将参考帧的像素点值减去设定的步长L，生成新的值；当遍历完所有的像素点，新的值就组成了一幅新的图像，保存为背景帧。需要说明的是，此处步长为固定值,步长的取值范围为1-3，本实施例中步长L的取值为2。

S30、对所述背景帧和所述参考帧进行差值计算，具体地，差值计算是指将背景帧与参考帧对应的每个像素相减，然后取绝对值，即可得到前景帧。

S40、对所述前景帧进行二值化处理和形态学处理，获取连通区域信息；通过判断连通区域面积、区域内有效像素占比等条件，过滤无效的连通区域；较佳地，连通区域包括区域位置、大小、前景像素数量；

S50、然后继续执行S20、S30和S40，得到当前的有效连通区域信息，将当前的有效连通区域信息和上一次的信息进行对比，如果区域位置和大小在时间T内始终小于阈值R，则表明该连通区域发生物品丢失或遗留，同时记录下该区域的位置信息。

S60、提取S50中该连通区域的灰度值，采用canny边缘检测方法，进一步精确物品轮廓；需要说明的是，canny边缘检测方法为现有方法，此处不再赘述。

S70、计算S60物品轮廓区域内HSV颜色信息和纹理信息，识别判断物品属于丢失或遗留。

本发明提供的物品丢失、遗留检测方法，通过设定参考帧，当检测到前景之后，物品不会逐渐融入成背景，可以确定在设定时间T内物品的最终状态；再者，通过HSV颜色空间信息和纹理信息判断物品是丢失还是遗留，从颜色加纹理两个维度进行判别，极大地提升了检测的准确度。

优选地，所述当前帧与所述参考帧对比方法如下：

所述当前帧与所述参考帧的各像素进行对比；当前帧比参考帧对应的像素点的值大于V，则将所述参考帧的像素点值加上设定的步长L，生成新的值；若所述当前帧比所述参考帧对应的像素点的值小于V，则将参考帧的像素点值减去设定的步长L，生成新的值；当遍历完所有的像素点，新的值就组成了一幅新的图像，保存为背景帧。需要说明的是，此处步长为固定值。

优选地，所述二值化处理包括如下方法：

将阈值N_f设定为32，根据阈值N_f将所述前景帧的像素点进行划分，并将所述前景帧的像素点的灰度值设为0或255。

优选地，所述形态学处理包括如下：

对所述前景帧进行腐蚀操作，去除干扰点，再进行膨胀操作，将断裂的区域连接起来；

对灰度值为255的像素点逐个扫描，判断该像素点的上、下、左、右四个像素点，当其中一个像素点的灰度值为255，则表明这两个点为连通的，记录下所有连通的像素点的坐标。

优选地，所述连通区域信息包括区域位置、大小、前景像素数量。

优选地，所述S70中的计算HSV颜色信息包括如下步骤：

S71、提取物品轮廓区域内对应的RGB图，将对应的RGB色彩空间转换到HSV色彩空间，分离出H、S、V三个分量，因H(色度)最能表达物体和背景之间的差异，S(饱和度)和V(亮度)不能很好区分物体和背景，所以只计算参考H分量，然后求取H的均值V_hf,HSV颜色空间模型如图3所示；需要说明的是，RGB色彩空间转换到HSV色彩空间的具体方法如下所示：

max＝max(R，G，B)；

min＝min(R，G，B)；

V＝max(R，G，B)；

S＝(max-min)/max；

if(R＝max)H＝(G-B)/(max-min)*60；

if(G＝max)H＝120+(B-R)/(max-min)*60；

if(B＝max)H＝240+(R-G)/(max-min)*60；

if(H＜0)H＝H+360；

S72、提取所述物品轮廓区域周围1/4的区域对应的RGB图，将对应的RGB色彩空间转换到HSV色彩空间，分离出H、S、V三个分量，求取H的均值V_hb；

S73、求取V_hf与V_hb的比值V_n，并预先设定区间[V_n1，V_n2]，其中，本实施例的V_n1为0.75，V_n2为1；当V_n不在该区间内，则表明该物品属于遗留；若V_n在该区间内，则计算V_n与V_n2的比值V_hn；

S74、对该物品轮廓区域进行sobel运算，得到水平和垂直方向的梯度图，设定阈值R_S，本实施例中阈值R_s大小为24；统计所述梯度图内像素大于R_S的数量，记为S₁；需要说明的是，sobel卷积因子包含两组5x5的矩阵，分别代表水平及垂直方向，sobel水平方向的卷积因子如图4所示；sobel垂直方向的卷积因子如图5所示；

将物品轮廓区域内的图像与这两个因子分别做矩阵卷积运算，得到G_x与G_y，然后利用公式G＝|G_x|+|G_y|，G就是水平和垂直方向的梯度图。

S75、对所述第一参考帧同样区域进行sobel运算，同样得到水平和垂直方向的梯度图，设定阈值R_S，统计所述梯度图内像素大于R_S的数量，记为S₂；

S76、求取S₁与S₂的比值V_s，若S₁大于S₂，则令V_s等于S₂/S₁；若S₁小于S₂，则令V_s等于S₁/S₂；

S77、设定系数k_v、系数k_s，以及阈值F；本实施例中k_v的数值为0.3，k_s的数值为0.7，阈值F为0.6；若F小于k_v*V_hn+k_s*V_s，则表明物品遗留；若F大于k_v*V_hn+k_s*V_s，则表明物品丢失。

本发明另外提供一种物品丢失、遗留检测系统，采用如上任意所述的物品丢失、遗留检测方法，所述系统包括：

视频采集模块，即摄像头，用于获取视频数据，并为其他模块提供数据来源；

背景建模模块，用于区分出背景和前景，为前景分割模块提供依据；

前景分割模块，用于分离出前景部分；

梯度与HSV分量计算模块，用于对分离出的前景进行梯度和HSV分离计算；

丢失与遗留判别模块，利用梯度信息和HSV和H分量进行判别前景的物体是丢失还是遗留状态。

尽管本文中较多的使用了诸如参考帧、前景帧和背景帧等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种物品丢失、遗留检测方法，其特征在于，包括以下步骤：

S10、获取系统和环境稳定之后的某一帧，记为第一参考帧；

S20、获取所述第一参考帧的下一帧为参考帧，与所述参考帧间隔K帧获取当前帧，所述当前帧与所述参考帧的各像素进行对比，若所述当前帧比所述参考帧对应的像素点的值大于U，则将所述参考帧的像素点值加上设定的步长L，生成新的值；若所述当前帧比所述参考帧对应的像素点的值小于U，则将参考帧的像素点值减去设定的步长L，生成新的值；当遍历完所有的像素点，对比结果保存为背景帧；

S30、对所述背景帧和所述参考帧进行差值计算，得到前景帧；

S40、对所述前景帧进行二值化处理和形态学处理，获取连通区域信息；

S50、循环执行S20、S30和S40，直至获取所有的连通区域信息；当某个连通区域信息的变化率在时间T内始终小于阈值R，则表明该连通区域发生物品丢失或遗留；

S60、提取S50中该连通区域的灰度值，采用canny边缘检测方法精确物品轮廓；

S70、计算S60物品轮廓区域内HSV颜色信息和纹理信息，识别判断物品属于丢失或遗留。

2.根据权利要求1所述的物品丢失、遗留检测方法，其特征在于，所述二值化处理包括如下方法：设定阈值Nf，根据阈值Nf将所述前景帧的像素点进行划分，并将所述前景帧的像素点的灰度值设为0或255。

3.根据权利要求2所述的物品丢失、遗留检测方法，其特征在于，所述形态学处理包括如下：

对所述前景帧进行腐蚀操作，去除干扰点，再进行膨胀操作，将断裂的区域连接起来；

对灰度值为255的像素点逐个扫描，判断该像素点的上、下、左、右四个像素点，当其中一个像素点的灰度值为255，则表明这两个点为连通的，记录下所有连通的像素点的坐标。

4.根据权利要求3所述的物品丢失、遗留检测方法，其特征在于：所述连通区域信息包括区域位置、大小、前景像素数量。

5.根据权利要求1-4任一项所述的物品丢失、遗留检测方法，其特征在于，所述S70中的计算HSV颜色信息包括如下步骤：

S71、提取物品轮廓区域内对应的RGB图，将对应的RGB色彩空间转换到HSV色彩空间，分离出H、S、V三个分量，求取H的均值V hf；

S72、提取所述物品轮廓区域周围1/4的区域对应的RGB图，将对应的RGB色彩空间转换到HSV色彩空间，分离出H、S、V三个分量，求取H的均值V hb；

S73、求取V hf与V hb的比值Vn，并预先设定区间[V n1，V n2]，当Vn不在该区间内，则表明该物品属于遗留；若Vn在该区间内，则计算Vn与V n2的比值V hn；

S74、对该物品轮廓区域进行sobel运算，得到梯度图，设定阈值RS，统计所述梯度图内像素大于RS的数量，记为S1；

S75、对所述第一参考帧同样区域进行sobel运算，得到梯度图，设定阈值RS，统计所述梯度图内像素大于RS的数量，记为S2；

S76、求取S1与S2的比值Vs，若S1大于S2，则令Vs等于S2/S1；若S1小于S2，则令Vs等于S1/S2；

S77、设定系数kv、系数ks，以及阈值F；若F小于kv*V hn+ks*Vs，则表明物品遗留；若F大于kv*V hn+ks*Vs，则表明物品丢失。

6.一种物品丢失、遗留检测系统，其特征在于，采用如权利要求1-5任一项所述的物品丢失、遗留检测方法，所述系统包括：

视频采集模块，用于获取视频数据并为其他模块提供数据来源；

背景建模模块，用于区分出背景和前景，为前景分割模块提供依据；

前景分割模块，用于分离出前景部分；

梯度与HSV分量计算模块，用于对分离出的前景进行梯度和HSV分离计算；

丢失与遗留判别模块，利用梯度信息和HSV和H分量进行判别前景的物体是丢失还是遗留状态。

Images