CN111462169B - 一种基于背景建模的老鼠轨迹追踪方法 - Google Patents

Abstract

本发明公开了一种基于背景建模的老鼠轨迹追踪方法，涉及智能视频监控技术领域。包括以下步骤：提取原始视频中指定帧之前的数据，建立背景模型；创建一张空白图像作为老鼠轨迹的初始化热力图；针对指定帧之后的每一帧图像做前景检测，提取当前帧图像中所有的前景运动目标的目标框；对所述目标框建立混合高斯分布模型；将所述混合高斯分布模型在初始化热力图上进行累加生成运动目标的热力图，即老鼠的轨迹。本发明在检测老鼠轨迹时，不受后厨场景限制，易于实现且运行效率高，开发部署也比较方便，能够大大解决餐饮行业中的隐患问题。

Description

一种基于背景建模的老鼠轨迹追踪方法

技术领域

本发明涉及智能视频监控技术领域，尤其涉及一种基于背景建模的老鼠轨迹追踪方法。

背景技术

随着计算机视觉技术的日益发展和人们生活水平的不断提升，食品的安全问题也引起越来越多的关注。大众对餐饮行业的要求也随之提高，商家也希望能通过计算机技术解决食品领域中最重要的卫生问题，具有智能分析的智能视频监控技术开始在餐饮行业中发挥非常积极的作用。智能视频监控技术是指在不需要人为干预的情况下，利用计算机视觉分析方法对视频序列进行自动分析，实现运动目标检测、分类、识别、跟踪等，并在此基础上通过预先设定的规对目标的行为进行分析，从而为采取进一步措施提供参考(比如在对象进入设防区时自动报警)。

餐饮行业中的鼠患问题是亟待解决的问题之一。老鼠的检测问题也是智能视频监控技术中重要的研究内容之一，也是当前计算机运动视觉研究领域的难点之一。当前计算机视觉领域中针对大的运动目标的追踪问题一个大的解决思路是基于目标检测算法检测画面中的目标，然后基于跟中算法将前后帧中的运动目标做关联。但是该中方案针对餐饮行业中的鼠患的问题存在以下局限：首先是基于目标检测和跟踪的方案算法开销太大，然后是一般的目标检测算法针对大目标检测性能较好，对于较小的老鼠目标检测算法很多时候不能检测到。

发明内容

本发明的目的在于提供一种基于背景建模的老鼠轨迹追踪方法，在检测老鼠轨迹时，不受后厨场景限制，易于实现且运行效率高，开发部署也比较方便，能够大大解决餐饮行业中的隐患问题。

为实现上述目的，本发明提供如下技术方案：

一种基于背景建模的老鼠轨迹追踪方法，其特征在于，包括以下步骤：

S101，提取原始视频中指定帧之前的数据，建立背景模型；

S102，创建一张空白图像作为老鼠轨迹的初始化热力图；

S103，针对指定帧之后的每一帧图像做前景检测，提取当前帧图像中所有的前景运动目标的目标框；

S104，对所述目标框建立混合高斯分布模型；

S105，将所述混合高斯分布模型在初始化热力图上进行累加生成运动目标的热力图，即老鼠的轨迹。

进一步的，所述背景模型的建立采用Vibe算法，具体过程如下：在图像中随机选取一个像素点，选择该像素点的邻域像素来填充，建立的背景模型如下：

M^0～δ(x)＝{V_0～δ(y|y∈K′(x))}

其中，M^0～δ(x)表示提取第0至δ帧图像建立的背景模型；K′(x)表示像素点x的邻域区域；y表示在该邻域中随机选取的像素点；V表示当前帧图像中像素点(x,y)的像素值。这个式子表达的意思就是，从前0至δ时刻(背景建模的初始时刻)时从x邻域中选一个像素值放到背景集合里面。

进一步的，所述空白图像与原始视频的帧图像尺寸相同。

进一步的，所述前景检测的步骤如下：

S1031，构建(x,y)位置处的历史像素值集合M(x，y)；

M(x，y)＝{V₁(x，y)，V₂(x，y)，V₃(x，y)，…，V_N(x，y)}

其中，V_i(x,y)表示第i帧图像中(x,y)位置处的像素值；

S1032，当运行至指定帧之后时，计算位置(x,y)处的像素点与对应的历史像素值集合中各元素的距离；

S1033，统计距离小于阈值R的元素数量；

S1034，若所述元素数小于阈值Q_min，则记该位置(x,y)处的像素点为前景，否则该位置(x,y)处的像素点为背景。

进一步的，所述S1034中，若位置(x,y)处的像素点为背景，将该像素点更新至历史像素值集合中。

进一步的，所述S103中，对提取出的前景运动目标进行预处理，包括中值滤波、非极大值抑制中的一种或两种。

进一步的，所述S105中，热力图的生成过程如下：

μ(x)＝0.5*BBox(i)_width

μ(y)＝0.5*BBox(i)_height

σ(x)＝μ(x)/3.0

σ(y)＝μ(y)/3.0

其中，Map(BBox(i))为热力图中目标框BBox(i)处的热力值，上标t、t+1表示帧数；Gaussian(BBox(i)(x，y))表示更新后的目标框BBox(i)中位于(x，y)处的像素值；BBox(i)(x)和BBox(i)(y)分别表示目标框的横坐标值和纵坐标值；BBox(i)_width和BBox(i)_height分别表示目标框BBox(i)更的宽和高。

与现有技术相比，本发明的有益效果是：本发明在视频开始运行指定阶段建立该场景下的背景模型，对比视频的后面阶段输入的检测图片和背景模型的差异，判断场景中是否存在运动的老鼠，然后将提取出来的前景区域做过滤合并，对于目标出现的断点和内部空洞问题做合并过滤以及非极大值抑制，根据得到的老鼠的不规则区域估计老鼠的目标框，最后创建热力图存储老鼠的轨迹图，具体是将每一帧运行的图片上的目标区域像素值做累加，最终形成老鼠的轨迹热力图。此算法易于实现且运行效率高，开发部署也比较方便，能够大大解决餐饮行业中的隐患问题。

具体实施方式

下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种基于背景建模的老鼠轨迹追踪方法，其特征在于，包括以下步骤：

S101，提取原始视频中指定帧之前的数据，建立背景模型。背景模型的建立仅一张图像便可以实现，但为了建立更稳定的背景模型，本发明采用原始视频数据开始运行至指定帧内，提取这个时期内所有的数据，用以建立背景模型。具体的，本发明采用采用Vibe算法建立背景模型，具体过程如下：在图像中随机选取一个像素点，选择该像素点的邻域像素来填充，建立的背景模型如下：

M^0～δ(x)＝{V_0～δ(y|y∈K′(x))}

其中，M^0～δ(x)表示提取第0至δ帧图像建立的背景模型；K′(x)表示像素点x的邻域区域；y表示在该邻域中随机选取的像素点；V表示当前帧图像中像素点(x,y)的像素值。这个式子表达的意思就是，从前0至δ时刻(背景建模的初始时刻)时从x邻域中选一个像素值放到背景集合里面。

S102，创建一张和原始视频的视频帧图像尺寸相同的空白图像作为老鼠轨迹的初始化热力图。

S103，针对指定帧之后的每一帧图像做前景检测，提取当前帧图像中所有的前景运动目标的目标框；具体的前景检测步骤如下：

S1031，构建(x,y)位置处的历史像素值集合M(x，y)；

M(x，y)＝{V₁(x，y)，V₂(x，y)，V₃(x，y)，...，V_N(x，y)}

其中，V_i(x,y)表示第i帧图像中(x,y)位置处的像素值；

S1032，当运行至指定帧之后时，计算位置(x,y)处的像素点与对应的历史像素值集合中各元素的距离；所述距离为位置(x,y)处的像素点的像素值与历史像素值集合中任一元素的像素值差。

S1033，统计距离小于阈值R的元素数量Q；

S1034，若所述元素数小于阈值Q_min，则记该位置(x,y)处的像素点为前景，否则该位置(x,y)处的像素点为背景，并将该像素点更新至历史像素值集合M(x，y)中，对背景模型进行更新。

其中，r(x，y)为前景检测结果，Q为历史像素值集合中与位置(x,y)处的像素点的距离小于阈值R的元素数量。

按以上步骤处理下一帧图像，不断迭代。

接下来对提取出的前景运动目标进行预处理，包括中值滤波、非极大值抑制中的一种或两种；然后采用边界寻找得到包围边界点集的最小矩形。

具体操作如下：

1)对前景结果图r(x，y)做3*3中值滤波，这一步是用像素点领域灰度值的中值代替该像素的灰度值，让周围的像素值接近真实值初步消除一些孤立的噪声点；

2)对前景结果图r(x，y)进一步做简单的形态学操作，即膨胀与腐蚀，该步骤的目的通过寻找图像中明显的极大值区域与极小值区域去分割图像中独立的图像元素以及连接相邻的元素，从而进一步的消除一些噪声点；

3)通过opencv的findContours函数，该函数的主要功能寻找图像中轮廓的边界点，然后通过opencv的boundingRect函数找到包围边界点集的最小矩形，在本发明中，将这个矩形当做运动目标的boundingbox；然后对得到的当前图像中的运动目标的boundingbox集合做非极大值抑制，过滤合并处理过的数据即为前景运动目标的目标框集合BBox，对当前的目标框集合做筛选判断，若目标框大于0.02倍的原始图像的像素点数，即清理当前获取的目标框，因为对于本发明的检测目标老鼠的目标区域较小，故如果在当前图像中检测到的运动目标大于一定阈值后，则认为该目标为噪声(如工作人员)，即清除该数据。

S104，对所述目标框建立混合高斯分布模型；

S105，将所述混合高斯分布模型在初始化热力图上进行累加生成运动目标的热力图，即老鼠的轨迹。热力图的生成过程如下：

μ(x)＝0.5*BBox(i)_width

μ(y)＝0.5*BBox(i)_height

σ(x)＝μ(x)/3.0

σ(y)＝μ(y)/3.0

其中，Map(BBox(i))为热力图中目标框BBox(i)处的热力值，上标t、t+1表示帧数；Gaussian(BBox(i))x，y))表示更新后的目标框BBox(i)中位于(x，y)处的像素值；BBox(i)(x)和BBox(i)(y)分别表示目标框的横坐标值和纵坐标值；BBox(i)_width和BBox(i)_height分别表示目标框BBox(i)更的宽和高。μ(x和μ(y)分别表示为在x和y方向上的标准差，σ(x)和σ(y)分别表示为x和y方向上的方差。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

Claims (6)

1.一种基于背景建模的老鼠轨迹追踪方法，其特征在于，包括以下步骤：

S101，提取原始视频中指定帧之前的数据，建立背景模型；

S102，创建一张空白图像作为老鼠轨迹的初始化热力图；

S103，针对指定帧之后的每一帧图像做前景检测，提取当前帧图像中所有的前景运动目标的目标框；

S104，对所述目标框建立混合高斯分布模型；

S105，将所述混合高斯分布模型在初始化热力图上进行累加生成运动目标的热力图，即老鼠的轨迹；

所述S105中，热力图的生成过程如下：

Map(BBox(i))^t+1＝Map(BBox(i))^t+Gaussian(BBox(i))^t+1

μ(x)＝0.5*BBox(i)_width

μ(y)＝0.5*BBox(i)_height

σ(x)＝μ(x)/3.0

σ(y)＝μ(y)/3.0

其中，Map(BBox(i))为热力图中目标框BBox(i)处的热力值，上标t、t+1表示帧数；Gaussian(BBox(i)(x，y))表示更新后的目标框BBox(i)中位于(x，y)处的像素值；BBox(i)(x)和BBox(i)(y)分别表示目标框的横坐标值和纵坐标值；BBox(i)_width和BBox(i)_height分别表示目标框BBox(i)更的宽和高。

2.根据权利要求1所述的基于背景建模的老鼠轨迹追踪方法，其特征在于，所述背景模型的建立采用Vibe算法，具体过程如下：在图像中随机选取一个像素点，选择该像素点的邻域像素来填充，建立的背景模型如下：

M^0～δ(x)＝{V_0～δ(y|y∈K′(x))}

其中，M^0～δ(x)表示提取第0至δ帧图像建立的背景模型；K′(x)表示像素点x的邻域区域；y表示在该邻域中随机选取的像素点；y表示当前帧图像中像素点(x，y)的像素值；这个式子表达的意思就是，从前0至δ时刻时从x邻域中选一个像素值放到背景集合里面。

3.根据权利要求1所述的基于背景建模的老鼠轨迹追踪方法，其特征在于，所述空白图像与原始视频的帧图像尺寸相同。

4.根据权利要求1所述的基于背景建模的老鼠轨迹追踪方法，其特征在于，所述前景检测的步骤如下：

S1031，构建(x，y)位置处的历史像素值集合M(x，y)；

M(x，y)＝{V₁(x，y)，V₂(x，y)，V₃(x，y)，...，V_N(x，y)}

其中，V_i(x，y)表示第i帧图像中(x，y)位置处的像素值；

S1032，当运行至指定帧之后时，计算位置(x，y)处的像素点与对应的历史像素值集合中各元素的距离；

S1033，统计距离小于阈值R的元素数量；

S1034，若所述元素数小于阈值Q_min，则记该位置(x,y)处的像素点为前景，否则该位置(x,y)处的像素点为背景。

5.根据权利要求4所述的基于背景建模的老鼠轨迹追踪方法，其特征在于，所述S1034中，若位置(x,y)处的像素点为背景，将该像素点更新至历史像素值集合中。

6.根据权利要求1所述的基于背景建模的老鼠轨迹追踪方法，其特征在于，所述S103中，对提取出的前景运动目标进行预处理，包括中值滤波、非极大值抑制中的一种或两种。