CN112770090A - 一种基于异动检测与目标跟踪的监控方法 - Google Patents

Abstract

本发明涉及一种基于异动检测与目标跟踪的监控方法。本发明针对晃动物体以及微小物体进行了过滤，可以极大的减少由树木晃动，相机抖动、昆虫飞舞等产生的误报警，并在此基础上设计了视频剪切和删除模块，可以智能的将存在异常的视频流与无异常的视频流分开，只存储异常的视频流，极大的节约了存储的空间，减少了资源浪费与存储卡成本，提高了本发明的实用性。本发明针对敏感的遮挡物设计了报警技术，若出现敏感遮挡物，则提醒工作人员进行检查，一方面可以避免不法分子故意遮挡镜头，另一方面也可以检测镜头是否被落叶灰尘遮挡，提高了本发明的适应性。

Description

一种基于异动检测与目标跟踪的监控方法

技术领域

本发明属于智能科学与自动化科学领域，涉及一种基于异动检测与目标跟踪的监控方法。

背景技术

在安防与监控领域中，一般通过众多的监控设备将视频流通过网络实时传输到监控室中，由监控人员进行观察，因需要长时间紧盯多个监控屏幕，耗费较多人力，且极易产生视觉疲劳，很难及时发现敏感目标，且极易遗漏各种细节。在实时监控中，当敏感目标从视野中消失时，安保人员需要从一个个摄像头视野中再次寻找目标。因此常常难以兼顾多个监控窗口。在发现问题的时候，通常需要根据目标关联的摄像机查找摄像记录，人工检查回放，非常耗时。目前异动方法对于树木晃动、昆虫、雨雪天气极易产生误报警。针对于传统监控问题，大多数研究人员将异动检测用在监控中，如公布号为CN112016414A的中国专利公开了一种检测高空抛物事件的方法、装置及楼面智能监控系统，该系统可以根据帧图像进行运动目标检测，并根据运动轨迹判断是否为高空抛物现象。但该装置并未进行类似树木晃动、昆虫飞舞的过滤，极易产生误判，同时该系统的适用范围小，仅限于高空抛物事件的检测；又如公布号为CN112019804A的中国专利公开了一种人工智能监控系统，工作时该发明利用多传感器与摄像头联动进行画面捕捉并将一切捕捉画面压缩存储于SD卡中，该发明可以通过各种传感器监控多方面的信息，但光照传感器，温度传感器等成本较高，同时将所有捕捉画面存储于SD卡会存在大量的无用视频流，不利于事后查找证据。为此设计了基于异动检测与目标跟踪的智能监控方法，本发明针对目前的异动检测产品存在的局限性：会对很多常规的异动产生误报警，例如树木晃动、小动物的跑动、昆虫飞舞等存在的误报警进行了过滤。同时本发明针对于摄像头的遮挡进行了检测报警，减少了错误警报，增加系统的抗干扰性与多场景适用性。并在此基础上增加物体检测跟踪模块，人脸检测模块减少监控人员的监控难度，补充无异动视频不保存，定期视频记忆性删除功能，方便人员后续查找。具有现实意义与良好的应用前景。

发明内容

本发明的目的是针对现有技术的不足之处，提出一种基于异动检测与目标跟踪的智能监控方法，具体是基于帧图像与颜色检测跟踪法实现实时的运动目标提取，即静态场景的分离；利用时域空间内的异动区域位置累计评估，对物体晃动误报警进行过滤；通过对运动区域腐蚀，对昆虫、蛛丝等微小目标导致的误报警进行过滤；通过基于Haar分类器和目标检测算法进行可疑物品的识别、人物的识别，可疑人物分类以及可疑人物人脸信息的存储。根据识别到的可疑物体进行大小分类，分别存储在三类不同可疑灵敏度的容器当中。设计异常视频剪切功能，将可疑视频流自动识别，并自动剪切存储。每间隔一定采样时间，将当前帧与标准帧进行比对，如果一定时间内存在固定的像素异变，则输出摄像机遮挡报警。

本发明是通过以下技术方案实现的：

步骤(1)、获取摄像头采集的帧图像，并对其进行数据预处理；

所述的数据预处理包括去除图像畸变、图像转换、直方图均衡化；

上述技术为常规技术，故不详解。

步骤(2)、利用帧图像实现动态场景分离，具体方法是：

2.1对预处理后相邻三帧图像，根据公式(1)-(2)获取两个二帧差分图像D₁(x，y)、D₂(x，y)：

其中f_t(x，y)表示t时刻(x，y)坐标的灰度值，Tb为阈值，可根据经验人为设定。Tb值的选择不宜过大也不宜过小，过大会出现检测“空洞”甚至漏检，过小会使噪声明显，所以需通过多次的测试来确定合适的阈值。

二帧差分图像中“1”表示差分值大于阈值，通常包括运动目标和噪声；“0”则表示小于阈值，代表两帧中几乎没有发生变化的部分。

2.2根据D₁(x，y)、D₂(x，y)，获得三帧差分图像D(x，y)：

2.3将上述三帧差分图像进行二值化处理，得到动态区域；

二值化处理是将D(x，y)中灰度值大于阈值的像素值设为255，其余像素值设为0；阈值的获取方法具体是：

2.3.1初始化迭代次数k＝0，差分图像D(x，y)中的最大灰度值和最小灰度值Max_k和Min_k；

2.3.2根据公式(4)获得阈值：

2.3.3根据阈值T_k将差分图像D(x，y)分成前景图和背景图，分别求出前景图和背景图的平均灰度值G_a，G_i；重新赋予k＝k+1，更新Max_k＝G_a；Min_k＝G_i，根据公式(4)更新阈值T_k，重复步骤2.3.3，直到前后两次迭代的阈值误差小于1像素值，得到所需的阈值T_k。

步骤(3)、误报警分析处理，具体方法如下：

3.1对晃动物体导致的误报警进行过滤，具体如下：

对步骤2所获动态区域进行质心计算，设t_i时刻动态区域质心为(x_{t_i}，y_{t_i})，其中i代表第i帧，对间隔时间为0.1秒的1-10帧动态区域质心位置累加，并与11-20帧的质心位置累加值进行差分获得累计误差M₁：

若累计误差M₁大于阈值P₁则认为存在晃动物体，并进行过滤，然后跳转至步骤3.2，反之则认为不存在晃动物体，无需处理，直接跳转至步骤3.2。

上述晃动物体过滤操作属于常规技术，故不详解。

3.2过滤微小目标导致的误报警

对步骤3.2处理后无晃动物体的动态区域进行图像的腐蚀操作，然后遍历腐蚀后图像的像素点进行区域像素检测；

所述的区域像素检测具体方法如下：

a)将动态区域内同一区块中连通的像素值为255的像素点设为一个集合，根据公式(6)计算误差K，若误差K大于阈值P₂则去除此像素点集合；

K＝ln N_s/N_i 式(6)

其中N_i表示第i个集合的像素点个数，N_S表示动态区域所有像素点的个数；

b)遍历动态区域内所有集合后，若仍存在像素值为255的像素点集合，则当前帧图像认为是异动帧图像，反之则返回步骤1重新获取下一帧图像。

上述图像的腐蚀操作属于常规技术，故不详解。

所述阈值P₁、P₂设置方法如下：

首先自动获得图像采集设备的分辨率，根据分辨率设置敏感参数，分为敏感、可疑、一般三部分，用户可以根据监控环境的需要，对敏感参数值进行调整。

步骤(4)、构建haar特征分类器，实现人物识别和分类；若识别结果为可疑人物，进行人脸存储和报警。

采集正样本集与负样本集，根据用户输入的正样本集与负样本集训练haar特征分类器。输入为步骤3所获得的异动帧图像，输出为所述haar特征分类器分类结果。

步骤(5)、构建yolov3网络，实现物体识别和分类；其中yolov3网络的输入为异动帧图像，输出为(x^*，y^*，w^*，h^*)，其中x^*，y^*，w^*，h^*分别表示识别目标的横纵坐标以及宽度高度像素值；根据yolov3网络的输出结果计算目标面积sq＝w^*×h^*，该目标面积作为物体大小衡量指标，通过阈值判断进行物体大小分类，同时进行存储和报警。

步骤(6)、监控视野切换与监控目标跟踪：

将步骤3获得的异动帧图像优先输出至监控屏幕，如果多个摄像机同时产生异动，则将多个窗口并行输出至监控屏幕。用户可以根据需要选择监控窗口的放大与缩小。

作为优选，在监控屏幕中异动帧图像选择需要锁定的目标，使窗口的大小大于或等于整个跟踪目标，然后使用反向投影算法获得反向投影图；同时在反向投影图中采用MeanShift算法更新搜索窗口，并将目标跟踪结果显示在最终的显示终端上。

步骤(7)、摄像机遮挡分析：

设监控每次上电初始化的初始图像帧为标准帧L₁，其像素为u，每间隔一定采样时间，将当前帧L_Q与标准帧进行比对，得到帧图像的绝对差M₂；如果连续300s，M₂均大于0.1×u，即一定时间内存在稳定的像素异变，则认为摄像机被遮挡。

M₂＝|L_Q-L₁| 式(7)

步骤(8)：对步骤(3)异动帧图像进行剪切删除与可疑人脸识别分类存储操作。

本发明的另一个目的是提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现上述的方法。

本发明的又一个目的是一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现上述的方法。

与现有技术相比，本发明的有益效果是：

第一：由于本发明在系统的设计上针对晃动物体以及微小物体进行了过滤，可以极大的减少由树木晃动，相机抖动、昆虫飞舞等产生的误报警，并在此基础上设计了视频剪切和删除模块，可以智能的将存在异常的视频流与无异常的视频流分开，只存储异常的视频流，极大的节约了存储的空间，减少了资源浪费与存储卡成本，提高了本发明的实用性。

第二：本发明针对敏感的遮挡物设计了报警技术，若出现敏感遮挡物，则提醒工作人员进行检查，一方面可以避免不法分子故意遮挡镜头，另一方面也可以检测镜头是否被落叶灰尘遮挡，提高了本发明的适应性。

第三：本发明设计了跟踪监控视野切换方式，当目标出现在某一监控设备时，监控画面自动跳出，若多监控设备均存在目标，则并行跳出，进行多机联动跟踪，方便监控人员观察，降低了遗漏的可能。

第四：本发明将异动帧图像剪切并存储下来，方便后续工作人员的检查；根据用户定义的时间实现视频流的自动删除，节约存储空间。

附图说明

图1为本发明方法流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。以下实施例仅用以解释本申请，并不用于限定本申请。

本发明一基于异动检测与目标跟踪的智能监控方法，如图1包括以下：

步骤(1)、获取摄像头采集的帧图像，并对其进行数据预处理；

所述的数据预处理包括去除图像畸变、图像转换、直方图均衡化；

去除图像畸变：为了找到正确图像与畸变图像像素点之间的映射关系，首先需要进行图像畸变的去除，第一步，已知像素(u，v)-＞计算其对应的归一化坐标(x，y)。第二步，通过畸变公式计算该归一化坐标对应的畸变归一化坐标(x_distorted，y_distorted)。第三步，通过坐标转换公式，计算畸变归一化坐标所对应的像素坐标(u_distorted，v_distorted)。

图像转换：对所述图像的像素进行转换，其中包括图像在RGB颜色空间，HSV颜色空间以及灰度颜色空间之间的转换，从而减少所述帧图像的数据量，便于后续计算。

直方图均衡化：第一步，统计直方图个个灰度级出现的次数。第二步，累计归一化的直方图。第三步，重新计算像素值。主要作用是把原始图像的的灰度直方图从比较集中的某个区域变成在全部灰度范围内的均匀分布。

步骤(2)、利用帧图像实现动态场景分离，具体方法是：

2.1对预处理后相邻三帧图像，根据公式(1)-(2)获取两个二帧差分图像D₁(x，y)、D₂(x，y)：

其中f_t(x，y)表示t时刻(x，y)坐标的灰度值，Tb为阈值，可根据经验人为设定。Tb值的选择不宜过大也不宜过小，过大会出现检测“空洞”甚至漏检，过小会使噪声明显，所以需通过多次的测试来确定合适的阈值。

二帧差分图像中“1”表示差分值大于阈值，通常包括运动目标和噪声；“0”则表示小于阈值，代表两帧中几乎没有发生变化的部分。

2.2根据D₁(x，y)、D₂(x，y)，获得三帧差分图像D(x，y)：

2.3将上述三帧差分图像进行二值化处理，得到动态区域；

二值化处理是将D(x，y)中灰度值大于阈值的像素值设为255，其余像素值设为0；阈值的获取方法具体是：

2.3.1初始化迭代次数k＝0，差分图像D(x，y)中的最大灰度值和最小灰度值Max_k和Min_k；

2.3.2根据公式(4)获得阈值：

2.3.3根据阈值T_k将差分图像D(x，y)分成前景图和背景图，分别求出前景图和背景图的平均灰度值G_a，G_i；重新赋予k＝k+1，更新Max_k＝G_a；Min_k＝G_i，根据公式(4)更新阈值T_k，重复步骤2.3.3，直到前后两次迭代的阈值误差小于1像素值，得到所需的阈值T_k。

步骤(3)、误报警分析处理，具体方法如下：

3.1对晃动物体导致的误报警进行过滤，具体如下：

对步骤2所获动态区域进行质心计算，设t_i时刻动态区域质心为(x_{t_i}，y_{t_i})，其中i代表第i帧，对间隔时间为0.1秒的1-10帧动态区域质心位置累加，并与11-20帧的质心位置累加值进行差分获得累计误差M₁：

若累计误差M₁大于阈值P₁则认为存在晃动物体，并进行过滤，然后跳转至步骤3.2，反之则认为不存在晃动物体，无需处理，直接跳转至步骤3.2。

上述晃动物体过滤操作属于常规技术，故不详解。

3.2过滤微小目标导致的误报警

对步骤3.2处理后无晃动物体的动态区域进行图像的腐蚀操作，然后遍历腐蚀后图像的像素点进行区域像素检测；

所述的区域像素检测具体方法如下：

a)将动态区域内同一区块中连通的像素值为255的像素点设为一个集合，根据公式(6)计算误差K，若误差K大于阈值P₂则去除此像素点集合；

K＝ln N_s/N_i 式(6)

其中N_i表示第i个集合的像素点个数，N_S表示动态区域所有像素点的个数；

b)遍历动态区域内所有集合后，若仍存在像素值为255的像素点集合，则当前帧图像认为是异动帧图像，反之则返回步骤1重新获取下一帧图像。

上述图像的腐蚀操作属于常规技术，故不详解。

所述阈值P₁、P₂设置方法如下：

首先自动获得图像采集设备的分辨率，根据分辨率设置敏感参数，分为敏感、可疑、一般三部分，用户可以根据监控环境的需要，对敏感参数值进行调整。

步骤(4)、构建haar特征分类器，实现人物识别和分类；若识别结果为可疑人物，进行人脸存储和报警。

采集正样本集与负样本集，根据用户输入的正样本集与负样本集训练haar特征分类器。输入为步骤3所获得的异动帧图像，输出为所述haar特征分类器分类结果。

步骤(5)、构建yolov3网络，实现物体识别和分类；其中yolov3网络的输入为异动帧图像，输出为(x^*，y^*，w^*，h^*)，其中x^*，y^*，w^*，h^*分别表示识别目标的横纵坐标以及宽度高度像素值；根据yolov3网络的输出结果计算目标面积sq＝w^*×h^*，该目标面积作为物体大小衡量指标，通过阈值判断进行物体大小分类，同时进行存储和报警。

步骤(6)、监控视野切换与监控目标跟踪：

将步骤3获得的异动帧图像优先输出至监控屏幕，如果多个摄像机同时产生异动，则将多个窗口并行输出至监控屏幕。用户可以根据需要选择监控窗口的放大与缩小。

作为优选，在监控屏幕中异动帧图像选择需要锁定的目标，使窗口的大小大于或等于整个跟踪目标，然后使用反向投影算法获得反向投影图；同时在反向投影图中采用MeanShift算法更新搜索窗口，并将目标跟踪结果显示在最终的显示终端上。

步骤(7)、摄像机遮挡分析：

设监控每次上电初始化的初始图像帧为标准帧L₁，其像素为u，每间隔一定采样时间，将当前帧L_Q与标准帧进行比对，得到帧图像的绝对差M₂；如果连续300s，M₂均大于0.1×u，即一定时间内存在稳定的像素异变，则认为摄像机被遮挡。

M₂＝|L_Q-L₁| 式(7)

步骤(8)：对步骤(3)异动帧图像进行剪切删除与可疑人脸识别分类存储操作。

Claims (9)

1.一种基于异动检测与目标跟踪的监控方法，其特征在于该方法包括以下步骤：

步骤(1)、获取摄像头采集的帧图像，并对其进行数据预处理；

步骤(2)、利用帧图像实现动态场景分离，具体方法是：

2.1对预处理后相邻三帧图像，根据公式(1)-(2)获取两个二帧差分图像D₁(x，y)、D₂(x，y)：

其中f_t(x，y)表示t时刻(x，y)坐标的灰度值，Tb为阈值；

2.2根据D₁(x，y)、D₂(x，y)，获得三帧差分图像D(x，y)：

2.3将上述三帧差分图像进行二值化处理，得到动态区域；

步骤(3)、误报警分析处理，具体方法如下：

3.1对晃动物体导致的误报警进行过滤，具体如下：

对步骤2所获动态区域进行质心计算，设t_i时刻动态区域质心为(x_{t_i}，y_{t_i})，其中i代表第i帧，对间隔时间为0.1秒的1-10帧动态区域质心位置累加，并与11-20帧的质心位置累加值进行差分获得累计误差M₁：

若累计误差M₁大于阈值P₁则认为存在晃动物体，并进行过滤，然后跳转至步骤3.2，反之则认为不存在晃动物体，无需处理，直接跳转至步骤3.2；

3.2过滤微小目标导致的误报警

对步骤3.2处理后无晃动物体的动态区域进行图像的腐蚀操作，然后遍历腐蚀后图像的像素点进行区域像素检测；

步骤(4)、构建haar特征分类器，实现人物识别和分类；若识别结果为可疑人物，进行人脸存储和报警；

其中haar特征分类器的输入为步骤3所获得的异动帧图像，输出为所述haar特征分类器分类结果；

步骤(5)、构建yolov3网络，实现物体识别和分类；其中yolov3网络的输入为异动帧图像，输出为(x^*，y^*，w^*，h^*)，其中x^*，y^*，w^*，h^*分别表示识别目标的横纵坐标以及宽度高度像素值；根据yolov3网络的输出结果计算目标面积sq＝w^*×h^*，该目标面积作为物体大小衡量指标，通过阈值判断进行物体大小分类，同时进行存储和报警。

2.根据权利要求1所述的一种基于异动检测与目标跟踪的监控方法，其特征在于步骤(1)所述的数据预处理包括去除图像畸变、图像转换、直方图均衡化。

3.根据权利要求1所述的一种基于异动检测与目标跟踪的监控方法，其特征在于步骤(2.3)具体是：二值化处理是将D(x，y)中灰度值大于阈值的像素值设为255，其余像素值设为0；阈值的获取方法具体是：

2.3.1初始化迭代次数k＝0，差分图像D(x，y)中的最大灰度值和最小灰度值Max_k和Min_k；

2.3.2根据公式(4)获得阈值：

2.3.3根据阈值T_k将差分图像D(x，y)分成前景图和背景图，分别求出前景图和背景图的平均灰度值G_a，G_i；重新赋予k＝k+1，更新Max_k＝G_a；Min_k＝G_i，根据公式(4)更新阈值T_k，重复步骤2.3.3，直到前后两次迭代的阈值误差小于1像素值，得到所需的阈值T_k。

4.根据权利要求1所述的一种基于异动检测与目标跟踪的监控方法，其特征在于步骤(3.2)所述的区域像素检测具体方法如下：

a)将动态区域内同一区块中连通的像素值为255的像素点设为一个集合，根据公式(6)计算误差K，若误差K大于阈值P₂则去除此像素点集合；

K＝lnN_s/N_i 式(6)

其中N_i表示第i个集合的像素点个数，N_S表示动态区域所有像素点的个数；

b)遍历动态区域内所有集合后，若仍存在像素值为255的像素点集合，则当前帧图像认为是异动帧图像，反之则返回步骤1重新获取下一帧图像。

5.根据权利要求1所述的一种基于异动检测与目标跟踪的监控方法，其特征在于还可以包括监控视野切换与监控目标跟踪，具体是：

将步骤3获得的异动帧图像优先输出至监控屏幕，如果多个摄像机同时产生异动，则将多个窗口并行输出至监控屏幕。

6.根据权利要求1所述的一种基于异动检测与目标跟踪的监控方法，其特征在于还可以包括对步骤(1)预处理后图像进行摄像机遮挡分析，具体是：

设监控每次上电初始化的初始图像帧为标准帧L₁，其像素为u，每间隔一定采样时间，将当前帧L_Q与标准帧进行比对，得到帧图像的绝对差M₂；如果连续300s，M₂均大于0.1×u，即一定时间内存在稳定的像素异变，则认为摄像机被遮挡；

M₂＝|L_Q-L₁| 式(7)。

7.根据权利要求1所述的一种基于异动检测与目标跟踪的监控方法，其特征在于还可以包括对步骤(3)异动帧图像进行剪切删除与可疑人脸识别分类存储操作。

8.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1-7任一项所述的方法。

9.一种机器可读存储介质，其特征在于，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现权利要求1-7任一项所述的方法。

Images