CN109902633A - 基于固定位摄像机监控视频的异常事件检测方法及装置 - Google Patents

Abstract

本发明公开了一种基于固定位摄像机监控视频的异常事件检测方法，包括：步骤A、获取摄像机正常情况下所拍摄的一帧图像，标定出不变区域并将不变区域的图像作为初始的基准图像；步骤B、获取预设采样间隔时间后摄像机所拍摄的实时图像，按照不变区域提取该实时图像的不变区域的图像作为判断图像；步骤C、比较判断图像与基准图像之间的相似度，如相似度在预设的正常相似度范围内，则用该判断图像替换当前的基准图像后，转至步骤B；否则，判定出现异常事件。本发明还公开了一种基于固定位摄像机监控视频的异常事件检测装置。本发明可对包括摄像机本身被干扰以及监控场景中的异常进行准确的自动识别，且具有更好的准确性和实时性，对软硬件要求低。

Description

基于固定位摄像机监控视频的异常事件检测方法及装置

技术领域

本发明涉及视频图像处理技术，尤其涉及一种基于固定位摄像机监控视频的异常事件检测方法。

背景技术

随着视频监控技术的飞速发展和广泛应用，越来越多的采用固定机位的摄像机被用于安防监控、道路交通监控、生产线监控、农田水利设施监护、动植物栖息地保护等诸多应用场景。传统上，人工巡检和人工判定一直是维护视频监控摄像头和视频画面监视的重要手段。

一方面，经常会出现由于自然或人为原因而导致摄像机受到干扰的情形，例如摄像机被转动或遮挡，摄像镜头被搞脏等导致视频监控部分或完全失效；另一方面，人工巡检和人工判定在很多情况下是无法满足实时性、准确性、经济性等要求的，例如对于野外或者高温、有毒等恶劣环境就难以进行人工巡检，又如，对于大量摄像机所监控场景中异常事件（如自然灾害的发生、生产线故障等）的判定需要大量人员对视频画面进行持续监控，这显然是难以实现的。

随着图像技术、自动化水平的提高，利用计算机自动识别这些异常事件（包括摄像机本身被干扰以及所监控场景中所出现的异常事件）就成为必然。目前已出现了很多此类技术，目前最常用的是通过用当前视频图像和固定的基准图像进行简单比对来进行异常事件检测，但日照时间、视频画面中的可以移动目标等诸多因素都会直接影响对结果的判断，因此该技术的检测效果普遍难以满足要求。还有一些现有技术为了提高检测准确性，采用了极其复杂的检测算法，其所需的软硬件条件无法满足多数实际应用场合，并且实时性也无法保证。

发明内容

本发明所要解决的技术问题在于克服现有技术不足，提供一种基于固定位摄像机监控视频的异常事件检测方法，可对包括摄像机本身被干扰以及所监控场景中所出现的异常进行准确的自动识别，且具有更好的准确性和实时性，对软硬件要求低。

本发明具体采用以下技术方案解决上述技术问题：

基于固定位摄像机监控视频的异常事件检测方法，包括以下步骤：

步骤A、获取摄像机正常情况下所拍摄的一帧图像，标定出其中的不变区域并将所述不变区域的图像作为初始的基准图像；

步骤B、获取预设采样间隔时间后摄像机所拍摄的实时图像，按照所述不变区域提取该实时图像的不变区域的图像作为判断图像；

步骤C、比较判断图像与基准图像之间的相似度，如相似度在预设的正常相似度范围内，则用该判断图像替换当前的基准图像后，转至步骤B；否则，判定出现异常事件。

优选地，所述预设采样间隔时间为通过以下方法得到的最优采样间隔时间：

步骤1、获取摄像机正常情况下所拍摄的多天连续视频，按照可行的最小采样间隔时间对该视频的图像帧进行取样，得到总的数据样本集；

步骤2、按照大于所述最小采样间隔时间的一系列不同的采样间隔时间从总的数据样本集中取样，得到一系列分别对应不同采样间隔时间的数据样本子集；

步骤3、对每一份数据样本子集，计算出其中每两个相邻样本间的相似度并将所得到的相似度按照时间进行排序，从而得到各数据样本子集的相邻样本相似度时间序列；

步骤4、根据各数据样本子集的相邻样本相似度时间序列，从中找出相邻样本相似度数据波动最小的若干数据样本子集，将这些数据样本子集所对应的采样间隔时间作为候选采样间隔时间；

步骤5、结合资源消耗情况，从候选采样间隔时间中选择出最优采样间隔时间。

进一步优选地，所述相似度为基于直方图的相似度，或为基于互信息的相似度，或为结构相似性度量，或为余弦相似度。

进一步优选地，所述多天连续视频涵盖有多种不同天气情况。

优选地，使用差异值哈希（dHash）算法来比较判断图像与基准图像之间的相似度。

根据相同的发明思路还可以得到以下技术方案：

基于固定位摄像机监控视频的异常事件检测装置，包括：

实时图像获取模块，用于按照预设采样间隔时间获取摄像机所拍摄的实时图像；

判断图像提取模块，用于按照预先标定的不变区域从实时图像获取模块所获取的实时图像中提取不变区域的图像作为判断图像；

比较模块，用于比较判断图像与基准图像之间的相似度，如相似度在预设的正常相似度范围内，则用该判断图像替换当前的基准图像后继续比较下一幅判断图像；否则，判定出现异常事件；其中，初始的基准图像为从摄像机正常情况下所拍摄的一帧图像中标定出的不变区域的图像。

优选地，所述预设采样间隔时间为通过以下方法得到的最优采样间隔时间：

步骤1、获取摄像机正常情况下所拍摄的多天连续视频，按照可行的最小采样间隔时间对该视频的图像帧进行取样，得到总的数据样本集；

步骤2、按照大于所述最小采样间隔时间的一系列不同的采样间隔时间从总的数据样本集中取样，得到一系列分别对应不同采样间隔时间的数据样本子集；

步骤3、对每一份数据样本子集，计算出其中每两个相邻样本间的相似度并将所得到的相似度按照时间进行排序，从而得到各数据样本子集的相邻样本相似度时间序列；

步骤4、根据各数据样本子集的相邻样本相似度时间序列，从中找出相邻样本相似度数据波动最小的若干数据样本子集，将这些数据样本子集所对应的采样间隔时间作为候选采样间隔时间；

步骤5、结合资源消耗情况，从候选采样间隔时间中选择出最优采样间隔时间。

进一步优选地，所述相似度为基于直方图的相似度，或为基于互信息的相似度，或为结构相似性度量，或为余弦相似度。

进一步优选地，所述多天连续视频涵盖有多种不同天气情况。

优选地，比较模块使用差异值哈希算法来比较判断图像与基准图像之间的相似度。

相比现有技术，本发明技术方案具有以下有益效果：

本发明将监控视频图像进行划分，将其分为基本不发生变化的不变区域和持续变化的变化区域，并使用其中的不变区域部分进行图片的比较，从而可有效屏蔽监控场景中变化区域对图片比对的干扰；

随着时间变化、天气的变化，在不同时间段、不同天气下，摄像头抓拍到的画面变化很大，传统的采用固定基准图像无法获得准确的检测结果，本发明按照预设的采样间隔时间对基准图像和实时图像进行相似性比对，并根据比对结果对基准图像进行迭代更新，可有效克服监控画面随时间、天气等变化而给检测所带来的不确定性，大幅提高检测的准确性；

本发明预先通过全天候的分类取样来对采样间隔时间进行优化，优化过程中充分考虑了软硬件资源的消耗，从而很好地平衡了准确性、实时性与资源消耗之间的矛盾；

本发明算法简单，对软硬件要求极低，可适用于多数应用场合，具有极强的适用性。

附图说明

图1为本发明方法流程示意图；

图2为当前获取的视频图像；

图3为差异哈希算法的流程示意图；

图4为缩放为9×8之后的图像；

图5为无异常事件情况下的两张图像对比；

图6为摄像头被转动情况下的两张图像对比；

图7为本发明方法所获得的检测结果实例；

图8为不同数据样本子集的相邻样本相似度时间序列。

具体实施方式

针对现有技术采用固定基准图像进行相似度比对所存在的检测结果误差大的问题，本发明的解决思路是不使用固定基准图像，而是根据每次的比对结果对基准图像进行迭代更新，从而克服监控画面随时间、天气等渐近性变化而给检测所带来的不确定性，并且将视频图像分为基本不发生变化的不变区域和持续变化的变化区域，只使用其中的不变区域部分进行图像的比较，以屏蔽监控场景中固有的一些变化区域对图片比对的干扰，进一步提高检测准确性。

具体而言，本发明所提出的基于固定位摄像机监控视频的异常事件检测方法，包括以下步骤：

步骤A、获取摄像机正常情况下所拍摄的一帧图像，标定出其中的不变区域并将所述不变区域的图像作为初始的基准图像；

步骤B、获取预设采样间隔时间后摄像机所拍摄的实时图像，按照所述不变区域提取该实时图像的不变区域的图像作为判断图像；

步骤C、比较判断图像与基准图像之间的相似度，如相似度在预设的正常相似度范围内，则用该判断图像替换当前的基准图像后，转至步骤B；否则，判定出现异常事件。

本发明基于固定位摄像机监控视频的异常事件检测装置，包括：

实时图像获取模块，用于按照预设采样间隔时间获取摄像机所拍摄的实时图像；

判断图像提取模块，用于按照预先标定的不变区域从实时图像获取模块所获取的实时图像中提取不变区域的图像作为判断图像；

比较模块，用于比较判断图像与基准图像之间的相似度，如相似度在预设的正常相似度范围内，则用该判断图像替换当前的基准图像后继续比较下一幅判断图像；否则，判定出现异常事件；其中，初始的基准图像为从摄像机正常情况下所拍摄的一帧图像中标定出的不变区域的图像。

本发明方法可适用于摄像头被转动、遮挡等干扰检测，也可以用于监控场景中出现滑坡、雪崩、森林火灾等自然灾害或生产设备停止运转等情况的检测。

为便于公众理解，下面结合附图对本发明的技术方案进行详细说明：

本发明方法，其基本流程如图1所示，具体包括以下步骤：

步骤A、获取摄像机正常情况下所拍摄的一帧图像，标定出其中的不变区域并将所述不变区域的图像作为初始的基准图像。

大多数监控摄像头所拍摄的画面，如图2所示，一般会包括基本不变区域和变化区域，例如场景中的固定建筑物、山峰等通常为不变区域，而街道、河流等则为变化区域，如果在进行后续的图像比对时将这些场景中的变化区域计入，则会直接影响检测结果的准确性，所以，本发明将图像中的不变和变化区域预先标注出来，并将变化区域剔除在外。可以根据监控场景的具体情况，通过人工标定的方式确定不变区域。按照标注出的不变区域，将摄像机正常情况下所拍摄的一帧图像中的不变区域部分取出形成另一幅单独的图像，即可作为初始的基准图像。对于部分应用场合，摄像机所拍摄的整个场景均需作为不变区域来参与后续的图像比对，则此时的不变区域即为整幅图像。

步骤B、获取预设采样间隔时间后摄像机所拍摄的实时图像，按照所述不变区域提取该实时图像的不变区域的图像作为判断图像。

在预设采样间隔时间后，例如可以是3分钟、5分钟、30分钟，按照上面所标注不变区域的坐标点，将摄像机采集到的实时图像中的相应的不变区域取出形成当前的判断图像。

步骤C、比较判断图像与基准图像之间的相似度，如相似度在预设的正常相似度范围内，则用该判断图像替换当前的基准图像后，转至步骤B；否则，判定出现异常事件。

判断图像与基准图像之间的相似度可采用现有的各种图像相似度算法，例如基于直方图或灰度像素的相似度算法、平均哈希算法、感知哈希算法、差异值哈希（dHash）算法、平均结构相似性MSSIM算法等。从检测效果和算法复杂度等方面综合考虑，本发明优选差异值哈希（dHash）算法。本发明所使用的dHash算法基本流程如图3所示，具体如下：

（1）缩放图片：

把图片缩放到足够小，因为原图的分辨率一般都非常高，一张200*200的图片，就有整整4万个像素点，每一个像素点都保存着一个RGB值，4万个RGB，是相当庞大的信息量，非常多的细节需要处理。因此，我们需要把图片缩放到非常小，隐藏它的细节部分，本发明优选将原图像缩放为9*8像素大小，如图4所示，这个是相对合理的；而且宽度为9，也有利于转换为hash值。

（2）灰度化：

缩放后的图片，细节已经被隐藏，信息量已经变少。但是还不够，因为它是彩色的，由RGB组成。白色表示为（255,255,255），黑色表示为（0,0,0），值越大演示越亮，越小则越暗。如果直接使用RGB值对比颜色强度差异，相当复杂，因此转化为灰度值，只由一个0~255的整数表示灰度，将三维的比较简化为一维比较。

（3）差异计算：

差异值是通过计算每行相邻像素的强度对比得出的。缩放后的图片为9*8的分辨率，那么就有8行，每行9个像素。差异值是每行分别计算，每行9个像素，那就会产生8个差异值，这也是为何我们选择9作为宽度，因为8bit刚好可以组成一个byte，方便转换为16进制值。同一行的前一个像素的颜色强度大于第二个像素，那么差异值设置为True（也就是1），否则为False（也就是0）。

（4）转换为hash值：

将差异值数组中每一个值看做一个bit，每8个bit组成为一个16进制值，将16进制值连接起来转换为字符串，就得出了最后的dHash值。

（5）对比指纹：

每幅图片的dHash值即为该图片的指纹，对比两幅图像的指纹就是计算两幅图像dHash值的相似程度。本发明通过dHash值计算两张图片的汉明距离（Hamming Distance），通过汉明距离的大小，判断两张图片的相似程度。汉明距离表示将A修改成为B，需要多少个步骤。比如字符串“abc”与“ab3”，汉明距离为1，因为只需要修改“c”为“3”即可。dHash中的汉明距离是通过计算差异值的修改位数。差异值用0,1表示，可以看做二进制；例如，二进制0110与1111的汉明距离为2。将两种图片的dHash值转换为二进制，并取异或。计算异或结果的“1”的位数，也就是不同的位数，这就是汉明距离。计算出的汉明距离即表明两幅图像的相似程度。图5显示了无异常事件情况下的两张对比图像，其最终计算出的相似度值（汉明距离）为2；图6显示了摄像头被转动前后的两幅图像的对比，其最终计算出的相似度值（汉明距离）为29。一般来说，汉明距离小于5，基本就是相同图片。如果汉明距离比较大，这说明两张图片相差比较大，则可以判定出现了异常事件（例如监控画面已经被转动或遮挡，或者场景中的不变区域发生了塌方、火灾等大的变化），否则，判定监控正常。

如果根据相似度计算结果判断监控正常，则用这一轮的判断图像替换当前的基准图像，然后在预设的采样间隔时间后进行下一轮的比对；否则，说明出现异常时间，则需要进行报警，通知维护人员进行进一步检查确认。图7为显示了本发明方法的一个检测结果实例，其中横坐标为采样次数，纵坐标为相似度值；可以看出第24次采样时出现了异常事件。

所述预设采样间隔时间是本发明方法能够实现的核心参数，如果设置的过小，一方面会带来软硬件资源的巨大消耗，一方面导致很多异常事件的漏检；如果设置的过大，则有可能导致很多虚警。为此，本发明预先对采样间隔时间进行离线优化，在线检测时使用优化后的最优采样间隔时间参数，从而很好地平衡了准确性、实时性与资源消耗之间的矛盾。所述优化方法具体如下：

步骤1、获取摄像机正常情况下所拍摄的多天连续视频，按照可行的最小采样间隔时间对该视频的图像帧进行取样，得到总的数据样本集；

很多监控场景的光线会随着时间、天气的变化而逐渐变化，所拍摄到的画面也会随之出现变化，因此有必要采集连续多天的视频，最好能在其中涵盖多种不同的天气条件。对于采集好的多天连续视频，可以直接以相邻帧的间隔时间作为最小采样间隔时间来取样，即以所有视频帧作为总的数据样本。但这样做会大幅度增加样本数量，提高数据处理的难度，为此可将可行的最小采样间隔时间设定的稍长一些，例如1分钟或2分钟。

步骤2、按照大于所述最小采样间隔时间的一系列不同的采样间隔时间从总的数据样本集中取样，得到一系列分别对应不同采样间隔时间的数据样本子集；

假设总的数据样本集是按照1分钟取样的，则可分别按照2分钟、5分钟、10分钟、20分钟、30分钟等不同的采样间隔时间从其中分别取样，这样就得到一系列对应不同采样间隔时间的数据样本子集。

步骤3、对每一份数据样本子集，计算出其中每两个相邻样本间的相似度并将所得到的相似度按照时间进行排序，从而得到各数据样本子集的相邻样本相似度时间序列；

此处的图像相似度同样可采用现有的各种相似度算法。由于是离线计算，因此可采用计算量大但准确的算法，例如可采用基于直方图图形相似度计算方法，用巴氏系数算法对直方图数据进行计算，计算各数据样本子集中每两个相邻图片的相似度，从而得到相应的相邻样本相似度时间序列（或曲线）。

步骤4、根据各数据样本子集的相邻样本相似度时间序列，从中找出相邻样本相似度数据波动最小的若干数据样本子集，将这些数据样本子集所对应的采样间隔时间作为候选采样间隔时间；

对这些相邻样本相似度时间序列进行数据波动分析，从中找出数据波动最小的前若干个作为候选。图8显示了分别对应5分钟、10分钟 、20分钟、30分钟这四种采样间隔时间的相邻样本相似度时间序列曲线，可看出每隔5分钟、10分钟的样本相似度波动最小，可作为最优采样间隔时间候选项。

步骤5、结合资源消耗情况，从候选采样间隔时间中选择出最优采样间隔时间。

根据实际情况，综合考虑软硬件资源消耗情况，来对候选采样时间间隔进行比较，由于每隔5分钟采样所消耗的资源几乎为每隔10分钟采样所消耗的资源的两倍，因此， 10分钟采样时间间隔为最优。

Claims (10)

1.基于固定位摄像机监控视频的异常事件检测方法，其特征在于，包括以下步骤：

步骤A、获取摄像机正常情况下所拍摄的一帧图像，标定出其中的不变区域并将所述不变区域的图像作为初始的基准图像；

步骤B、获取预设采样间隔时间后摄像机所拍摄的实时图像，按照所述不变区域提取该实时图像的不变区域的图像作为判断图像；

步骤C、比较判断图像与基准图像之间的相似度，如相似度在预设的正常相似度范围内，则用该判断图像替换当前的基准图像后，转至步骤B；否则，判定出现异常事件。

2.如权利要求1所述方法，其特征在于，所述预设采样间隔时间为通过以下方法得到的最优采样间隔时间：

步骤1、获取摄像机正常情况下所拍摄的多天连续视频，按照可行的最小采样间隔时间对该视频的图像帧进行取样，得到总的数据样本集；

步骤2、按照大于所述最小采样间隔时间的一系列不同的采样间隔时间从总的数据样本集中取样，得到一系列分别对应不同采样间隔时间的数据样本子集；

步骤3、对每一份数据样本子集，计算出其中每两个相邻样本间的相似度并将所得到的相似度按照时间进行排序，从而得到各数据样本子集的相邻样本相似度时间序列；

步骤4、根据各数据样本子集的相邻样本相似度时间序列，从中找出相邻样本相似度数据波动最小的若干数据样本子集，将这些数据样本子集所对应的采样间隔时间作为候选采样间隔时间；

步骤5、结合资源消耗情况，从候选采样间隔时间中选择出最优采样间隔时间。

3.如权利要求2所述方法，其特征在于，所述相似度为基于直方图的相似度，或为基于互信息的相似度，或为结构相似性度量，或为余弦相似度。

4.如权利要求2所述方法，其特征在于，所述多天连续视频涵盖有多种不同天气情况。

5.如权利要求1或2所述方法，其特征在于，使用差异值哈希算法来比较判断图像与基准图像之间的相似度。

6.基于固定位摄像机监控视频的异常事件检测装置，其特征在于，包括：

实时图像获取模块，用于按照预设采样间隔时间获取摄像机所拍摄的实时图像；

判断图像提取模块，用于按照预先标定的不变区域从实时图像获取模块所获取的实时图像中提取不变区域的图像作为判断图像；

比较模块，用于比较判断图像与基准图像之间的相似度，如相似度在预设的正常相似度范围内，则用该判断图像替换当前的基准图像后继续比较下一幅判断图像；否则，判定出现异常事件；其中，初始的基准图像为从摄像机正常情况下所拍摄的一帧图像中标定出的不变区域的图像。

7.如权利要求6所述装置，其特征在于，所述预设采样间隔时间为通过以下方法得到的最优采样间隔时间：

步骤1、获取摄像机正常情况下所拍摄的多天连续视频，按照可行的最小采样间隔时间对该视频的图像帧进行取样，得到总的数据样本集；

步骤2、按照大于所述最小采样间隔时间的一系列不同的采样间隔时间从总的数据样本集中取样，得到一系列分别对应不同采样间隔时间的数据样本子集；

步骤3、对每一份数据样本子集，计算出其中每两个相邻样本间的相似度并将所得到的相似度按照时间进行排序，从而得到各数据样本子集的相邻样本相似度时间序列；

步骤4、根据各数据样本子集的相邻样本相似度时间序列，从中找出相邻样本相似度数据波动最小的若干数据样本子集，将这些数据样本子集所对应的采样间隔时间作为候选采样间隔时间；

步骤5、结合资源消耗情况，从候选采样间隔时间中选择出最优采样间隔时间。

8.如权利要求6所述装置，其特征在于，所述相似度为基于直方图的相似度，或为基于互信息的相似度，或为结构相似性度量，或为余弦相似度。

9.如权利要求6所述装置，其特征在于，所述多天连续视频涵盖有多种不同天气情况。

10.如权利要求6或7所述装置，其特征在于，比较模块使用差异值哈希算法来比较判断图像与基准图像之间的相似度。