CN111767826A - 一种定时定点场景异常检测方法 - Google Patents

Abstract

本发明公开了一种定时定点场景异常检测方法，包括：采用无线图像传感器定时定点采集场景图像，并对场景图像进行预处理，获得样本图像和测试图像；构建图像检测模型，该图像检测模型训练体系训练获得，训练体系包括编码器、解码器和判别器；训练时，以内容一致性损失、重构损失、对抗损失以及循环一致性损失之和作为训练体系的损失，对训练体系进行参数优化，提取参数确定的编码器作为图像检测模型；利用图像检测模型从样本图像中筛选得到锚定图像组；根据锚定图像组和图像检测模型对测试图像进行异常值测试，获得异常测试结果。该定时定点场景异常检测方法基于定时定点的静态图像进行自动场景异常检测，操作简单，功耗低。

Description

一种定时定点场景异常检测方法

技术领域

本发明属于计算机视觉与模式识别领域，具体涉及一种定时定点场景异常检测方法。

背景技术

近年来，随着人工智能、硬件等技术的进步，视频媒体技术得到了飞速地发展并广泛应用到了各个领域。然而，传统的视频监控系统往往通过人不间断地盯着监控视频，从而及时发现问题并处理。然而随着人力成本的上升以及监控摄像头的数量不断增加，落后的监控手段逐渐限制了监控系统的应用。智能视频监控系统通过利用计算机视觉、图像处理等技术，实时自动地分析视频数据，逐渐缓解了监控系统对于人力的依赖性。当智能视频监控系统发现监控场景之中出现异常数据时，会立刻发送异常信号，从而促使相关部门及时做出响应。考虑到对于场景监控而言，异常场景的定义相比于正常场景而言更为宽泛，因而以正常场景建模的方法相比于从异常场景出发的方法而言，有如下好处：1、降低了对于异常数据的依赖，缓解了异常数据的困难性；2、使建模更加灵活方便，无需显式地声明异常的类型和数量。

另一方面，传统的监控系统往往是基于视频展开工作，因而传统的监控系统对于工作环境以及硬件设备具有较高的要求。然而，在某些特殊情况下，例如野外环境无法负担起对摄像头不间断供电，基于视频的监控系统并不是一个有效的方案。为此，基于定时拍摄低功耗无线图像传感器的监控系统可以视作为在某些特殊情况下的基于视频的监控系统的有效替换；

申请公布号为CN105335703A的专利申请公开了一种基于运动重构技术的交通场景异常检测方法，申请公布号为的专利申请公开了一种拥挤场景下视频异常事件检测方法。这两个技术方案均是适用于运动场景的检测。

发明内容

本发明的目的就是提供一种定时定点场景异常检测方法，该定时定点场景异常检测方法基于定时定点的静态图像进行自动场景异常检测，操作简单，功耗低。

本发明的技术方案为：

一种定时定点场景异常检测方法，包括以下步骤：

步骤1、采用无线图像传感器定时定点采集场景图像，并对场景图像进行预处理，获得样本图像和测试图像；

步骤2、构建图像检测模型，该图像检测模型通过基于生成对抗网络构建的训练体系训练获得，所述训练体系包括编码器、解码器和判别器，编码器和解码器组成是生成器，用于根据输入的样本图像生成重构图像，判别器用于判别输入的样本图像和重构图像的真伪；训练时，以内容一致性损失、重构损失、对抗损失以及循环一致性损失之和作为训练体系的损失，对训练体系进行参数优化，提取参数确定的编码器作为图像检测模型；

步骤3、利用图像检测模型从样本图像中筛选得到锚定图像组；

步骤4、根据锚定图像组和图像检测模型对测试图像进行异常值测试，获得异常测试结果。

与现有技术相比，本发明具有的有益效果至少包括：

本发明提供的定时定点场景异常检测方法，通过定时定点采集场景图像，功耗低，基于生成式对抗网络构建的图像检测模型能够滤除掉光影变化对图像内容的干扰，提升了的图像检测模型的检测精度，利用该图像检测模型自动进行场景异常值检测，提升了场景异常检测准确性，且全自动检测，克服了依赖人力、工作环境严苛的局限性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是本发明实施例提供的定时定点场景异常检测方法的流程图；

图2是本发明实施例提供的定时定点场景异常检测方法中筛选锚定图像组和测试步骤的流程框图；

图3是本发明实施例提供的编码器的结构示意图；

图4是本发明实施例提供的解码器的结构示意图；

图5是本发明实施例提供的判别器的结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

为了解决现有的视频监控系统的监控依赖人力、依赖异常样本数据、工作环境严苛的局限性问题，实施例提供了基于非连续帧的定时定点监控场景异常检测方法。

如图1和图2所示，实施例提供的定时定点场景异常检测方法包括以下步骤：

S101，采用无线图像传感器定时定点采集场景图像，并对场景图像进行预处理，获得样本图像和测试图像。

采用低功耗无线图像传感器定时定点采集监控场景的场景图像，该场景图像为连续帧图像，这些场景图像不能直接输入至模型检测用，因此需要对这些场景图像进行预处理，包括：

首先，对场景图像的每个像素进行异常像素标注，筛选异常像素占比超过占比阈值的场景图像为异常图像，其余为正常图像；

一般情况下，将场景图像中的异常像素标注为1，其他正常像素标注为0，这样实现了对场景图像进行异常像素标注。占比阈值用于作为筛选异常图像的界线，根据实际应用场景进行限定，举例可以为5％。当场景图像中异常像素点的个数超过该占比阈值时，则为该场景图像为异常图像。

然后，计算正常图像关于内容信息通道、光强信息通道和点光源入射率信息通道的均值和方差，利用各通道的均值和方差对正常图像和异常图像的各通道进行归一化处理，提取正常图像的归一化结果为样本图像，正常图像的归一化结果和异常图像的归一化结果为测试图像。

内容信息反映的是场景图像呈现的场景语义信息，光强信息和点光源入射率信息反映的是场景图像呈现的光照信息。该光照信息包括光强信息和点光源入射率。点光源入射率表示的是点光源的入射光与空间中一点的法向量形成的夹角的cosθ信息。

实施例中，可以根据各通道的均值μ和方差σ对正常图像和异常图像的各通道进行z-score归一化处理。

S102，构建图像检测模型。

实施例中，图像检测模型主要用于对提取图像的内容信息，为了防止光照信息对内容信息的干扰，根据生成对抗网络构建了一个训练体系，该训练体系的训练过程对网络参数进行不断优化，进而能够使图像检测模型在提取内容信息时滤除掉光照信息的干扰，

其中，训练体系包括编码器、解码器和判别器，编码器和解码器组成是生成器，用于根据输入的样本图像生成重构图像，判别器用于判别输入的样本图像和重构图像的真伪。

具体地，在所述训练体系中，以任意两张样本图像相同对应位置的区块图像作为编码器和判别器的输入；

所述编码器用于从输入的两个区块图像中提取第一内容信息和第二内容信息、第一光强信息和第二光强信息，第一点光源入射率信息和第二点光源入射率信息；

所述解码器用于根据第一内容信息、第一光强信息和第一点光源入射率信息生成第一重构图像，根据第二内容信息、第二光强信息和第二点光源入射率信息生成第二重构图像，根据第一内容信息、第二光强信息和第二点光源入射率信息生成第一光照迁移图像，根据第二内容信息、第一光强信息和第一点光源入射率信息生成第二光照迁移图像，其中，第一重构图像、第二重构图像、第一光照迁移图像、第二光照迁移图像统称为重构图像；

所述判别器用于判别输入的两个区块图像、第一光照迁移图像和第二光照迁移图像的真伪。

为实现对图像的内容信息和光照信息进行提取，编码器包含三条支路，分别对应提取图像的内容信息、光强信息和点光源入射率信息；

其中，用于提取光强信息的第一支路包括特征提取模块、残差网络模块、全局池化层、卷积层；

用于提取内容信息的第二支路包括特征提取模块、残差网络模块；

用于提取点光源入射率信息的第三支路包括特征提取模块、残差网络模块、卷积层；

所述特征提取模块包括卷积层、实例正则化层、激活层。

所述解码器包括第一特征提取模块、残差网络模块、第二特征提取模块、第三特征提取模块；

所述第一特征提取模块和第三特征提取模块均包括卷积层、实例正则化层、激活层，且第一特征提取模块和第三特征提取模块的实例正则化层的计算过程不同，激活层采用的激活函数不同；

所述第二特征提取模块包括上采样层、卷积层、实例正则化层、激活层；

所述判别器包括多个特征提取单元和全连接层，每个特征提取单元包括卷积层和激活层。

图3～图5示例性地给出了编码器、解码器以及判别器的具体结构示意图。

针对编码器，包括三个支路，三个支路均包括依次连接的三个特征提取模块、残差网络模块ResidualBlock_1、残差网络模块ResidualBlock_3、残差网络模块ResidualBlock_3；每个特征提取模块包括卷积层、实例正则化层IN、激活层Relu；不同的是，用于提取光强信息i的第一支路在残差网络模块ResidualBlock_3之后还连接有全局池化层GlobalPooling、卷积层Conv4；用于提取点光源入射率信息α的第三支路在残差网络模块ResidualBlock_3之后还连接有卷积层Conv5。

针对解码器，包括依次连接的两个第一特征提取模块、残差网络模块ResidualBlock_1、残差网络模块ResidualBlock_3、残差网络模块ResidualBlock_3、两个第二特征提取模块、第三特征提取模块；每个第一特征提取模块包括卷积层、修改的实例正则化层Illumination IN、激活层Leaky Relu；第一个第一特征提取模块的卷积层Conv1的输入为内容信息k_d、光强信息i和点光源入射率信息α，第二个第一特征提取模块的卷积层Conv1的输入为第一个第一特征提取模块的输出、光强信息i和点光源入射率信息α，第二特征提取模块包括上采样层Upsample、卷积层、实例正则化层IN、激活层Leaky Relu；第三特征提取模块包括卷积层、实例正则化层IN、激活层Tanh。

针对判别器，包括依次连接的7个特征提取单元和全连接层FC、分类评定单元，每个特征提取单元包括卷积层和激活层Leaky Relu，分类评定单元采用Logit模型。

其中，实例正则化层IN采用Adaptive Instance Normalization(AdaIN)。AdaIN是在原始的Instance Normalization的基础上，重新设定了映射参数,详见文献《ArbitraryStyle Transfer in Real-time with Adaptive Instance Normalization》。

考虑到AdaIN仅仅考虑的是全局的光强信息，而并未针对空间中各点的点光源入射率进行考虑，因此在解码器中提出并使用修改的实例正则化层Illumination IN，其实现表达式为：

其中，

则表示在第k通道，空间坐标为i,j的归一化内容特征值，而

则是由Instance Normalization计算得到的：

而

α_ij分别表示环境光在第k通道的光强、在第k通道的点光源光强以及点光源在该空间位置为i,j的入射率；x_ijk为在第k通道，空间坐标为i,j的内容特征值，μ_k、

为大小为H*W的内容特征图的均值和方差，为了在归一化的过程之中避免方差为0的情况下，除数为0，因此增加一个小的误差项∈，通常取值为10^-5。对于内容特征图做归一化是为了进一步地提纯输入图像内的信息，提高迁移的质量。10^-5

在构建好训练体系的基础上，构建训练体系的损失，利用该损失对训练体系进行参数优化，确保编码器能够准确提取内容信息、光强信息以及点光源入射率信息，确保解码器能够利用提供的内容信息、光强信息以及点光源入射率信息生成尽可能真实的重构图像，确保判别器能够准确判断输入图像是否为真实图像，提取参数确定的编码器作为图像检测模型。

其中，所述训练体系的损失L为：

L＝ωL₁+βL₂+σL₃+δL₄；

其中，ω、β、σ、δ为权重系数，L₁、L₂、L₃、L₄分别为内容一致性损失、重构损失、对抗损失以及循环一致性损失；

内容一致性损失L₁为：

考虑到采集的固定场景，虽然在不同时间段相同位置受到的光照条件不同，但其内容信息基本一致，因此设定内容一致性损失L₁来确保提取的内容信息基本一致，但容许孤立点存在。

重构损失L₂为：

重构损失L₂用于确保编码器和解码器可以将输入的图像还原。

对抗损失L₃为：

利用对抗损失L₃一方面可以促使编码器与解码器不断生成足以迷惑判别器的光照迁移图像，另一方面则不断提高判别器自身识别输入图像是否为真实图像的准确率。通过不断优化，从而使编码器、解码器以及判别器的能力不断提高以致收敛。

循环一致性损失L₄为：

利用循环一致性损失L₄可以确保编码器和解码器不会通过记忆部分训练集图像的方式而欺骗判别器，从而缓解了坍塌的现象。

上述损失中，E表示编码器，C表示解码器，D表示解码器，

分别表示区块图像X和区块图像Y通过编码器提取的内容信息，I^X,I^Y分别为区块图像X和区块图像Y通过编码器提取的光强信息，α^X,α^Y分别为区块图像X和区块图像Y通过编码器提取的点光源入射率信息；

分别表示解码器根据区块图像X和区块图像Y生成的第一重构图像和第二重构图像；l_X,l_Y,

分别表示区块图像X、区块图像Y、第一光照迁移图像

第二光照迁移图像

通过判别器D得到的得分值；

分别表示

通过编码器提取的内容信息、光强信息、点光源入射率信息。

S103，利用图像检测模型从样本图像中筛选得到锚定图像组。

本实施例中，利用图像检测模型从样本图像中筛选得到锚定图像包括：

利用图像检测模型获得所有样本图像的内容信息；

筛选K张样本图像为初始锚定图像组，每个初始锚定图像与其余样本图像组成一个簇；

以簇中的每个样本图像作为中心样本图像时，根据内容信息计算其余样本图像与该中心样本图像的距离，选择其余样本图像到该中心样本点距离之和最小的中心样本图像作为锚定图像，组成锚定图像组。

实施例中，采用编码器提取的内容信息衡量两张图像(X,Y)的差异，即

作为距离度量。在对测试图像进行异常值检测时，以测试图像与锚定图像组中的所有锚定图像关于内容信息的距离之和为测试图像与锚定图像组的距离；

采用测设图像的内容信息和锚定图像的内容信息之间的二范数作为测设图像与锚定图像关于内容信息的距离。

S104，根据锚定图像组和图像检测模型对测试图像进行异常值测试，获得异常测试结果。

实施例中，根据锚定图像组和图像检测模型对测试图像进行异常值测试包括：

将测试图像输入至图像检测模型中，得到测试图像的内容信息；

根据测设图像的内容信息和锚定图像的内容信息计算测试图像与锚定图像组关于内容信息的最小距离，当该最小距离大于距离阈值时，则认为该检测图像为异常图像。

具体地，根据异常度量准则计算测设图像的内容信息与所有锚定图像的内容信息的二范数距离，并选择所有二范数距离中的最小二范数距离与距离阈值进行判断，来筛选异常图像。

实施例中，距离阈值通过以下方式获得：

计算所有样本图像的内容信息与锚定图像组的内容信息之间的距离，对所有距离进行大到下排序，选择距离最大距离5％处的距离值为距离阈值。假设有100个距离值进行大到下排序，则选择排在第5为的第五大的距离值作为距离阈值。

上述定时定点场景异常检测方法通过定时定点采集场景图像，功耗低，基于生成式对抗网络构建的图像检测模型可以避免在室外环境下由光影变化对检测的干扰，提升了的图像检测模型的检测精度，利用该图像检测模型自动进行场景异常值检测，提升了场景异常检测准确性，同时还可以通过更换锚定图像组的图像样本，从而灵活地适应固定场景产生的永久变化。此外，该定时定点场景异常检测方法全自动检测，克服了依赖人力、工作环境严苛的局限性。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种定时定点场景异常检测方法，其特征在于，包括以下步骤：

步骤1、采用无线图像传感器定时定点采集场景图像，并对场景图像进行预处理，获得样本图像和测试图像；

步骤2、构建图像检测模型，该图像检测模型通过基于生成对抗网络构建的训练体系训练获得，所述训练体系包括编码器、解码器和判别器，编码器和解码器组成是生成器，用于根据输入的样本图像生成重构图像，判别器用于判别输入的样本图像和重构图像的真伪；训练时，以内容一致性损失、重构损失、对抗损失以及循环一致性损失之和作为训练体系的损失，对训练体系进行参数优化，提取参数确定的编码器作为图像检测模型；

步骤3、利用图像检测模型从样本图像中筛选得到锚定图像组；

步骤4、根据锚定图像组和图像检测模型对测试图像进行异常值测试，获得异常测试结果。

2.如权利要求1所述的定时定点场景异常检测方法，其特征在于，所述对场景图像进行预处理包括：

对场景图像的每个像素进行异常像素标注，筛选异常像素占比超过占比阈值的场景图像为异常图像，其余为正常图像；

计算正常图像关于内容信息通道、光强信息通道和点光源入射率信息通道的均值和方差，利用各通道的均值和方差对正常图像和异常图像的各通道进行归一化处理，提取正常图像的归一化结果为样本图像，正常图像的归一化结果和异常图像的归一化结果为测试图像。

3.如权利要求1所述的定时定点场景异常检测方法，其特征在于，所述训练体系中，以任意两张样本图像相同对应位置的区块图像作为编码器和判别器的输入；

所述编码器用于从输入的两个区块图像中提取第一内容信息和第二内容信息、第一光强信息和第二光强信息，第一点光源入射率信息和第二点光源入射率信息；

所述解码器用于根据第一内容信息、第一光强信息和第一点光源入射率信息生成第一重构图像，根据第二内容信息、第二光强信息和第二点光源入射率信息生成第二重构图像，根据第一内容信息、第二光强信息和第二点光源入射率信息生成第一光照迁移图像，根据第二内容信息、第一光强信息和第一点光源入射率信息生成第二光照迁移图像，其中，第一重构图像、第二重构图像、第一光照迁移图像、第二光照迁移图像统称为重构图像；

所述判别器用于判别输入的两个区块图像、第一光照迁移图像和第二光照迁移图像的真伪。

4.如权利要求2或3所述的定时定点场景异常检测方法，其特征在于，所述编码器包含三条支路，分别对应提取图像的内容信息、光强信息和点光源入射率信息；

其中，用于提取光强信息的第一支路包括特征提取模块、残差网络模块、全局池化层、卷积层；

用于提取内容信息的第二支路包括特征提取模块、残差网络模块；

用于提取点光源入射率信息的第三支路包括特征提取模块、残差网络模块、卷积层；

所述特征提取模块包括卷积层、实例正则化层、激活层。

5.如权利要求2或4所述的定时定点场景异常检测方法，其特征在于，所述解码器包括第一特征提取模块、残差网络模块、第二特征提取模块、第三特征提取模块；

所述第一特征提取模块和第三特征提取模块均包括卷积层、实例正则化层、激活层，且第一特征提取模块和第三特征提取模块的实例正则化层的计算过程不同，激活层采用的激活函数不同；

所述第二特征提取模块包括上采样层、卷积层、实例正则化层、激活层；

所述判别器包括多个特征提取单元和全连接层，每个特征提取单元包括卷积层和激活层。

6.如权利要求1所述的定时定点场景异常检测方法，其特征在于，所述训练体系的损失L为：

L＝ωL₁+βL₂+σL₃+δL₄；

其中，ω、β、σ、δ为权重系数，L₁、L₂、L₃、L₄分别为内容一致性损失、重构损失、对抗损失以及循环一致性损失；

内容一致性损失L₁为：

重构损失L₂为：

对抗损失L₃为：

循环一致性损失L₄为：

其中，E表示编码器，C表示解码器，D表示解码器，

分别表示区块图像X和区块图像Y通过编码器提取的内容信息，I^X,I^Y分别为区块图像X和区块图像Y通过编码器提取的光强信息，α^X,α^Y分别为区块图像X和区块图像Y通过编码器提取的点光源入射率信息；

分别表示解码器根据区块图像X和区块图像Y生成的第一重构图像和第二重构图像；

分别表示区块图像X、区块图像Y、第一光照迁移图像

第二光照迁移图像

通过判别器D得到的得分值；

分别表示

通过编码器提取的内容信息、光强信息、点光源入射率信息。

7.如权利要求1所述的定时定点场景异常检测方法，其特征在于，所述利用图像检测模型从样本图像中筛选得到锚定图像包括：

利用图像检测模型获得所有样本图像的内容信息；

筛选K张样本图像为初始锚定图像组，每个初始锚定图像与其余样本图像组成一个簇；

以簇中的每个样本图像作为中心样本图像时，根据内容信息计算其余样本图像与该中心样本图像的距离，选择其余样本图像到该中心样本点距离之和最小的中心样本图像作为锚定图像，组成锚定图像组。

8.如权利要求1所述的定时定点场景异常检测方法，其特征在于，所述根据锚定图像组和图像检测模型对测试图像进行异常值测试包括：

将测试图像输入至图像检测模型中，得到测试图像的内容信息；

根据测设图像的内容信息和锚定图像的内容信息计算测试图像与锚定图像组关于内容信息的最小距离，当该最小距离大于距离阈值时，则认为该检测图像为异常图像。

9.如权利要求8所述的定时定点场景异常检测方法，其特征在于，所述距离阈值通过以下方式获得：

计算所有样本图像的内容信息与锚定图像组的内容信息之间的距离，对所有距离进行大到下排序，选择距离最大距离5％处的距离值为距离阈值。

10.如权利要求8或9所述的定时定点场景异常检测方法，其特征在于，在对测试图像进行异常值检测时，以测试图像与锚定图像组中的所有锚定图像关于内容信息的距离之和为测试图像与锚定图像组的距离；

采用测设图像的内容信息和锚定图像的内容信息之间的二范数作为测设图像与锚定图像关于内容信息的距离。

Images