CN114298948A - 基于PSPNet-RCNN的球机监控异常检测方法 - Google Patents

Abstract

本发明公开了一种基于PSPNet‑RCNN的球机监控异常检测方法，具体为：采集同位置多时段曝光图像融合生成HDR图像，然后与原始位置图像进行SIFT特征配准，得到配准HDR图像并进行增强处理；将PSPNet网络金字塔池化模块的空洞卷积的空洞率增大，并对PSPNet增加编解码卷积神经网络分支，再将特征提取模块的入口增加残差卷积网络，用于双图像的输入，得到改进多尺度PSPNet网络，将其与提取HDR图像中目标信息的Mask R‑CNN网络相融合，得到PSPNet‑RCNN图像异常检测网络，用于提取图像异常区域。本发明提升了球机监控异常检测方法的通用性与准确性，并加强了检测结果的实时性与鲁棒性。

Description

基于PSPNet-RCNN的球机监控异常检测方法

技术领域

本发明涉及图像异常检测领域，具体为一种基于PSPNet-RCNN的球机监控异常检测方法。

背景技术

球机摄像头(PTZ Dome)作为监控领域的重要设备，一直被广泛应用于各种需要动态监视的开阔场景中，其具有控制方式灵活、运转速度快、变焦定位精准等特点，已经在电力、水务、工业、教育等行业具备了良好的使用表现。随着监控行业的网络化、数字化、高清化程度的不断增强与发展，PTZ监控器相配套软件系统的产品研发的投入与推广市场的开拓也迈入了一个崭新的台阶。

通过监控设备检测被监控场景异常以达到预警效果是监控行为的重要目的，为实现此目的，在未引入计算机相关技术前，一直由人工进行监控的判断与记录，但这种方式受限于人工的工作时间与精力，有可能因为监控人员长时间的注意力高度集中而无法持续进行大面积监控和精神疲累导致的误检与漏检的问题。在引入计算机自动检测技术后，传统监控图像处理的检测方法利用并分析连续采集的监控视频流中图像帧在一定时间内的像素概率密度与模式数量等统计信息表示背景，再对检测目标图像使用统计差分或者特征概率等进行前景目标与背景图像的区分，以此实现监控图像异常检测的目的，这种研究方向通过统计概率或者时间序列等对图像进行背景模型的建立，实现对前背景像素的二分类的判断，具有实时性高、目标检出率高、目标检测距离远等优势，但同时对图像采集的场景要求较高，需要在摄像头固定并且具有连续采集能力的条件下才可以具有相对良好的表现，此外对于环境因素或者成像条件的变化，例如光照，震动，曝光等也对此方法精度有较大的影响。

球机摄像头具有监控范围广，镜头随巡检需求不定点拍摄，动态曝光，检测间隔时间长等特点，但是无法直接使用传统算法进行图像变化与差异的实时分析。

发明内容

本发明的目的在于提供一种基于PSPNet-RCNN的球机监控异常检测方法，从而提升球机监控异常检测方法的通用性与准确性，加强检测结果的实时性与鲁棒性。

实现本发明目的的技术解决方案为：一种基于PSPNet-RCNN的球机监控异常检测方法，包括步骤如下：

步骤1：通过PTZ摄像头采集同位置多时段曝光图像，根据不同曝光强度的图像融合生成HDR图像；

步骤2：对HDR图像与原始位置图像进行SIFT特征配准，匹配对应位置的图像特征点，得到配准HDR图像；

步骤3：对配准HDR图像进行预处理，增强图像对比度、锐度、饱和度与亮度，得到增强后的配准HDR图像；

步骤4：将PSPNet网络金字塔池化模块的空洞卷积的空洞率增大，并对PSPNet增加编解码卷积神经网络分支，再将特征提取模块的入口增加残差卷积网络，用于双图像的输入，最终得到改进多尺度PSPNet网络；

步骤5：将改进多尺度PSPNet网络与提取HDR图像中目标信息的Mask R-CNN网络相融合，得到PSPNet-RCNN图像异常检测网络，再通过此网络对图像预测，提取对应的图像异常区域。

本发明与现有技术相比，其显著优点为：(1)能够更加准确的检测出异常区域，算法通过封闭目标分割与不同时段曝光较为准确的计算出HDR图像，再使用基于边缘特征的图像配准算法，提高了图像特征点匹配的精度，最后采用多尺度网络融合，结合改进多尺度PSPNet网络与目标检测Mask R-CNN网络，提高了异常检测质量，具有很高的准确度；(2)具有更高的稳定性，通过算法间的迭代预处理，将图像采集到最终结果输出的流程进行全面覆盖测试，考虑到成像与图像处理的不同因素影响，在动态PTZ移动采集与恶劣天气环境下依旧具备较为良好的鲁棒性和异常处理能力；(3)算法设计流程充分考虑到对象回收与图像内存调优等场景，优化神经网络算法时间复杂度与空间复杂度适应监控器硬件应用环境，能够在实际场景使用中到达实时分析效果。

附图说明

图1是基于HDR图像改进的多尺度PSPNet网络图。

图2是基于PSPNet-RCNN的球机监控异常检测网络图。

图3是本发明检测结果与现有技术检测结果的比较图。

具体实施方式

PSPNet(Pyramid Scene Parsing Network)金字塔场景解析网络能够通过空洞卷积与全局均值池化操作增大分隔层感受野，使网络训练过程中引入更多的上下文信息，在图像分割结果更能兼顾全局信息，有效降低了误分割概率，PSPNet通过金字塔池化的方式充分抓取全文上下文先验知识，缓解了对象关系错误匹配，目标种类混淆，大目标分割不连续等问题，在基于场景解析领域中具有良好的表现效果。Mask R-CNN具有速度快、准确率高、简单易用等特点，是在经典的检测算法Fast R-CNN通过RPN网络融合改进而来，在图像目标检测中具有较强的适用性与泛化能力。本发明针对球机摄像头的实际应用场景与现有技术上的不足和缺陷，提出了一种基于PSPNet-RCNN的球机监控异常检测方法。

结合图1～图2，基于PSPNet-RCNN的球机监控异常检测方法具体过程为：

一种基于PSPNet-RCNN的球机监控异常检测方法。包括步骤如下：

步骤1：通过PTZ摄像头采集同位置多时段曝光图像，根据不同曝光强度的图像融合生成HDR图像；

步骤2：对HDR图像与原始位置图像进行SIFT特征配准，匹配对应位置的图像特征点，得到配准HDR图像；

步骤3：对配准HDR图像进行预处理，增强图像对比度、锐度、饱和度与亮度，得到增强后的配准HDR图像；

步骤4：将PSPNet网络金字塔池化模块的空洞卷积的空洞率增大，并对PSPNet增加编解码卷积神经网络分支，再将特征提取模块的入口增加残差卷积网络，用于双图像的输入，最终得到改进多尺度PSPNet网络；

步骤5：将改进多尺度PSPNet网络与提取HDR图像中目标信息的Mask R-CNN网络相融合，得到PSPNet-RCNN图像异常检测网络，再通过此网络对图像预测，提取对应的图像异常区域。

进一步地，步骤1所述通过PTZ摄像头采集同位置多时段曝光图像，根据不同曝光强度的图像融合生成HDR图像，具体步骤如下：

1.1)定义场景辐照强度与图像像素的函数关系为f，E表示像素值Z的场景辐照强度，其中Z_ij表示第j张图像的第i个像素点的像素值，Δt_j表示第j张图像的曝光时间，则有关系表达式：

Z_ij＝f(E_iΔt_j)

对上述关系表达式f取反，有：

f^-1(Z_ij)＝E_iΔt_j

1.2)定义函数g为像素Z的特征向量，根据特征向量与场景辐照强度的关系有：

g(Z_ij)＝lnf^-1(Z_ij)＝lnE_i+lnΔt_j

RGB图像的像素取值范围为0-255，所以非线性彩色图像共有256种像素值，即特征向量g是256维且平滑的，其中E_i为像素点i的辐照强度，固定场景中多次采集图像的场景光照幅值不变，可以得出辐照强度的累计误差平方w为：

其中N是选取的像素点的个数，P代表图像数量，i代表第i个像素点，初始值为0，j代表第j张图像，初始值为1。

1.3)根据误差表达式，实际特征向量g的求解可转化为了最小二乘问题，通过加权将多张RGB图像融合成HDR图像，若RGB图像的数量为k，每张RGB图像以P表示，则融合的HDR图像I加权公式为：

其中w为辐照强度的累计误差平方，i从0开始累加，P_i表示第i张图像，t_i表示第i张图像的曝光时间，根据加权公式融合生成HDR图像。

进一步地，步骤2所述对HDR图像与原始位置图像进行SIFT特征配准，匹配对应位置的图像特征点，提升图像像素匹配的准确性，得到配准HDR图像，具体步骤如下：

2.1)计算每个HDR区域图像的中心点像素与邻域像素LBP算子值，以各区域进行3×3大小的窗口m滑动，其中心点像素坐标为m_c，邻域的8个点像素坐标分别分别为m₀,m₁,...,m₇，则纹理特征T的表达式为：

T≈(m₀-m_c,m₁-m_c,...,m₇-m_c)

以像素矩阵的中心点的像素值作为阈值，以实现对中心周围邻域的像素阈值标准化操作，当邻域灰度值大于中心像素值则设置为1，反之设置为0，其中m为中心点m_c的像素值，则像素阈值x的实际数值s(x)的表达式为：

2.2)对每个像素分配对应的权值，将编码的二进制值转换为十进制用于替代中心点阈值，p表示对应位置的像素值，邻域像素共8个位置，p_i,p_c分别表示第i个位置与中心位置的像素值，转换为十进制的LBP纹理特征表达式为：

2.3)对纹理图像f_LBP(x)与原图像f(x)按照2:8的比例进行融合，融合后的图像G(x)公式为：

G(x)＝0.8f(x)+0.2f_LBP(x)

2.4)采用高斯差分函数进行尺度归一化，使用DoG算子增强特征检测的稳定性，采用高斯滤波器进行平滑计算，其尺度归一化公式为：

其中σ为高斯核标准差，

表示高斯滤波器，G为融合后的图像，x,y分别为各个图像的横纵像素坐标，I'为输入图像，I为输出尺度归一化图像。

2.5)最后通过双剔除机制，去除误匹配的特征点，即去除特征距离大于阈值k的特征点，增加匹配的精度，阈值k数学表达式为：

其中p表示特征点的像素距离，t表示特征点的灰度距离，映射匹配的特征点并生成HDR特征匹配图。

进一步地，步骤3所述对配准HDR图像进行预处理，增强图像对比度、锐度、饱和度与亮度，丰富图像特征信息，得到增强后的配准HDR图像，具体步骤如下：

3.1)计算图像像素均值，读入并统计图像中的全部n个像素值，以i为1的第一个像素累加全部像素计算平均值，像素均值

计算公式如下：

3.2)对平均像素值较高的图像区域通过直方图均衡化增强并去除相应噪点，u代表相应的直方图通道值，P为直方图通道总数，第u个直方图分布为H_P(u)，u从0开始累加，D为图像，L为灰度级深度，则均衡化后的图像f(D)计算公式为：

3.3)将HDR图像不同区域代入到均方误差与峰值信噪比公式中，计算图像的增强因子a与偏置因子b，并将计算得到的因子代入到以下增强公式：

G'(x,y)＝a*G(x,y)+b

其中G'表示输出的增强图像，G表示输入图像，x,y分别为各个图像的横纵像素坐标，得到归一化后增强配准HDR图像。

进一步地，步骤4所述将PSPNet网络金字塔池化模块的空洞卷积的空洞率增大，并对PSPNet增加编解码卷积神经网络分支，提升场景分割能力，再将特征提取模块的入口增加残差卷积网络，用于双图像的输入，最终得到改进多尺度PSPNet网络，具体步骤如下：

4.1)将PSPNet金字塔池化模块空洞卷积的空洞率由(1,2,3,6)增加到(1,6,12,18)，扩张网络的感受野，增加对于图像全局信息的提取能力，相应的特征图大小也下采样至原图像的1/8，保证网络数据维度的统一。

4.2)扩张空洞率后，对图像特征提取网络增加编码器与解码器网络分支，通过降采样与上采样的方式加强图像整体轮廓特征的提取能力，该网络分支采用两层的3×3卷积核进行特征提取，增加网络特征尺度，拓宽数据提取的维度范围。

4.3)增加编解码器后，将网络的卷积入口增加残差网络分支，分别用于原图像与增强配准HDR图像的双图像特征提取，对双图像池化得到的特征图进行融合上采样，以增加图像的细节信息，通过三个步骤的网络构建即得到了改进多尺度PSPNet网络。

进一步地，步骤5所述将改进多尺度PSPNet网络与可以提取HDR图像中目标信息的Mask R-CNN网络相融合，得到PSPNet-RCNN图像异常检测网络，再通过此网络对图像预测，提取对应的图像异常区域，具体步骤如下：

5.1)将Mask R-CNN网络的特征提取网络增加改进多尺度PSPNet网络分支，输入图像通过双端网络同时进行卷积运算，最终双端网络对(480,360,3)的图像降采样到相同的尺寸大小为(60,45,3)。

5.2)将双端网络的输出层使用全连接层进行融合，即通过480×360×2×2的卷积层对双端网络的输出特征图进行卷积，再通过Softmax层计算不同像素分到相应类别的概率，保证全部分类概率之和为1，则Mask R-CNN网络与改进多尺度PSPNet网络融合为PSPNet-RCNN图像异常检测网络。

5.3)将PTZ监控器采集的图像与转换后增强配准HDR图像同时输入到PSPNet-RCNN图像异常检测网络模型中，通过融合网络具有的场景与目标分割能力，判断不同目标在相应场景下的状态，提取异常区域，进而完成监控图像异常检测。

下面结合附图及具体实施例对本发明做进一步详细说明。

实施例

本实施例基于PTZ数据集，该数据集具有异常检测算法Vibe，混合高斯背景建模算法GMM，主成分分析算法PCA三种具有不同原理特性的监控异常检测的结果作为案例分析的实例，其中Vibe算法通过空间传播机制将背景像素插入到邻域像素的模型样本库中，当找到至少两个相近样本即完成检测结果的划分；GMM算法通过多个高斯分布函数的线性组合估计检测概率；PCA使用统计分析的方式估算图像异常的分布。

将本发明检测结果与其他三种不同算法结果比较，其结果如图3，对各组检测结果进行量化分析，统计案例中多组检测结果的峰值信噪比(PSNR)，结构相似性(SSIM)，交并比(IoU)与运行时间，将案例中的方法在相同硬件环境下执行，其结果如表1：

表1

综上可知，本发明能够更加准确的检测出异常区域，算法通过封闭目标分割与不同时段曝光较为准确的计算出HDR图像，再使用基于边缘特征的图像配准算法，提高了图像特征点匹配的精度，最后采用多尺度网络融合，结合改进多尺度PSPNet网络与目标检测Mask R-CNN网络，提高了异常检测质量，具有很高的准确度。通过算法间的迭代预处理，将图像采集到最终结果输出的流程进行全面覆盖测试，考虑到成像与图像处理的不同因素影响，在动态PTZ移动采集与恶劣天气环境下依旧具备较为良好的鲁棒性和异常处理能力。本发明算法设计流程充分考虑到对象回收与图像内存调优等场景，优化神经网络算法时间复杂度与空间复杂度适应监控器硬件应用环境，能够在实际场景使用中到达实时分析效果。

Claims (6)

1.一种基于PSPNet-RCNN的球机监控异常检测方法，其特征在于，包括步骤如下：

步骤1：通过PTZ摄像头采集同位置多时段曝光图像，根据不同曝光强度的图像融合生成HDR图像；

步骤2：对HDR图像与原始位置图像进行SIFT特征配准，匹配对应位置的图像特征点，得到配准HDR图像；

步骤3：对配准HDR图像进行预处理，增强图像对比度、锐度、饱和度与亮度，得到增强后的配准HDR图像；

步骤4：将PSPNet网络金字塔池化模块的空洞卷积的空洞率增大，并对PSPNet增加编解码卷积神经网络分支，再将特征提取模块的入口增加残差卷积网络，用于双图像的输入，最终得到改进多尺度PSPNet网络；

步骤5：将改进多尺度PSPNet网络与提取HDR图像中目标信息的Mask R-CNN网络相融合，得到PSPNet-RCNN图像异常检测网络，再通过此网络对图像预测，提取对应的图像异常区域。

2.根据权利要求1所述的基于PSPNet-RCNN的球机监控异常检测方法，其特征在于，步骤1所述通过PTZ摄像头采集同位置多时段曝光图像，根据不同曝光强度的图像融合生成HDR图像，具体步骤如下：

1.1)定义场景辐照强度与图像像素的函数关系为f，E表示像素值Z的场景辐照强度，其中Z_ij表示第j张图像的第i个像素点的像素值，Δt_j表示第j张图像的曝光时间，则有关系表达式：

Z_ij＝f(E_iΔt_j)

对上述关系表达式f取反，有：

f^-1(Z_ij)＝E_iΔt_j

1.2)定义函数g为像素Z的特征向量，根据特征向量与场景辐照强度的关系有：

g(Z_ij)＝ln f^-1(Z_ij)＝ln E_i+ln Δt_j

RGB图像的像素取值范围为0-255，所以非线性彩色图像共有256种像素值，即特征向量g是256维且平滑的，其中E_i为像素点i的辐照强度，固定场景中多次采集图像的场景光照幅值不变，得出辐照强度的累计误差平方w为：

其中N是选取的像素点的个数，P代表图像数量，i代表第i个像素点，初始值为0，j代表第j张图像，初始值为1；

1.3)根据误差表达式，实际特征向量g的求解转化为最小二乘问题，通过加权将多张RGB图像融合成HDR图像，若RGB图像的数量为k，每张RGB图像以P表示，则融合的HDR图像I加权公式为：

其中w为辐照强度的累计误差平方，i从0开始累加，P_i表示第i张图像，t_i表示第i张图像的曝光时间，根据加权公式融合生成HDR图像。

3.根据权利要求1所述的基于PSPNet-RCNN的球机监控异常检测方法，其特征在于，步骤2所述对HDR图像与原始位置图像进行SIFT特征配准，匹配对应位置的图像特征点，得到配准HDR图像，具体步骤如下：

2.1)计算每个HDR区域图像的中心点像素与邻域像素LBP算子值，以各区域进行3×3大小的窗口m滑动，其中心点像素坐标为m_c，邻域的8个点像素坐标分别分别为m₀,m₁,...,m₇，则纹理特征T的表达式为：

T≈(m₀-m_c,m₁-m_c,...,m₇-m_c)

以像素矩阵的中心点的像素值作为阈值，以实现对中心周围邻域的像素阈值标准化操作，当邻域灰度值大于中心像素值则设置为1，反之设置为0，其中m为中心点m_c的像素值，则像素阈值x的实际数值s(x)的表达式为：

2.2)对每个像素分配对应的权值，将编码的二进制值转换为十进制用于替代中心点阈值，p表示对应位置的像素值，邻域像素共8个位置，p_i,p_c分别表示第i个位置与中心位置的像素值，转换为十进制的LBP纹理特征表达式为：

2.3)对纹理图像f_LBP(x)与原图像f(x)按照2:8的比例进行融合，融合后的图像G(x)公式为：

G(x)＝0.8f(x)+0.2f_LBP(x)

2.4)采用高斯差分函数进行尺度归一化，使用DoG算子增强特征检测的稳定性，采用高斯滤波器进行平滑计算，尺度归一化公式为：

其中σ为高斯核标准差，

表示高斯滤波器，G为融合后的图像，x,y分别为各个图像的横纵像素坐标，I'为输入图像，I为输出尺度归一化图像；

2.5)最后通过双剔除机制，去除误匹配的特征点，即去除特征距离大于阈值k的特征点，阈值k数学表达式为：

其中p表示特征点的像素距离，t表示特征点的灰度距离，映射匹配的特征点并生成HDR特征匹配图。

4.根据权利要求1所述的基于PSPNet-RCNN的球机监控异常检测方法，其特征在于，步骤3所述对配准HDR图像进行预处理，增强图像对比度、锐度、饱和度与亮度，得到增强后的配准HDR图像，具体步骤如下：

3.1)计算图像像素均值，读入并统计图像中的全部n个像素值，以i为1的第一个像素累加全部像素计算平均值，像素均值

计算公式如下：

3.2)对平均像素值较高的图像区域通过直方图均衡化增强并去除相应噪点，u代表相应的直方图通道值，P为直方图通道总数，第u个直方图分布为H_P(u)，u从0开始累加，D为图像，L为灰度级深度，则均衡化后的图像f(D)计算公式为：

3.3)将HDR图像不同区域代入到均方误差与峰值信噪比公式中，计算图像的增强因子a与偏置因子b，并将计算得到的因子代入到以下增强公式：

G'(x,y)＝a*G(x,y)+b

其中G'表示输出的增强图像，G表示输入图像，x,y分别为各个图像的横纵像素坐标，得到归一化后增强配准HDR图像。

5.根据权利要求1所述的基于PSPNet-RCNN的球机监控异常检测方法，其特征在于，步骤4所述将PSPNet网络金字塔池化模块的空洞卷积的空洞率增大，并对PSPNet增加编解码卷积神经网络分支，再将特征提取模块的入口增加残差卷积网络，用于双图像的输入，最终得到改进多尺度PSPNet网络，具体步骤如下：

4.1)将PSPNet金字塔池化模块空洞卷积的空洞率由(1,2,3,6)增加到(1,6,12,18)，扩张网络的感受野，增加对于图像全局信息的提取能力，相应的特征图大小也下采样至原图像的1/8，保证网络数据维度的统一；

4.2)扩张空洞率后，对图像特征提取网络增加编码器与解码器网络分支，通过降采样与上采样的方式加强图像整体轮廓特征的提取能力，该网络分支采用两层的3×3卷积核进行特征提取，增加网络特征尺度，拓宽数据提取的维度范围；

4.3)增加编解码器后，将网络的卷积入口增加残差网络分支，分别用于原图像与增强配准HDR图像的双图像特征提取，对双图像池化得到的特征图进行融合上采样，以增加图像的细节信息，通过三个步骤的网络构建即得到了改进多尺度PSPNet网络。

6.根据权利要求1所述的基于PSPNet-RCNN的球机监控异常检测方法，其特征在于，步骤5所述将改进多尺度PSPNet网络与提取HDR图像中目标信息的Mask R-CNN网络相融合，得到PSPNet-RCNN图像异常检测网络，再通过此网络对图像预测，提取对应的图像异常区域，具体步骤如下：

5.1)将Mask R-CNN网络的特征提取网络增加改进多尺度PSPNet网络分支，输入图像通过双端网络同时进行卷积运算，最终双端网络对(480,360,3)的图像降采样到相同的尺寸大小为(60,45,3)；

5.2)将双端网络的输出层使用全连接层进行融合，即通过480×360×2×2的卷积层对双端网络的输出特征图进行卷积，再通过Softmax层计算不同像素分到相应类别的概率，保证全部分类概率之和为1，则Mask R-CNN网络与改进多尺度PSPNet网络融合为PSPNet-RCNN图像异常检测网络；

5.3)将PTZ监控器采集的图像与转换后增强配准HDR图像同时输入到PSPNet-RCNN图像异常检测网络模型中，通过融合网络具有的场景与目标分割能力，判断不同目标在相应场景下的状态，提取异常区域，进而完成监控图像异常检测。

Images