CN113177960A - 边缘支持背景建模的roi监控视频提取平台 - Google Patents

Abstract

本发明把主要应用场景定位于监控视频环境，提出边缘检测驱动背景建模的ROI提取平台，第一部分是基于边缘检测的ROI提取方法，第二部分是基于背景建模的ROI提取方法，鉴于边缘检测支持的ROI提取方法过分依赖于边缘信息，当目标边缘信息不足时容易造成漏检；而基于背景建模的ROI提取方法在光照变化或目标长时间静止时，不能构建准确的背景模型，容易把静止的目标误判为背景，造成误检和漏检，为弥补各自的不足，通过一种加权融合增强互补法，将两者无缝结合，能克服单个ROI提取方法的缺点，在光照变化、目标静止或边缘不明显等严苛条件下，该平台使得ROI提取的准确性得到进一步的提升，提取效率进一步提高，更符合实际应用需要。

Description

边缘支持背景建模的ROI监控视频提取平台

技术领域

本发明涉及一种ROI监控视频提取平台，特别涉及一种边缘支持背景建模的ROI监控视频提取平台，属于监控视频提取技术领域。

背景技术

兴趣目标区域ROI是指在观察视频图像时，最容易受到人眼视觉关注的区域，兴趣目标区域的提取处于整个视频图像处理系统的底层环节，广泛应用于视频监控、视频压缩、医疗图像系统、图像检索等多个领域，一直以来都是计算机视觉领域非常重要的研发和应用方向。

视频监控系统在交通、教育、金融、电信等诸多行业中广泛涉及，随着平安城市工程建设项目的不断推进，整个视频监控市场的规模越来愈大，监控视频的存储量非常大，需要的存储成本也是增长迅速。全球范围内各类监控视频参与案件的有效利用率处于较低水平，现有视频监控系统作用亟待加强。

目前视频监控系统仍然面临着许多挑战：视频数据太多导致存储成本加速增长；监控视频中查找目标不准确；即使摄像头记录了兴趣目标也无法提出警示，而兴趣目标区域的提取技术通常应用于视频压缩、目标跟踪、行人重识别等多种视频处理环节，能够有效的降低监控视频的存储量和提高目标检测的准确性，从而可提高视频监控系统的效率。

兴趣目标区域的提取是将视频图像中的对于人眼敏感程度较高的区域，尽量完整准确的提取出来。如果将兴趣目标区域代表的信息提供给视频图像处理的后续环节，可有效提高目标检测、目标识别、目标跟踪以及行为描述等更高层次图像处理的准确度。因此，针对视频图像的ROI提取技术，具有重要的理论研发价值和现实应用意义，但由于视频图像易受背景、光照、遮挡等环境因素的影响，ROI提取技术仍存在许多问题需要解决。

目前，通过在视频中提取图像的兴趣目标区域，能引起观察者感兴趣的目标或对象从背景中分割出来，降低图像处理的计算量，提高图像处理效率。将兴趣目标区域提取运用在各种生活应用中，兴趣目标区域提取最初是在机器人领域中提出来的，用来识别物体，即ROI。观察者在观看图像时，一般只注意自己感兴趣的区域，忽略非兴趣目标区域。现有技术兴趣目标区域的提取技术可以大致分为以下几类：

最初是用的人工指定的方法，让用户根据自己的兴趣和观察到的景象，手动标记视频图像中自己感兴趣的区域。这种方法虽然能够准确获取用户的兴趣目标区域和真正意图，但用户带着已有的先验知识和个人意识，不能广泛应用于大部分用户，而且标记过程需用户参与，交互过程复杂。基于注视点是一种模仿人类视觉系统的方法，首先通过眼球实验记录人眼在观察图像时眼球的运动轨迹及其它相关数据，训练出人眼数据和图像ROI关系模型，然后再辨别未知图像ROI过程中，通过人眼运动数据，预测视频图像中可能的ROI区域，但需要人工参与，离开了人，就无法完成整个ROI提取过程。

基于临界值分割的ROI提取方法是一类较简单的方法，核心是训练一个较鲁棒的二元分类器，能鲁棒的区分ROI区域和非ROI区域，根据临界值，这类方法又分为单临界值法和多临界值法，但临界值法对整张图像设置统一的临界值，对于图像中的虚假信号，不能很好的区分，多临界值法相对于单临界值法有更高的鲁棒性，但比较复杂，计算量高，速度慢。

基于运动信息的ROI提取方法是在背景不动的情况下，运动目标能吸引观察者的注意，成为图像中的ROI区域，这类方法的核心是提取视频序列中的运动目标，其缺点是只适用于背景不动的场景，而且如果目标的运动量不足时，也不能成为ROI。

基于视觉模型的ROI提取方法模拟人类视觉注意模型，构建图像视觉显著性表示方法，通过视觉显著性来区分图像中的ROI区域，实现ROI提取。从各个角度刻画视觉注意模型，从而产生各种视觉显著性计算方法，这类方法能够从不同的角度和程度模拟人类的视觉系统，通用性比较强，能较好的提取出与人眼实际观看到的图像相似的兴趣目标区域。

基于图像分割的ROI提取方法主要通过找出兴趣目标区域与非兴趣目标区域的连接点，来划分兴趣目标区域和非兴趣目标区域，通过图像中的拐点找出这些连接点，然后以此提取ROI，但由于拐点往往集中于纹理丰富的区域，在ROI区域内部也可能包含很多拐点，所以这种方法得到的ROI区域往往不够完整。

基于图像底层特征和高层语义的方法利用图像的底层特征和图像本身包含的内容提取兴趣目标区域，先验知识可以帮助人类提取图像中的高层语义特征，而高层语义特征往往由低层视觉特征的基础上生成，首先将观察者持有的自底向下信息转换成底层特征的不同权重值，然后结合自底向上视觉注意模型，提取出感兴趣的区域，但如果只利用图像底层特征而忽略高层语义来提取兴趣目标区域，会与人类主观评价存在一定的差异。

现有技术的ROI监控视频提取依然存在诸多不足，现有技术的难点和本发明解决的问题主要集中在以下方面：

第一，现有技术的视频监控系统面临着许多挑战：视频数据太多导致存储成本加速增长；监控视频中查找目标不准确；即使摄像头记录了兴趣目标也无法提出警示，兴趣目标区域的提取通常应用于视频压缩、目标跟踪、行人重识别等多种视频处理环节，能降低监控视频的存储量和提高目标检测的准确性，提高视频监控系统的效率，针对视频图像的ROI提取技术具有重要的研发价值和应用意义，但由于视频图像易受背景、光照、遮挡等环境因素的影响，ROI提取技术仍存在许多问题需要解决；

第二，现有技术兴趣目标区域的提取技术中，人工指定的方法虽然能够准确获取用户的兴趣目标区域和真正意图，但用户带着已有的先验知识和个人意识，不能广泛应用于大部分用户，而且标记过程需用户参与，交互过程复杂；基于注视点是一种模仿人类视觉系统的方法，通过人眼运动数据，预测视频图像中可能的ROI区域，但需要人工参与，离开了人，就无法完成整个ROI提取过程；基于临界值分割的ROI提取方法的单临界值法对整张图像设置统一的临界值，对于图像中的虚假信号，不能很好的区分，多临界值法相对于单临界值法有更高的鲁棒性，但比较复杂，计算量高，速度慢；

第三，现有技术基于运动信息的ROI提取方法只适用于背景不动的场景，而且如果目标的运动量不足时，也不能成为ROI；基于图像分割的ROI提取方法主要通过找出兴趣目标区域与非兴趣目标区域的连接点，但由于拐点往往集中于纹理丰富的区域，在ROI区域内部也可能包含很多拐点，所以这种方法得到的ROI区域往往不够完整；基于图像底层特征和高层语义的方法利用图像的底层特征和图像本身包含的内容提取兴趣目标区域，但只利用图像底层特征而忽略高层语义来提取兴趣目标区域，会与人类主观评价存在一定的差异；现有的兴趣目标区域提取方法对于实际场景中光照强度的突变、阴影造成的影响、目标的复杂性等还不够理想；

第四，现有技术基于图像分割的兴趣目标区域提取方法，要么通用性较强，分割精度却不够高；要么针对性太强，不能够适用于多种场景；在提取兴趣目标区域的过程中，经常会遇到以下问题：一是在场景中没用物体运动的情况下，容易得到背景图像，但在其它应用中可能无法满足这种要求，也就不能得到准确的背景图像；二是背景中物体存在微小晃动时容易被检测为前景；三是光照的影响；四是背景模型的更新率问题，过大或过小都会使得结果不理想；五是由光照产生的阴影，会被检测为兴趣目标区域，影响视频处理的后续过程，现有技术有的只能解决部分问题，有的试图通过一个非常复杂的模型来解决所有问题，导致计算量大，达不到实时要求。

第五，实际监控视频中的ROI可能是各种人物，人物外观和运动多种多样，单纯采用一种ROI提取方法，往往不能适应实际监控视频的复杂情况，如果目标边缘信息不足，采用边缘检测的方法提取兴趣目标区域容易出现漏检，或造成目标部分区域缺失，如果目标在画面中静止，特别是长时间静止，采用背景建模的方法提取兴趣目标区域容易被当成背景造成漏检。

发明内容

针对现有技术的不足，本发明提供一种边缘支持背景建模的ROI监控视频提取平台，兴趣目标区域的提取将视频图像中的对于人眼敏感程度较高的区域，完整准确的提取出来，有效提高目标检测、目标识别、目标跟踪以及行为描述等更高层次图像处理的准确度，成功解决视频图像的ROI提取中，视频图像易受背景、光照、遮挡等环境因素的影响的诸多问题，通过在视频中提取图像的兴趣目标区域，降低图像处理的计算量，提高图像处理效率，将兴趣目标区域提取运用在各种生活应用中，本发明能够鲁棒的应对光照变化，不依赖与目标的运动信息，不依赖边缘信息，在室内和室外场景中，都能实现较准确的ROI提取。

为达到以上技术效果，本发明所采用的技术方案以下：

边缘支持背景建模的ROI监控视频提取平台，应用场景定位于监控视频环境，基于监控视频的特征，提出一种边缘检测驱动背景建模的ROI提取方法，主要由两部分组成：第一部分是基于边缘检测的ROI提取方法，第二部分是基于背景建模的ROI提取方法，第一部分首先对图像进行边缘检测，然后通过一种自适应的边缘支持定位方法，定位出视频图像中的监控核心区域，最后对于每一帧图像，在监控核心区域中通过聚类的方法定位出视频图像中的兴趣目标区域；第二部分首先通过高斯混合模型构建出视频的背景图像，然后通过背景差分后置处理法提取前景区域，最后通过形态学操作得到兴趣目标区域；

第一部分改进的基于自适应边缘检测的ROI提取方法包括小波分析变换和自适应中值滤波、改进Canny边缘检测、生成监控核心区域、自适应生成ROI区域，采用一种具有针对性的自适应图像分割方法，首先对输入图像做前置处理，除去图像中的噪点和空洞，然后采用改进Canny边缘检测方法提取图像的边缘信息，在此基础上把图像分块，采用迭代的方法，逐步扩充监控核心区域，直到区域达到面积上界或面积达到稳定为止，最后在重点监控区域通过定位边缘特征发生剧烈变化且有一条闭合边缘线的区域作为ROI区域；

第二部分改进的背景建模驱动的ROI提取方法包括高斯混合背景建模、自适应ROI区域生成，首先基于高斯混合背景建模对背景中的细微变化建模，得到比单高斯背景建模更鲁棒的背景模型，然后通过背景差分后置处理法得到初始前景目标的过程，最后通过形态学操作除去初始前景区域中的噪声点和空洞区域，得到准确的前景ROI区域；

本发明通过一种加权融合增强互补法，将两者无缝结合，在第一部分和第二部分的基础上，提出一种边缘检测驱动背景建模的视频ROI提取架构，并最终实现基于边缘检测支持背景建模的ROI提取方法，根据边缘检测驱动背景建模的视频ROI提取架构，搭建边缘检测驱动背景建模的视频ROI提取平台。

边缘支持背景建模的ROI监控视频提取平台，进一步的，小波分析变换和自适应中值滤波采用小波分析变换结合自适应中值滤波对监控视频图像进行去噪处理，具体过程为：

首先对公式标记做以下规定：

表示H²(T)的可分离多分辨率分析，k(x，y)＝k(x)k(y)表示相应的二维尺度函数，w(x)表示与二维尺度函数相对应的一维标准正交小波，g＝g(x,y)表示待分析的图像信号，表示出二维逼近图像，在二维小波分解算法对图像逐层分解过程中，小波分解的近似系数部分，被逐层分解到各个高频部分中去，利用自适应中值滤波，除去图像中的脉冲噪声和高斯白噪声，改善因小波变换去噪而造成的图像模糊问题吗，自适应滤波算法根据噪声的密度改变窗口大小，并对图像信号和噪声点采用不同的处理。

边缘支持背景建模的ROI监控视频提取平台，进一步的，假设图像中坐标为(x,y)像素点的灰度值表示为g(x,y)，当前灰度窗口表示为K(x,y)，K(x,y)中灰度的最小值、中位值和最大值分别表示为g_min、g_mid和g_max，K(x,y)的最大窗口表示为K_max，则自适应中值滤波算法采用以下过程实现：

过程一，如果g_min＜g_mid＜g_max，则跳转到过程二；否则增加窗口K(x,y)的尺寸，如果K(x,y)的尺寸小于K_max，则重新进入过程一，否则输出g(x,y)；

过程二，如果g_min＜g(x,y)＜g_max，则输出g(x,y)，否则输出g_mid；

当窗口中心像素点是这个窗口中的最大值像素点或最小值像素点时，该像素点就是噪声点，通过一个临界值对图像做更精细的划分，减少噪声的同时保护图像细节效果，提高滤波效果，临界值计算方法是在以g(x,y)为中心像素点的窗口范围内，求出窗口中每一个像素的灰度值，然后利用自适应中值滤波求出窗口灰度中位值g_mid的差|g(i+n，j+m)-g_mid|，最后把窗口内所有像素的|g(i+n，j+m)-g_mid|的平均值作为区分噪声和原图像信息的临界值，实现滤波效果；

原始图像经过小波分析变换和自适应中值滤波之后，过滤掉图像中的噪声，尽可能恢复图像本身，在此基础上再对图像进行边缘检测。

边缘支持背景建模的ROI监控视频提取平台，进一步的，改进Canny边缘检测：采用在更大的邻域(3×3)内求有限差分的梯度幅值，具体过程为：

第一，计算图像梯度及其方向；首先计算x方向和y方向的偏导数，再计算45度和135度方向像素的导数，最后计算水平方向和垂直方向的差分；

第二，非极大值抑制；通过非极大值抑制判断是否为边缘点的方法是：图像中坐标为(x,y)的像素点的梯度幅值表示为N(x,y)，沿梯度方向L(x,y)，的两个相邻像素点的梯度幅值表示为M(x,y)，如果N(x,y)＞M(x,y)，则认为该像素点是边缘像素点；

第三，双临界值检测；双临界值检测实现边缘连接的过程为：首先分别使用高、低两个临界值对图像进行分割，得到两个边缘图像R₁和R₂，由于R₁是由高临界值得到的图像，此图像基本不会有假边缘，但可能出现边缘不连续的现象，对于这种情况，在R₁图像中把边缘连接在一起，当到达边缘轮廓端点时，在由低临界值得到的边缘图像R₂中，在其八邻域中寻找可连接到边缘轮廓的边缘点，然后通过这些边缘像素点将R₁中的边缘都连接起来。

边缘支持背景建模的ROI监控视频提取平台，进一步的，生成监控核心区域：提出一种区域扩展的监控核心区域生成方法，在监控视频图像中，基于实际架设摄像头时，都会将摄像头正对着重点区域，本发明合理假设画面的中心区域是监控核心区域，在图像中正中心的区域当作最初的监控核心区域，通过不断的增大边缘检测临界值增大监控核心区域面积，直到达到面积上界或达到稳定状态，具体采用以下算法得到监控核心区域：

过程1，把图像无交叠的分割成10×10个小块，其中e_i,j代表第i行第j列的小块；

过程2，根据监控图像的中心为监控核心区域的假设，把监控图像的监控核心区域初始化为E＝{e_i,j}，监控核心区域中小块数目m₀＝0；

过程3，边缘检测；

过程4，对于监控核心区域中的每个小块e_i,j，判断邻接小块是否属于目标，如果是，则加入监控核心区域E，m_k:＝m_k+1；

过程5，判断E中小块数目是否达到上限m_k≥m_max，如果是，则结束；

过程6，判断本次迭代E中小块是否变化，若无，即m_k＝m_k-1，则结束，否则跳转过程3。

边缘支持背景建模的ROI监控视频提取平台，进一步的，自适应生成ROI区域：通过监控核心区域的边缘特征变化实现ROI区域的生成，具体采用以下流程进行监控核心区域的ROI提取：

流程一，监控视频核心区域中每个小块

的边缘特征，其中t代表第t帧；

流程二，对任何一个小块

c是临界值参数，认为该小块的边缘特征发生了明显的变化，把

加到集合Q^t中，其中Q^t代表第t帧边缘特征发生明显变化的小块集合；

流程三，对Q^t中的小块按照空间位置聚类，得到集合

其中Q^t是聚类后的第i个类小块集合；

流程四，对任何一个集合Q^t，若其边缘处存在一条区域闭合的边缘线，则认为Q^t是一个ROI区域。

边缘支持背景建模的ROI监控视频提取平台，进一步的，采用高斯混合模型进行背景建模：

假设对于每个像素点(x,y)，高斯混合模型构建N个独立的高斯分布，那么对于像素点z(x,y)，其概率函数表示为：

其中a_j，xy表示第j个高斯分布的权重值，r_j，xy表示第j个高斯分布的均值，∑_j，xy表示第j个高斯分布的协方差矩阵，对于彩色图像，R、G、B三个通道相互独立，r_j，xy和∑_j，xy写成：

b_j，xy表示第j个高斯滤波的均方差，各个高斯分布按优先级的高低排序，而优先级q_j是：

R_j，xy、G_j，xy、B_j，xy分别表示R，G，B三个通道第j个高斯分布；

构建背景模型过程为：首先利用视频第一帧图像，对高斯模型做初始化操作，具体方法是用图像中的每个像素值作为该像素值的高斯模型的均值，并给出初始方差和权重值，然后对后续每一帧背景样本图像，将图像中的每个像素与该像素已有的n(n≤N)个高斯模型进行比较，如果|z-r_j，xy|＜2.5b，则认为该输入像素符合第j个高斯模型的分布，并调整该模型的参数，否则如果n＜N，则认为输入像素不符合现有任何一个高斯模型的分布，需要为该像素增加一个高斯分布，如果n＝N，则需要构建一个新的高斯分布，均值取z(x,y)，权重值较小而方差较大，然后用这个高斯模型替换该像素点优先级最低的高斯分布，迭代上述过程，即可训练出一个在训练集上较准确的高斯模型；

将N个高斯分布按照优先级排序，取前W个作为背景模型，W表示为：

其中，R是预先定义的临界值，表示背景数据的比重，其大小反映背景模型的复杂度，当R为1时，高斯混合背景模型退化为单高斯背景建模。

边缘支持背景建模的ROI监控视频提取平台，进一步的，更新背景模型：背景模型的更新包括对权重的更新，均值和方差的更新：

第一，更新权重：

其中，e表示学习率，如果e的取值较大，则背景模型对背景变化的适应能力较强，但容易受噪声影响，稳定性不强；如果e的取值较小，则背景模型不能及时反映背景变化，对背景变化反映滞后；

第二，更新均值和方差：若某个高斯分布没有被匹配，则不更新；若某个高斯分布已被匹配，则需要对匹配上的高斯分布的均值和方差都进行更新。

边缘支持背景建模的ROI监控视频提取平台，进一步的，自适应ROI区域生成：在背景差分的基础上，通过数学形态学操作消除初始结果中的噪声和空洞，得到准确的前景ROI；

背景差分过程为：首先用J表示用当前帧图像，S(J)表示背景模型，将当前帧图像与背景模型做差，差值大的地方用1表示，小的地方用0表示，得到前景二值图像；然后对S(J)中的前景点利用颜色和空间位置特征进行聚类，并把每一类中的细小空隙补全，即可得到若干前景团块，表示为：K＝[x,y,k,l,num]，其中，x,y表示颜色块区域的中心，k,l表示颜色块区域的长和宽，num表示此颜色块区域中的目标点的数量。

边缘支持背景建模的ROI监控视频提取平台，进一步的，改进的边缘检测驱动背景建模的ROI提取架构：包括5个子系统：前置处理子系统、基于边缘检测的ROI提取子系统、背景建模子系统、基于背景建模的ROI提取子系统和融合子系统；

加入融合子系统，融合的具体过程为：假设Ro_b表示第一部分改进的基于自适应边缘检测的ROI提取方法得到的ROI区域，Ro_j表示第二部分改进的背景建模驱动的ROI提取方法，经过融合模块最终得到的ROI区域Ro_bj＝iRo_b+(1-i)Ro_j，其中i∈[0,1]是融合参数，当i＝0时，融合结果退变为改进的背景建模驱动的ROI提取方法，当i＝1时，融合结果退变为改进的基于自适应边缘检测的ROI提取方法，i∈(0,1)，融合结果是两个方法的综合效果。

与现有技术相比，本发明的贡献和创新点在于：

第一，本发明兴趣目标区域的提取将视频图像中的对于人眼敏感程度较高的区域，完整准确的提取出来，提供给视频图像处理的后续环节，有效提高目标检测、目标识别、目标跟踪以及行为描述等更高层次图像处理的准确度，本发明成功解决了视频图像的ROI提取中，视频图像易受背景、光照、遮挡等环境因素的影响的诸多问题，通过在视频中提取图像的兴趣目标区域，能引起观察者感兴趣的目标或对象从背景中分割出来，降低图像处理的计算量，提高图像处理效率，将兴趣目标区域提取运用在各种生活应用中，具有很高的实用价值和广阔的应用前景；

第二，本发明把主要应用场景定位于监控视频环境，基于监控视频的特征，提出一种边缘检测驱动背景建模的ROI提取方法，第一部分是基于边缘检测的ROI提取方法，第二部分是基于背景建模的ROI提取方法，鉴于边缘检测支持的ROI提取方法过分依赖于边缘信息，当目标边缘信息不足时容易造成漏检；而基于背景建模的ROI提取方法在光照变化或目标长时间静止时，不能构建准确的背景模型，容易把静止的目标误判为背景，造成误检和漏检，为弥补各自的不足，本发明通过一种加权融合增强互补法，将两者无缝结合，提出一种边缘检测驱动背景建模的视频ROI提取架构，搭建了边缘检测驱动背景建模的视频ROI提取平台，能克服单个ROI提取方法的缺点，在光照变化、目标静止或边缘不明显等严苛条件下，该平台使得ROI提取的准确性得到进一步的提升，提取效率进一步提高，更符合实际应用需要；

第三，本发明采用一种具有针对性的自适应图像分割方法，对输入图像做前置处理，除去图像中的噪点和空洞，采用改进Canny边缘检测方法提取图像的边缘信息，接着采用迭代的方法提取监控图像中的监控核心区域，最后在监控核心区域上通过聚类的方法提取ROI，该方法依赖于目标的边缘信息，能够鲁棒的应对光照变化，不依赖与目标的运动信息，即使目标长时间的静止，也能够有效的检测到，通用性适中，分割精度较高；针对性适中，能够适用于多种场景；

第四，本发明采用改进的背景建模驱动的ROI提取方法，首先基于高斯混合背景建模对背景中的细微变化建模，得到比单高斯背景建模更鲁棒的背景模型，然后通过背景差分后置处理法得到初始前景目标的过程，最后通过形态学操作除去初始前景区域中的噪声点和空洞区域，得到准确的前景ROI区域针对监控视频的上述特征，不仅能适应场景中的物体轻微运动，还能实时更新背景模型和鲁棒的提取前景ROI；

第五，本发明分别提出一种新的改进的基于自适应边缘检测的ROI提取方法和一种改进的背景建模驱动的ROI提取方法，改进的基于自适应边缘检测的ROI提取方法依赖于目标的边缘信息，能够鲁棒的应对光照变化，不依赖与目标的运动信息，即使目标长时间的静止，也能够有效的检测到，该方法的不足是过分依赖目标的边缘信息，当目标边缘不明显时，容易造成漏检；改进的背景建模驱动的ROI提取方法通过构建鲁棒的背景模型，利用背景差分法把前景目标给提取出来，优点是不依赖边缘信息，可以弥补基于边缘检测的ROI提取方法的不足，但缺点是当发生明显的光照变化，或目标长时间静止时，不能提取准确的背景模型，造成误检和漏检。针对以上不足，本发明通过视频ROI区域提取架构实现一种边缘支持背景建模的ROI监控视频提取平台，在两种方法得到的原始ROI区域的基础上，加入ROI融合模块，综合两种方法得到的结果，得到更加全面准确的ROI区域。实验结果表明，边缘支持背景建模的ROI监控视频提取平台在室内和室外场景中，都能实现较准确的ROI提取。

附图说明

图1是本发明改进的基于自适应边缘检测的ROI提取过程示意图。

图2是本发明改进的自适应边缘检测的ROI生成过程示意图。

图3是本发明高斯混合背景建模框架示意图。

图4是本发明改进的边缘检测驱动背景建模的ROI提取架构图。

图5是本发明边缘支持背景建模的ROI监控视频提取平台工作流程图。

具体实施方式

下面结合附图，对本发明提供的边缘支持背景建模的ROI监控视频提取平台的技术方案进行进一步的描述，使本领域的技术人员能够更好的理解本发明并能予以实施。

兴趣目标区域ROI是在观察视频图像时，最易获取人眼视觉关注的区域。兴趣目标区域的提取处于整个视频图像处理系统的底层，被广泛应用于视频监控、视频压缩、医疗图像处理、图像检索等多个应用领域，是计算机视觉重要的研发和应用方向。

本发明把主要应用场景定位于监控视频环境，基于监控视频的特征，提出一种边缘检测驱动背景建模的ROI提取方法，主要由两部分组成：第一部分是基于边缘检测的ROI提取方法，第二部分是基于背景建模的ROI提取方法，第一部分首先对图像进行边缘检测，然后通过一种自适应的边缘支持定位方法，定位出视频图像中的监控核心区域，最后对于每一帧图像，在监控核心区域中通过聚类的方法定位出视频图像中的兴趣目标区域；第二部分首先通过高斯混合模型构建出视频的背景图像，然后通过背景差分后置处理法提取前景区域，最后通过形态学操作除去图像中的噪点与空洞，得到兴趣目标区域，鉴于边缘检测支持的ROI提取方法过分依赖于边缘信息，当目标边缘信息不足时容易造成漏检；而基于背景建模的ROI提取方法在光照变化或目标长时间静止时，不能构建准确的背景模型，容易把静止的目标误判为背景，造成误检和漏检，为弥补各自的不足，本发明通过一种加权融合增强互补法，将两者无缝结合，在此基础上，提出一种边缘检测驱动背景建模的视频ROI提取架构，并最终实现基于边缘检测支持背景建模的ROI提取方法。

根据边缘检测驱动背景建模的视频ROI提取架构，本发明搭建了边缘检测驱动背景建模的视频ROI提取平台。实验和分析表明，边缘检测驱动背景建模的ROI提取方法能够克服单个ROI提取方法的缺点，在光照变化、目标静止或目标边缘不明显等严苛条件下，该平台使得ROI提取的准确性得到进一步的提升，提取效率进一步提高，更符合实际应用需要。

一、改进的基于自适应边缘检测的ROI提取

本发明的兴趣目标区域提取方法是针对监控视频中的场景，这类的场景都有一些共同特征：经由摄像头拍摄得到的图像中，往往只有一部分区域是需要关注的，而其它区域是不必要的，如室内监控，只需关注走道中是否有可疑情形，不需要关注墙壁等其它区域。

虽然现有技术有很多基于图像分割的兴趣目标区域提取方法，但这些方法要么通用性较强，分割精度却不够高；要么针对性太强，不能够适用于多种场景。在监控视频中，根据监控区域固定的特征，本发明采用一种具有针对性的自适应图像分割方法，首先对输入图像做前置处理，除去图像中的噪点和空洞，然后采用改进Canny边缘检测方法提取图像的边缘信息，接着采用迭代的方法提取监控图像中的监控核心区域，最后在监控核心区域上通过聚类的方法提取ROI。改进的基于自适应边缘检测的ROI提取过程如图1所示。

(一)小波分析变换和自适应中值滤波

在原始的监控视频图像中，存在许多噪点，而且对监控场景影响较大的因素如光源、光照变化等产生的阴影，使得对监控视频进行处理时会将阴影误认为是兴趣目标区域，所以在进行改进Canny边缘检测之前，需要对图像进行前置处理，除去噪声。前置处理中使用高斯滤波器对图像进行滤波，平滑噪声，但高斯滤波器适用于消除高斯噪声，对信号做平滑处理，同时还需人为设定高斯滤波均方差，很难保护图像的边缘信息。小波变换能除去图像中由光照产生的影响，并保留图像的基本特征，但小波变换的去噪能力强，致使图像变模糊。自适应中值滤波不仅能较好的保留图像的边缘信息，还能除去椒盐噪声和随机噪声，基于以上原因，本发明采用小波分析变换结合自适应中值滤波对监控视频图像进行去噪处理，具体过程为：

首先对公式标记做以下规定：

表示H²(T)的可分离多分辨率分析，k(x，y)＝k(x)k(y)表示相应的二维尺度函数，w(x)表示与二维尺度函数相对应的一维标准正交小波，g＝g(x,y)表示待分析的图像信号，表示出二维逼近图像，在二维小波分解算法对图像逐层分解过程中，小波分解的近似系数部分，被逐层分解到各个高频部分中去，导致图像细节信息越来越少，图像变得越来越模糊。因此，利用自适应中值滤波，除去图像中的脉冲噪声和高斯白噪声，改善因小波变换去噪而造成的图像模糊问题吗，自适应滤波算法根据噪声的密度改变窗口大小，并对图像信号和噪声点采用不同的处理，解决图像模糊问题。

假设图像中坐标为(x,y)像素点的灰度值表示为g(x,y)，当前灰度窗口表示为K(x,y)，K(x,y)中灰度的最小值、中位值和最大值分别表示为g_min、g_mid和g_max，K(x,y)的最大窗口表示为K_max，则自适应中值滤波算法采用以下过程实现：

过程一，如果g_min＜g_mid＜g_max，则跳转到过程二；否则增加窗口K(x,y)的尺寸，如果K(x,y)的尺寸小于K_max，则重新进入过程一，否则输出g(x,y)；

过程二，如果g_min＜g(x,y)＜g_max，则输出g(x,y)，否则输出g_mid；

当窗口中心像素点是这个窗口中的最大值像素点或最小值像素点时，该像素点就是噪声点，但如果中心点的像素值既不是最大值也不是最小值时，该方法无法判断该点是不是噪声点，且容易把图像中高频信号误认为是噪声。

为解决上述问题，通过一个临界值对图像做更精细的划分，减少噪声的同时保护图像细节效果，提高滤波效果，临界值计算方法是在以g(x,y)为中心像素点的窗口范围内，求出窗口中每一个像素的灰度值，然后利用自适应中值滤波求出窗口灰度中位值g_mid的差|g(i+n，j+m)-g_mid|，最后把窗口内所有像素的|g(i+n，j+m)-g_mid|的平均值作为区分噪声和原图像信息的临界值，实现滤波效果。

原始图像经过小波分析变换和自适应中值滤波之后，过滤掉图像中的噪声，尽可能恢复图像本身，在此基础上再对图像进行边缘检测，得到较好的边缘检测效果。

(二)改进Canny边缘检测

现有技术Canny边缘检测算法是用高斯滤波对图像做前置处理后，通过2×2邻域内一阶偏导差分，计算图像的梯度幅值与梯度方向矩阵，再对梯度幅值图像进行非极大值抑制，最后采用双临界值法连接边缘。由于现有技术的Canny边缘检测算法是在一个较小的邻域(2×2)内求有限差分的梯度，导致对局部连续过于敏感，容易丢失真的边缘信息或检测出假的边缘信息。基于以上原因，本发明采用在更大的邻域(3×3)内求有限差分的梯度幅值，具体过程为：

第一，计算图像梯度及其方向；首先计算x方向和y方向的偏导数，再计算45度和135度方向像素的导数，最后计算水平方向和垂直方向的差分；

第二，非极大值抑制；通过非极大值抑制判断是否为边缘点的方法是：图像中坐标为(x,y)的像素点的梯度幅值表示为N(x,y)，沿梯度方向L(x,y)，的两个相邻像素点的梯度幅值表示为M(x,y)，如果N(x,y)＞M(x,y)，则认为该像素点是边缘像素点；

通过上述方法提高边缘精度的同时除去噪声，而且还能提高梯度计算的鲁棒性，减少噪声干扰，对图像进行边缘检测之后，边缘线还是间断的，所以还需要搜索周围的边缘，然后将这些边缘连接起来得到连续的边缘线，采用双临界值的方法实现边缘线的连接。

第三，双临界值检测；双临界值检测实现边缘连接的过程为：首先分别使用高、低两个临界值对图像进行分割，得到两个边缘图像R₁和R₂，由于R₁是由高临界值得到的图像，此图像基本不会有假边缘，但可能出现边缘不连续的现象，对于这种情况，在R₁图像中把边缘连接在一起，当到达边缘轮廓端点时，在由低临界值得到的边缘图像R₂中，在其八邻域中寻找可连接到边缘轮廓的边缘点，然后通过这些边缘像素点将R₁中的边缘都连接起来。

(三)生成监控核心区域

采用本发明改进的canny边缘检测方法，得到图像中完整的边缘线，通过调整边缘检测参数，调整边缘线的疏密程度，得到不同的密度的边缘线。从测试结果可以看出，当参数比较小时，边缘检测算法比较敏感，图像中微小的边缘线都能够被检测出来，当边缘检测参数逐渐增大时，检测算法的敏感性逐渐降低，图像中一些细小的边缘线逐渐被忽略，而比较明显的边缘线仍被保留，当参数增大到一定值时，监控核心区域的边缘线完全消失，所有核心区域连接一起，并被一条较粗的边缘线和其它区域隔开。根据上述现象，本发明提出一种区域扩展的监控核心区域生成方法。

在监控视频图像中，基于实际架设摄像头时，都会将摄像头正对着重点区域，本发明合理假设画面的中心区域是监控核心区域，在图像中正中心的区域当作最初的监控核心区域。通过不断的增大边缘检测临界值增大监控核心区域面积，直到达到面积上界或达到稳定状态。本发明具体采用以下算法得到监控核心区域：

过程1，把图像无交叠的分割成10×10个小块，其中e_i,j代表第i行第j列的小块；

过程2，根据监控图像的中心为监控核心区域的假设，把监控图像的监控核心区域初始化为E＝{e_i,j}，监控核心区域中小块数目m₀＝0；

过程3，边缘检测；

过程4，对于监控核心区域中的每个小块e_i,j，判断邻接小块是否属于目标，如果是，则加入监控核心区域E，m_k:＝m_k+1；

过程5，判断E中小块数目是否达到上限m_k≥m_max，如果是，则结束；

过程6，判断本次迭代E中小块是否变化，若无，即m_k＝m_k-1，则结束，否则跳转过程3。

(四)自适应生成ROI区域

在没有外界干扰的情况下，监控核心区域的边缘特征干净且稳定，当目标进入监控核心区域后，目标的边缘信息会覆盖相应的背景区域，造成该区域的边缘信息明显更加复杂，并且其边缘区域生成一条区域闭合的边缘线。基于以上现象，本发明通过监控核心区域的边缘特征变化实现ROI区域的生成，本发明具体采用以下流程进行监控核心区域的ROI提取：

流程一，监控视频核心区域中每个小块

的边缘特征，其中t代表第t帧；

流程二，对任何一个小块

c是临界值参数，认为该小块的边缘特征发生了明显的变化，把

加到集合Q^t中，其中Q^t代表第t帧边缘特征发生明显变化的小块集合；

流程三，对Q^t中的小块按照空间位置聚类，得到集合

其中Q^t是聚类后的第i个类小块集合；

流程四，对任何一个集合Q^t，若其边缘处存在一条区域闭合的边缘线，则认为Q^t是一个ROI区域。

具体ROI生成效果如图2，图(a)是原始图，图(b)阴影区域为监控核心区域，图(c)四角用圆圈标注区域是可能包含ROI的小块，图(d)长方形框包含的区域是最后生成的ROI区域。

第一部分提出一种改进的基于自适应边缘检测的ROI提取方法，首先对Canny边缘检测方法进行改进，在此基础上把图像分块，采用迭代的方法，逐步扩充监控核心区域，直到区域达到面积上界或面积达到稳定为止，最后在重点监控区域通过定位边缘特征发生剧烈变化且有一条闭合边缘线的区域作为ROI区域。

二、改进的背景建模驱动的ROI提取

兴趣目标区域是在一帧图像中观察者最容易注意力集中的区域。在提取兴趣目标区域的过程中，经常会遇到以下问题：一是在场景中没用物体运动的情况下，容易得到背景图像，但在其它应用中可能无法满足这种要求，也就不能得到准确的背景图像；二是背景中物体存在微小晃动时容易被检测为前景；三是光照的影响，如一天从早到晚的光照变化，室内灯光变化，都会对检测结果产生影响；四是背景模型的更新率问题，过大或过小都会使得结果不理想；五是由光照产生的阴影，会被检测为兴趣目标区域，影响视频处理的后续过程。在兴趣目标区域的提取过程中经常会遇到这些问题，而现有技术有的只能解决部分问题，有的试图通过一个非常复杂的模型来解决所有问题，导致计算量大，达不到实时要求。但监控视频不同于普通视频，它是静态摄像机拍摄生成的视频，背景保持固定不变，通过背景建模可以较准确的构建监控视频背景模型，从而较准确的提取前景图像。

针对监控视频的上述特征，本发明提出一种改进的背景建模驱动的ROI提取方法，不仅能适应场景中的物体轻微运动，还能实时更新背景模型和鲁棒的提取前景ROI。

(一)高斯混合背景建模

由摄像头获取的监控视频图像，背景基本是静止的，但由于背景图像中往往存在一些物体轻微的运动，导致背景图像中某些位置的像素发生一定程度的变动，对于上述存在一定变化的实际背景，单高斯背景建模无法做到充分描述，导致很多背景像素点被误判为前景。为解决上述问题，本发明采用高斯混合模型进行背景建模。

假设对于每个像素点(x,y)，高斯混合模型构建N个独立的高斯分布，那么对于像素点z(x,y)，其概率函数表示为：

其中a_j，xy表示第j个高斯分布的权重值，r_j，xy表示第j个高斯分布的均值，∑_j，xy表示第j个高斯分布的协方差矩阵，对于彩色图像，R、G、B三个通道相互独立，r_j，xy和∑_j，xy写成：

b_j，xy表示第j个高斯滤波的均方差，各个高斯分布按优先级的高低排序，而优先级q_j是：

R_j，xy、G_j，xy、B_j，xy分别表示R，G，B三个通道第j个高斯分布。

1.构建背景模型

构建背景模型过程为：首先利用视频第一帧图像，对高斯模型做初始化操作，具体方法是用图像中的每个像素值作为该像素值的高斯模型的均值，并给出初始方差和权重值，然后对后续每一帧背景样本图像，将图像中的每个像素与该像素已有的n(n≤N)个高斯模型进行比较，如果|z-r_j，xy|＜2.5b，则认为该输入像素符合第j个高斯模型的分布，并调整该模型的参数，否则如果n＜N，则认为输入像素不符合现有任何一个高斯模型的分布，需要为该像素增加一个高斯分布，如果n＝N，则需要构建一个新的高斯分布，均值取z(x,y)，权重值较小而方差较大，然后用这个高斯模型替换该像素点优先级最低的高斯分布，迭代上述过程，即可训练出一个在训练集上较准确的高斯模型，流程图如图3所示。

将N个高斯分布按照优先级排序，取前W个作为背景模型，W表示为：

其中，R是预先定义的临界值，表示背景数据的比重，其大小反映背景模型的复杂度，当R为1时，高斯混合背景模型退化为单高斯背景建模。

2.更新背景模型

由于光照和风等影响，背景图像在时刻发生微小变化，已经建立好的背景模型可能无法反映这种变化，造成误差。为保持背景模型的准确性，要对背景模型进行实时更新，背景模型的更新包括对权重的更新，均值和方差的更新。

(1)更新权重：

其中，e表示学习率，如果e的取值较大，则背景模型对背景变化的适应能力较强，但容易受噪声影响，稳定性不强；如果e的取值较小，则背景模型不能及时反映背景变化，对背景变化反映滞后。

(2)更新均值和方差：若某个高斯分布没有被匹配，则不更新；若某个高斯分布已被匹配，则需要对匹配上的高斯分布的均值和方差都进行更新。

基于颜色的高斯混合模型适应背景的变化，尤其是背景场景中物体发生细微变化的情况下，高斯混合模型有很好的表现，但对于剧烈的光照变化，该模型不能很好的适应。

(二)自适应ROI区域生成

通过高斯混合背景模型得到稳定的背景模型，理论上通过背景差分后置处理法，就能有效的从监控图像中将前景目标准确提取出来，但实际的监控视频中，经常出现局部光照突变、目标运动缓慢、图像包含较多噪声点的意外情况，会使得通过背景差分得到的前景图中存在一些零散的噪声点，目标区域容易出现空洞。为得到准确完整的ROI区域，本发明在背景差分的基础上，通过数学形态学操作消除初始结果中的噪声和空洞，得到准确的前景ROI。

1.背景差分

背景差分过程为：首先用J表示用当前帧图像，S(J)表示背景模型，将当前帧图像与背景模型做差，差值大的地方用1表示，小的地方用0表示，得到前景二值图像；然后对S(J)中的前景点利用颜色和空间位置特征进行聚类，并把每一类中的细小空隙补全，即可得到若干前景团块，表示为：K＝[x,y,k,l,num]，其中，x,y表示颜色块区域的中心，k,l表示颜色块区域的长和宽，num表示此颜色块区域中的目标点的数量。

2.后置处理

后置处理采用数学形态学通过具有一定形态的结构元素对图像分析和识别，通过数学形态学操作，既可以降低图像数据的复杂性，又可以保持结构特征，后置处理数学形态学基本运算包括膨胀、腐蚀、开启和闭合，针对离散噪声点和目标空洞，本发明采用腐蚀和膨胀分别进行处理。

(1)图像膨胀

通过形态学膨胀操作，填补目标区域的空洞，最终得到完整精确的目标，形态学膨胀是基于集合的运算，其定义为：

其中B表示待膨胀的图像，E表示指定的结构元素，E(x)是以点x为中心的结构元素，通过对E进行一定位移得到，结构元素E平移后使E与B的交集非空点的集合就是用E(x)对B膨胀的结果。

(2)图像腐蚀

通过形态学腐蚀操作，抹除前景二值图中的噪点，减少对最终ROI区域的干扰，形态学腐蚀操作是腐蚀的对偶操作，其定义为：

其中B是待腐蚀的图像，E是指定的结构元素，E(y)是对E进行一定位移，使得E的以点y为中心使的结构元素，把结构元素E平移后使E包含于B所有非空的点构成的集合就是用E(y)对B腐蚀的结果。

(3)开操作与闭操作

形态学的开操作是先用E对B进行腐蚀，然后再用E进行膨胀，开操作使对象轮廓变得光滑，并且能消除细小突出和断开狭窄的间断。形态学的闭操作是先用E对B进行膨胀，再用E对B进行腐蚀，闭操作的结果使轮廓线更光滑，但与开操作相反，它消除图像中较窄小的间断和较长而细的鸿沟，消除细小孔洞，并填补轮廓线中的尖细部分。

第二部分提出改进的背景建模驱动的ROI提取方法，首先基于高斯混合背景建模对背景中的细微变化建模，得到比单高斯背景建模更鲁棒的背景模型，然后通过背景差分后置处理法得到初始前景目标的过程，最后通过形态学操作除去初始前景区域中的噪声点和空洞区域，得到准确的前景ROI区域。

三、改进的边缘检测驱动背景建模的ROI提取架构

本发明提出了两种全新的ROI提取方法，分别是第一部分改进的基于自适应边缘检测的ROI提取方法和第二部分改进的背景建模驱动的ROI提取方法，改进的基于自适应边缘检测的ROI提取方法首先通过边缘检测得到监控核心区域，然后在监控核心区域中查找边缘丰富的区域作为ROI区域，该方法不依赖与目标的运动信息，但当目标边缘信息不足时容易漏检，或造成目标部分区域缺失；改进的背景建模驱动的ROI提取方法依赖于目标的运动信息，能有效提取监控视频中的运动目标，但当目标在画面中静止，特别是长时间静止时，容易被当成背景而造成漏检。基于上述问题，本发明结合两种ROI提取方法，提出一种改进的边缘检测驱动背景建模的ROI提取架构，有效克服两种ROI提取方法的缺点，鲁棒的提取监控视频的ROI区域，该架构包括5个子系统：前置处理子系统、基于边缘检测的ROI提取子系统、背景建模子系统、基于背景建模的ROI提取子系统和融合子系统，图4为边缘检测驱动背景建模的ROI提取架构图。

1.前置处理子系统

监控视频ROI提取架构中，前置处理模块包括对监控视频做格式转换，以及除去视频图像中的噪声，本发明边缘检测、背景建模都是灰度图像来操作，需要将原始图像转化为灰度图，此外，视频信号在产生、传输、接收和处理过程中不可避免受到内部和外部干扰，以及一些人为的因素，都会对图像产生干扰，影响图像质量，最终导致后续处理结果不准确，在前置处理阶段要对图像噪声做初步过滤。

2.基于边缘检测的ROI提取子系统

基于边缘检测的ROI提取模块实现基于边缘检测的ROI提取，克服光照变化影响，不依赖与目标的运动信息，当光照发生变化或目标静止时，都能准确提取目标。

3.背景建模子系统

背景建模模块是基于背景建模的ROI提取方法的基础，考虑到实际监控环境中，光照、微风的影响，背景图像经常发生变动，而单高斯背景模型无法表示这种变化，本发明采用高斯混合背景建模方法构建背景模型。

4.基于背景建模的ROI提取子系统

经过背景建模得到监控图像的背景图像，基于背景建模的ROI提取方法通过背景差分法得到兴趣目标区域，但得到的图像中还含有很多噪点，会有误检和漏检的可能性以及空洞现象，为得到更准确的兴趣目标区域，本发明对原始ROI区域进行形态学处理，除去图像中不必要的噪点和空洞，采用背景差分法、腐蚀、膨胀处理。

5.融合子系统

实际监控视频中的ROI可能是各种人物，人物外观和运动多种多样，单纯采用一种ROI提取方法，往往不能适应实际监控视频的复杂情况，如果目标边缘信息不足，采用边缘检测的方法提取兴趣目标区域容易出现漏检，或造成目标部分区域缺失，如果目标在画面中静止，特别是长时间静止，采用背景建模的方法提取兴趣目标区域容易被当成背景造成漏检。

基于以上问题，本发明在加入融合子系统，通过本发明提出的两种ROI提取方法，相互弥补对方的不足，使得最后得到的ROI区域更加全面准确，融合的具体过程为：假设Ro_b表示第一部分改进的基于自适应边缘检测的ROI提取方法得到的ROI区域，Ro_j表示第二部分改进的背景建模驱动的ROI提取方法，经过融合模块最终得到的ROI区域Ro_bj＝iRo_b+(1-i)Ro_j，其中i∈[0,1]是融合参数，当i＝0时，融合结果退变为改进的背景建模驱动的ROI提取方法，当i＝1时，融合结果退变为改进的基于自适应边缘检测的ROI提取方法，i∈(0,1)，融合结果是两个方法的综合效果。

(一)工作流程

基于改进的边缘检测驱动背景建模的ROI提取架构，本发明进一步明确其实现具体流程见图5。

本发明通过室内场景测试视频和室外场景测试视频，分别测试了第一部分改进的基于自适应边缘检测的ROI提取方法和第二部分改进的背景建模驱动的ROI提取方法的算法性能，根据实验结果，改进的基于自适应边缘检测的ROI提取方法不依赖与目标的运动，即便目标运动不明显，甚至长时间静止，只要目标有着较显著的边缘信息，该方法也能提取出该目标作为ROI区域，不足之处是该方法提取的ROI区域是以小块为单位，会包含部分背景区域，无法准确的保留目标的边缘信息；当背景区域存在丰富的边缘信息时，容易对结果造成干扰；改进的背景建模驱动的ROI提取方法在目标运动明显的情况下，有较好的效果，能够较完整的保留目标轮廓信息。不足之处是当目标运动信息不明显时，容易造成漏检，当背景中有物体发生抖动时容易产生噪点。边缘支持背景建模的ROI监控视频提取平台效果最好，通过ROI提取架构，继承了两个方法的优点，并且较大程度克服了各自的缺点，实现比较理想的ROI提取效果。

本发明根据监控视频的特征，提出一种改进的基于自适应边缘检测的ROI提取方法和一种改进的背景建模驱动的ROI提取方法，改进的基于自适应边缘检测的ROI提取方法依赖于目标的边缘信息，能够鲁棒的应对光照变化，不依赖与目标的运动信息，即使目标长时间的静止，也能够有效的检测到，该方法的不足是过分依赖目标的边缘信息，当目标边缘不明显时，容易造成漏检；改进的背景建模驱动的ROI提取方法通过构建鲁棒的背景模型，利用背景差分法把前景目标给提取出来，优点是不依赖边缘信息，可以弥补基于边缘检测的ROI提取方法的不足，但缺点是当发生明显的光照变化，或目标长时间静止时，不能提取准确的背景模型，造成误检和漏检。针对以上不足，本发明通过一种视频ROI区域提取架构实现一种边缘支持背景建模的ROI监控视频提取平台，在两种方法得到的原始ROI区域的基础上，加入ROI融合模块，综合两种方法得到的结果，得到更加全面准确的ROI区域。实验结果表明，边缘支持背景建模的ROI监控视频提取平台在室内和室外场景中，都能实现较准确的ROI提取。

Claims (10)

1.边缘支持背景建模的ROI监控视频提取平台，其特征在于，应用场景定位于监控视频环境，基于监控视频的特征，提出一种边缘检测驱动背景建模的ROI提取方法，主要由两部分组成：第一部分是基于边缘检测的ROI提取方法，第二部分是基于背景建模的ROI提取方法，第一部分首先对图像进行边缘检测，然后通过一种自适应的边缘支持定位方法，定位出视频图像中的监控核心区域，最后对于每一帧图像，在监控核心区域中通过聚类的方法定位出视频图像中的兴趣目标区域；第二部分首先通过高斯混合模型构建出视频的背景图像，然后通过背景差分后置处理法提取前景区域，最后通过形态学操作得到兴趣目标区域；

第一部分改进的基于自适应边缘检测的ROI提取方法包括小波分析变换和自适应中值滤波、改进Canny边缘检测、生成监控核心区域、自适应生成ROI区域，采用一种具有针对性的自适应图像分割方法，首先对输入图像做前置处理，除去图像中的噪点和空洞，然后采用改进Canny边缘检测方法提取图像的边缘信息，在此基础上把图像分块，采用迭代的方法，逐步扩充监控核心区域，直到区域达到面积上界或面积达到稳定为止，最后在重点监控区域通过定位边缘特征发生剧烈变化且有一条闭合边缘线的区域作为ROI区域；

第二部分改进的背景建模驱动的ROI提取方法包括高斯混合背景建模、自适应ROI区域生成，首先基于高斯混合背景建模对背景中的细微变化建模，得到比单高斯背景建模更鲁棒的背景模型，然后通过背景差分后置处理法得到初始前景目标的过程，最后通过形态学操作除去初始前景区域中的噪声点和空洞区域，得到准确的前景ROI区域；

本发明通过一种加权融合增强互补法，将两者无缝结合，在第一部分和第二部分的基础上，提出一种边缘检测驱动背景建模的视频ROI提取架构，并最终实现基于边缘检测支持背景建模的ROI提取方法，根据边缘检测驱动背景建模的视频ROI提取架构，搭建边缘检测驱动背景建模的视频ROI提取平台。

2.根据权利要求1所述的边缘支持背景建模的ROI监控视频提取平台，其特征在于，小波分析变换和自适应中值滤波采用小波分析变换结合自适应中值滤波对监控视频图像进行去噪处理，具体过程为：

首先对公式标记做以下规定：

表示H²(T)的可分离多分辨率分析，k(x，y)＝k(x)k(y)表示相应的二维尺度函数，w(x)表示与二维尺度函数相对应的一维标准正交小波，g＝g(x,y)表示待分析的图像信号，表示出二维逼近图像，在二维小波分解算法对图像逐层分解过程中，小波分解的近似系数部分，被逐层分解到各个高频部分中去，利用自适应中值滤波，除去图像中的脉冲噪声和高斯白噪声，改善因小波变换去噪而造成的图像模糊问题吗，自适应滤波算法根据噪声的密度改变窗口大小，并对图像信号和噪声点采用不同的处理。

3.根据权利要求2所述的边缘支持背景建模的ROI监控视频提取平台，其特征在于，假设图像中坐标为(x,y)像素点的灰度值表示为g(x,y)，当前灰度窗口表示为K(x,y)，K(x,y)中灰度的最小值、中位值和最大值分别表示为g_min、g_mid和g_max，K(x,y)的最大窗口表示为K_max，则自适应中值滤波算法采用以下过程实现：

过程一，如果g_min＜g_mid＜g_max，则跳转到过程二；否则增加窗口K(x,y)的尺寸，如果K(x,y)的尺寸小于K_max，则重新进入过程一，否则输出g(x,y)；

过程二，如果g_min＜g(x,y)＜g_max，则输出g(x,y)，否则输出g_mid；

当窗口中心像素点是这个窗口中的最大值像素点或最小值像素点时，该像素点就是噪声点，通过一个临界值对图像做更精细的划分，减少噪声的同时保护图像细节效果，提高滤波效果，临界值计算方法是在以g(x,y)为中心像素点的窗口范围内，求出窗口中每一个像素的灰度值，然后利用自适应中值滤波求出窗口灰度中位值g_mid的差|g(i+n，j+m)-g_mid|，最后把窗口内所有像素的|g(i+n，j+m)-g_mid|的平均值作为区分噪声和原图像信息的临界值，实现滤波效果；

原始图像经过小波分析变换和自适应中值滤波之后，过滤掉图像中的噪声，尽可能恢复图像本身，在此基础上再对图像进行边缘检测。

4.根据权利要求1所述的边缘支持背景建模的ROI监控视频提取平台，其特征在于，改进Canny边缘检测：采用在更大的邻域(3×3)内求有限差分的梯度幅值，具体过程为：

第一，计算图像梯度及其方向；首先计算x方向和y方向的偏导数，再计算45度和135度方向像素的导数，最后计算水平方向和垂直方向的差分；

第二，非极大值抑制；通过非极大值抑制判断是否为边缘点的方法是：图像中坐标为(x,y)的像素点的梯度幅值表示为N(x,y)，沿梯度方向L(x,y)，的两个相邻像素点的梯度幅值表示为M(x,y)，如果N(x,y)＞M(x,y)，则认为该像素点是边缘像素点；

第三，双临界值检测；双临界值检测实现边缘连接的过程为：首先分别使用高、低两个临界值对图像进行分割，得到两个边缘图像R₁和R₂，由于R₁是由高临界值得到的图像，此图像基本不会有假边缘，但可能出现边缘不连续的现象，对于这种情况，在R₁图像中把边缘连接在一起，当到达边缘轮廓端点时，在由低临界值得到的边缘图像R₂中，在其八邻域中寻找可连接到边缘轮廓的边缘点，然后通过这些边缘像素点将R₁中的边缘都连接起来。

5.根据权利要求1所述的边缘支持背景建模的ROI监控视频提取平台，其特征在于，生成监控核心区域：提出一种区域扩展的监控核心区域生成方法，在监控视频图像中，基于实际架设摄像头时，都会将摄像头正对着重点区域，本发明合理假设画面的中心区域是监控核心区域，在图像中正中心的区域当作最初的监控核心区域，通过不断的增大边缘检测临界值增大监控核心区域面积，直到达到面积上界或达到稳定状态，具体采用以下算法得到监控核心区域：

过程1，把图像无交叠的分割成10×10个小块，其中e_i,j代表第i行第j列的小块；

过程2，根据监控图像的中心为监控核心区域的假设，把监控图像的监控核心区域初始化为E＝{e_i,j}，监控核心区域中小块数目m₀＝0；

过程3，边缘检测；

过程4，对于监控核心区域中的每个小块e_i,j，判断邻接小块是否属于目标，如果是，则加入监控核心区域E，m_k:＝m_k+1；

过程5，判断E中小块数目是否达到上限m_k≥m_max，如果是，则结束；

过程6，判断本次迭代E中小块是否变化，若无，即m_k＝m_k-1，则结束，否则跳转过程3。

6.根据权利要求1所述的边缘支持背景建模的ROI监控视频提取平台，其特征在于，自适应生成ROI区域：通过监控核心区域的边缘特征变化实现ROI区域的生成，具体采用以下流程进行监控核心区域的ROI提取：

流程一，监控视频核心区域中每个小块

的边缘特征，其中t代表第t帧；

流程二，对任何一个小块

c是临界值参数，认为该小块的边缘特征发生了明显的变化，把

加到集合Q^t中，其中Q^t代表第t帧边缘特征发生明显变化的小块集合；

流程三，对Q^t中的小块按照空间位置聚类，得到集合

其中Q^t是聚类后的第i个类小块集合；

流程四，对任何一个集合Q^t，若其边缘处存在一条区域闭合的边缘线，则认为Q^t是一个ROI区域。

7.根据权利要求1所述的边缘支持背景建模的ROI监控视频提取平台，其特征在于，采用高斯混合模型进行背景建模：

假设对于每个像素点(x,y)，高斯混合模型构建N个独立的高斯分布，那么对于像素点z(x,y)，其概率函数表示为：

其中a_j，xy表示第j个高斯分布的权重值，r_j，xy表示第j个高斯分布的均值，∑_j，xy表示第j个高斯分布的协方差矩阵，对于彩色图像，R、G、B三个通道相互独立，r_j，xy和∑_j，xy写成：

b_j，xy表示第j个高斯滤波的均方差，各个高斯分布按优先级的高低排序，而优先级q_j是：

R_j，xy、G_j，xy、B_j，xy分别表示R，G，B三个通道第j个高斯分布；

构建背景模型过程为：首先利用视频第一帧图像，对高斯模型做初始化操作，具体方法是用图像中的每个像素值作为该像素值的高斯模型的均值，并给出初始方差和权重值，然后对后续每一帧背景样本图像，将图像中的每个像素与该像素已有的n(n≤N)个高斯模型进行比较，如果|z-r_j，xy|＜2.5b，则认为该输入像素符合第j个高斯模型的分布，并调整该模型的参数，否则如果n＜N，则认为输入像素不符合现有任何一个高斯模型的分布，需要为该像素增加一个高斯分布，如果n＝N，则需要构建一个新的高斯分布，均值取z(x,y)，权重值较小而方差较大，然后用这个高斯模型替换该像素点优先级最低的高斯分布，迭代上述过程，即可训练出一个在训练集上较准确的高斯模型；

将N个高斯分布按照优先级排序，取前W个作为背景模型，W表示为：

其中，R是预先定义的临界值，表示背景数据的比重，其大小反映背景模型的复杂度，当R为1时，高斯混合背景模型退化为单高斯背景建模。

8.根据权利要求7所述的边缘支持背景建模的ROI监控视频提取平台，其特征在于，更新背景模型：背景模型的更新包括对权重的更新，均值和方差的更新：

第一，更新权重：

其中，e表示学习率，如果e的取值较大，则背景模型对背景变化的适应能力较强，但容易受噪声影响，稳定性不强；如果e的取值较小，则背景模型不能及时反映背景变化，对背景变化反映滞后；

第二，更新均值和方差：若某个高斯分布没有被匹配，则不更新；若某个高斯分布已被匹配，则需要对匹配上的高斯分布的均值和方差都进行更新。

9.根据权利要求1所述的边缘支持背景建模的ROI监控视频提取平台，其特征在于，自适应ROI区域生成：在背景差分的基础上，通过数学形态学操作消除初始结果中的噪声和空洞，得到准确的前景ROI；

背景差分过程为：首先用J表示用当前帧图像，S(J)表示背景模型，将当前帧图像与背景模型做差，差值大的地方用1表示，小的地方用0表示，得到前景二值图像；然后对S(J)中的前景点利用颜色和空间位置特征进行聚类，并把每一类中的细小空隙补全，即可得到若干前景团块，表示为：K＝[x,y,k,l,num]，其中，x,y表示颜色块区域的中心，k,l表示颜色块区域的长和宽，num表示此颜色块区域中的目标点的数量。

10.根据权利要求1所述的边缘支持背景建模的ROI监控视频提取平台，其特征在于，改进的边缘检测驱动背景建模的ROI提取架构：包括5个子系统：前置处理子系统、基于边缘检测的ROI提取子系统、背景建模子系统、基于背景建模的ROI提取子系统和融合子系统；

加入融合子系统，融合的具体过程为：假设Ro_b表示第一部分改进的基于自适应边缘检测的ROI提取方法得到的ROI区域，Ro_j表示第二部分改进的背景建模驱动的ROI提取方法，经过融合模块最终得到的ROI区域Ro_bj＝iRo_b+(1-i)Ro_j，其中i∈[0,1]是融合参数，当i＝0时，融合结果退变为改进的背景建模驱动的ROI提取方法，当i＝1时，融合结果退变为改进的基于自适应边缘检测的ROI提取方法，i∈(0,1)，融合结果是两个方法的综合效果。

Images