CN107578424A - 一种基于时空分类的动态背景差分检测方法、系统及装置 - Google Patents
一种基于时空分类的动态背景差分检测方法、系统及装置 Download PDFInfo
- Publication number
- CN107578424A CN107578424A CN201710659723.6A CN201710659723A CN107578424A CN 107578424 A CN107578424 A CN 107578424A CN 201710659723 A CN201710659723 A CN 201710659723A CN 107578424 A CN107578424 A CN 107578424A
- Authority
- CN
- China
- Prior art keywords
- pixel
- background
- pixel point
- point
- samples
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于时空分类的动态背景差分检测方法、系统及装置,方法包括:在时间序列上通过分组采样对图像中的每个像素建立对应的背景模型,并根据待检测像素对背景模型内的像素进行分类,得到粗糙的前景掩模图像;以粗糙的前景掩模图像中的前景像素点为中心,将中心像素点设定邻域范围内的像素点进行分类,并根据设定邻域范围内与中心像素点同类的像素点中属于背景像素点的数目,将中心像素点修正为背景像素点或继续保持为前景像素点。本发明采用了分组采样的方法,增强了对动态背景描述的能力;只采用了与中心像素点同类的像素点来确定前景像素点是否为真实的前景像素点,有利于提高检测的正确率。本发明可广泛应用于运动目标检测领域。
Description
技术领域
本发明涉及运动目标检测领域,尤其是一种基于时空分类的动态背景差分检测方法、系统及装置。
背景技术
运动目标检测是目标识别、跟踪以及后期物体行为理解的基础,是计算机视觉领域的研究热点。背景差分法(又称背景减除法)是运动目标检测中最常使用的一种方法,基本原理是通过将当前帧图像与背景图像进行差分来实现运动目标检测。背景差分法检测运动目标速度快,检测准确,易于实现,其关键是背景图像的获取。在实际应用中,受光照的突然变化、实际背景图像中有些物体的波动、摄像机的抖动、运动物体进出场景对原场景的影响等因素的影响,静止背景是不易直接获得的,故动态背景下的背景差分法就成了运动目标检测的主要检测算法。
动态背景是影响背景差分法效果的因素之一。视频场景当中的动态背景,如晃动树枝、喷泉等这些部分,不是检测的感兴趣区域,但由于它们具有运动这一特点,往往被误检为运动目标。动态背景往往具有两个特点:一是像素值变化呈现出多种数值;二是往往在小范围内运动,与周围像素有较强的联系。在消除动态背景造成的误检的相关研究中,研究方法可以分为两类:一是在时间序列上直接对背景像素值的变化进行描述,即通过建立像素值随时间变化的数学模型来表示背景像素;二是结合像素的邻域空间信息进行背景建模,即利用邻域像素具有相似的像素值分布这个特点或者背景区域的纹理特征来描述背景像素。
第一类方法中常见的有混合高斯模型法、码本方法以及二者的相关改进方法。混合高斯模型法将图像像素值看作是几个高斯模型的叠加,对背景像素值的变化具有较好的鲁棒性。码本方法通过多个码元来表示背景像素的变化值,因此能适用于动态背景下的建模。二者的相关改进方法包括一些非参数化的背景建模方法,如核密度估计,由于其利用了局部建模方法,灵敏度高,因此对频繁变动的动态背景建模具有一定的鲁棒性。然而,第一类方法一般直接采用连续视频帧采样的方式进行背景建模,采样范围小,无法避免过多样本集中在固定的采样时间点附近的情况出现,样本的代表性不强,降低了背景模型对动态背景描述的能力。
第二类方法中常见的方法有Vibe(视觉背景提取)方法,基于主成分分析法的方法以及基于局部纹理特征的前景分割方法。Vibe方法及其相关的改进方法利用了像素点与其邻域的像素点具有临时相似的数值分布的特性,利用邻域像素值为背景像素建立起样本集。基于主成分分析法的方法通过分析动态背景和静止背景在特征空间中的异同来区分动态背景。基于主成分分析法的方法在计算过程中涉及大量的矩阵运算,因此计算效率较低。基于局部纹理特征的方法根据视频场景中不同成分的纹理光滑程度来分割前景目标和背景,这类方法的局限是需要人工设计区分度好的特征。故结合空间邻域信息的背景差法(即第二类方法)在对动态背景与前景目标进行检测时,由于采用了像素的邻域空间信息(即区域特征),对频繁运动的动态背景有较好的鲁棒性,但其也采用了像素所有的邻域像素来描述背景像素,若像素的部分邻域像素是前景像素,则会影响检测效果,降低检测正确率。
发明内容
为解决上述技术问题,本发明的第一目的在于:提供一种对动态背景描述能力强和检测正确率高的,基于时空分类的动态背景差分检测方法。
本发明的第二目的在于:提供一种对动态背景描述能力强和检测正确率高的,基于时空分类的动态背景差分检测系统。
本发明的第三目的在于:提供一种对动态背景描述能力强和检测正确率高的,基于时空分类的动态背景差分检测装置。
本发明所采取的第一技术方案是:
一种基于时空分类的动态背景差分检测方法,包括以下步骤:
在时间序列上通过分组采样对图像中的每个像素建立对应的背景模型,并根据待检测像素对背景模型内的像素进行分类,得到粗糙的前景掩模图像;
以粗糙的前景掩模图像中的前景像素点为中心,将中心像素点设定邻域范围内的像素点进行分类,并根据设定邻域范围内与中心像素点同类的像素点中属于背景像素点的数目,将中心像素点修正为背景像素点或继续保持为前景像素点,从而得到准确的前景掩模图像。
进一步,所述在时间序列上通过分组采样对图像中的每个像素建立对应的背景模型,并根据待检测像素对背景模型内的像素进行分类,得到粗糙的前景掩模图像这一步骤,具体包括:
选取视频第一帧图像作为初始参考背景图像;
对视频图像中的每个像素,选取视频前N帧图像采用分组采样的方法初始化背景模型;
采用背景模型更新参考背景图像;
每间隔k帧图像更新背景模型;
根据待检测像素对背景模型内的像素进行分类,得到粗糙的前景掩模图像。
进一步,所述对视频图像中的每个像素,选取视频前N帧图像采用分组采样的方法初始化背景模型这一步骤,具体包括:
将视频前N帧图像同一位置的像素值按时间顺序平均分成m个采样组,每个采样组有k个像素值,其中N=mk;
在m个采样组的每个组内采用最邻近像素采样法,选取与参考背景像素距离最小的像素作为该采样组的像素样本,所述采样组的像素样本选取公式为:其中,cs为采样组的像素样本,ci为采样组内的像素,cbg为参考背景像素;
将m个采样组的m个像素样本组成背景模型,所述背景模型C的表达式为:其中分别为第1到m个采样组的像素样本。
进一步,所述采用背景模型更新参考背景图像这一步骤,具体为:
根据背景模型的像素样本采用最邻近像素采样法更新参考背景图像,所述参考背景图像的更新公式为:其中,和分别为更新前和更新后的参考背景图像,为背景模型C的第j个像素样本,j=1,2,…,m。
进一步,所述根据待检测像素对背景模型内的像素进行分类,得到粗糙的前景掩模图像这一步骤,具体包括:
在背景模型C中寻找出所有与待检测像素同类的像素,并将所有与待检测像素同类的像素数目记为T,所述与待检测像素同类的像素满足:其中,ct为待检测像素,ε为给定的第一阈值,为背景模型C的第j个像素样本,j=1,2,…,m;
判断数目T是否大于给定的第二阈值ft,若是,则将ct判定为背景像素点,反之,则将ct判定为前景像素点,最终得到粗糙的前景掩模图像。
进一步,所述以粗糙的前景掩模图像中的前景像素点为中心,将中心像素点设定邻域范围内的像素点进行分类,并根据设定邻域范围内与中心像素点同类的像素点中属于背景像素点的数目,将中心像素点修正为背景像素点或继续保持为前景像素点,从而得到准确的前景掩模图像这一步骤,具体包括:
对粗糙的前景掩模图像中的每一个前景像素点,以该前景像素点为中心设置一个半径为r且窗口尺寸大小为(2r+1)2的方形窗口W;
以中心像素点在原始视频帧中的像素值为依据,将窗口W内的像素进行分类,寻找并记录与窗口W中心像素点同类的像素点中属于背景像素点的像素点数目;
根据记录的像素点数目将窗口W中心像素点修正为背景像素点或继续保持为前景像素点。
进一步,所述以中心像素点在原始视频帧中的像素值为依据,将窗口W内的像素进行分类,寻找并记录与窗口W中心像素点同类的像素点中属于背景像素点的像素点数目这一步骤,具体包括:
找出窗口W中心像素点在原始视频帧中的像素值cf;
在窗口W内的像素点中寻找与cf同类的像素点,所述与cf同类的像素点满足:ωw·||cw-cf||≤γ,其中,cw为窗口W内的像素点,γ为给定的第三阈值,ωw为cw的权重系数,ωw的表达式为:pw为cw的像素坐标,pf为cf的像素坐标,||cw-cf||为cw与cf的像素间距离,||pw-pf||为pw与pf的像素坐标间距离,I{*}为指示函数,当条件{*}为真时,I{*}=1,否则I{*}=0,h为距离阈值;
寻找并记录窗口W内与cf同类的像素点中属于背景像素点的像素点数目D0。
进一步,所述根据记录的像素点数目将窗口W中心像素点修正为背景像素点或继续保持为前景像素点这一步骤,具体为:
判断记录的像素点数目D0是否满足D0≥α·D,若是,则将窗口W中心像素点修正为背景像素点,反之,则将窗口W中心像素点继续保持为前景像素点,其中,D为窗口W内所有像素点的数目,α为给定的比例系数。
本发明所采取的第二技术方案是:
一种基于时空分类的动态背景差分检测系统,包括以下模块:
时间分类模块,用于在时间序列上通过分组采样对图像中的每个像素建立对应的背景模型,并根据待检测像素对背景模型内的像素进行分类,得到粗糙的前景掩模图像;
空间分类模块,用于以粗糙的前景掩模图像中的前景像素点为中心,将中心像素点设定邻域范围内的像素点进行分类,并根据设定邻域范围内与中心像素点同类的像素点中属于背景像素点的数目,将中心像素点修正为背景像素点或继续保持为前景像素点,从而得到准确的前景掩模图像。
本发明所采取的第三技术方案是:
一种基于时空分类的动态背景差分检测装置,包括:
存储器,用于存放程序;
处理器,用于执行所述程序以用于:
在时间序列上通过分组采样对图像中的每个像素建立对应的背景模型,并根据待检测像素对背景模型内的像素进行分类,得到粗糙的前景掩模图像;
以粗糙的前景掩模图像中的前景像素点为中心,将中心像素点设定邻域范围内的像素点进行分类,并根据设定邻域范围内与中心像素点同类的像素点中属于背景像素点的数目,将中心像素点修正为背景像素点或继续保持为前景像素点,从而得到准确的前景掩模图像。
本发明的方法的有益效果是:在时间序列上通过分组采样对图像中的每个像素建立对应的背景模型,建立像素的背景模型时采用了分组采样的方法,与直接采用连续视频帧采样的方式相比,采样范围更大,能避免过多样本集中在固定的采样时间点附近的情况出现,样本的代表性更强,增强了背景模型对动态背景描述的能力;根据设定邻域范围内与中心像素点同类的像素点中属于背景像素点的数目,将中心像素点修正为背景像素点或继续保持为前景像素点,只采用了设定邻域范围内与中心像素点同类的像素点来确定前景像素点是否为真实的前景像素点,而不是盲目使用所有的邻域像素,有利于提高检测的正确率。
本发明的系统的有益效果是:包括时间分类模块和空间分类模块,时间分类模块建立像素的背景模型时采用了分组采样的方法,与直接采用连续视频帧采样的方式相比,采样范围更大,能避免过多样本集中在固定的采样时间点附近的情况出现,样本的代表性更强,增强了背景模型对动态背景描述的能力;空间分类模块根据设定邻域范围内与中心像素点同类的像素点中属于背景像素点的数目,将中心像素点修正为背景像素点或继续保持为前景像素点,只采用了设定邻域范围内与中心像素点同类的像素点来确定前景像素点是否为真实的前景像素点,而不是盲目使用所有的邻域像素,有利于提高检测的正确率。
本发明的装置的有益效果是:处理器执行存储器存放的程序以用于在时间序列上通过分组采样对图像中的每个像素建立对应的背景模型,建立像素的背景模型时采用了分组采样的方法,与直接采用连续视频帧采样的方式相比,采样范围更大,能避免过多样本集中在固定的采样时间点附近的情况出现,样本的代表性更强,增强了背景模型对动态背景描述的能力;处理器执行存储器存放的程序以用于根据设定邻域范围内与中心像素点同类的像素点中属于背景像素点的数目,将中心像素点修正为背景像素点或继续保持为前景像素点,只采用了设定邻域范围内与中心像素点同类的像素点来确定前景像素点是否为真实的前景像素点,而不是盲目使用所有的邻域像素,有利于提高检测的正确率。
附图说明
图1为本发明一种基于时空分类的动态背景差分检测方法的流程图;
图2为本发明时间分类阶段的背景模型初始化和更新流程图;
图3为本发明时间分类阶段的像素分类检测流程图;
图4为本发明空间分类阶段的检测流程图。
具体实施方式
参照图1,一种基于时空分类的动态背景差分检测方法,包括以下步骤:
在时间序列上通过分组采样对图像中的每个像素建立对应的背景模型,并根据待检测像素对背景模型内的像素进行分类,得到粗糙的前景掩模图像;
以粗糙的前景掩模图像中的前景像素点为中心,将中心像素点设定邻域范围内的像素点进行分类,并根据设定邻域范围内与中心像素点同类的像素点中属于背景像素点的数目,将中心像素点修正为背景像素点或继续保持为前景像素点,从而得到准确的前景掩模图像。
其中,图像可为视频图像(由一帧或多帧视频组成)。准确的前景掩模图像反映了运动目标检测的结果。
参照图2和图3,进一步作为优选的实施方式,所述在时间序列上通过分组采样对图像中的每个像素建立对应的背景模型,并根据待检测像素对背景模型内的像素进行分类,得到粗糙的前景掩模图像这一步骤,具体包括:
选取视频第一帧图像作为初始参考背景图像;
对视频图像中的每个像素,选取视频前N帧图像采用分组采样的方法初始化背景模型;
采用背景模型更新参考背景图像;
每间隔k帧图像更新背景模型;
根据待检测像素对背景模型内的像素进行分类,得到粗糙的前景掩模图像。
其中,N和k均为正整数。k与分组采样的方法中每个采样组内的像素值个数相等。
进一步作为优选的实施方式,所述对视频图像中的每个像素,选取视频前N帧图像采用分组采样的方法初始化背景模型这一步骤,具体包括:
将视频前N帧图像同一位置的像素值按时间顺序平均分成m个采样组,每个采样组有k个像素值,其中N=mk;
在m个采样组的每个组内采用最邻近像素采样法,选取与参考背景像素距离最小的像素作为该采样组的像素样本,所述采样组的像素样本选取公式为:其中,cs为采样组的像素样本,ci为采样组内的像素,cbg为参考背景像素;
将m个采样组的m个像素样本组成背景模型,所述背景模型C的表达式为:其中分别为第1到m个采样组的像素样本。
进一步作为优选的实施方式,所述采用背景模型更新参考背景图像这一步骤,具体为:
根据背景模型的像素样本采用最邻近像素采样法更新参考背景图像,所述参考背景图像的更新公式为:其中,和分别为更新前和更新后的参考背景图像,为背景模型C的第j个像素样本,j=1,2,…,m。
本发明在采用背景模型更新参考背景图像后,对于后续的视频图像,每k帧图像即可组成一个新的采样组,利用式得到新的像素样本,加入到背景模型C中,并删除C中的第一个像素样本,使总样本数保持为m个。更新后的背景模型会被用来再次更新参考背景图像,如图2所示。
参照图3,进一步作为优选的实施方式,所述根据待检测像素对背景模型内的像素进行分类,得到粗糙的前景掩模图像这一步骤,具体包括:
在背景模型C中寻找出所有与待检测像素同类的像素,并将所有与待检测像素同类的像素数目记为T,所述与待检测像素同类的像素满足:其中,ct为待检测像素,ε为给定的第一阈值,为背景模型C的第j个像素样本,j=1,2,…,m;
判断数目T是否大于给定的第二阈值ft,若是,则将ct判定为背景像素点,反之,则将ct判定为前景像素点,最终得到粗糙的前景掩模图像。
参照图4,进一步作为优选的实施方式,所述以粗糙的前景掩模图像中的前景像素点为中心,将中心像素点设定邻域范围内的像素点进行分类,并根据设定邻域范围内与中心像素点同类的像素点中属于背景像素点的数目,将中心像素点修正为背景像素点或继续保持为前景像素点,从而得到准确的前景掩模图像这一步骤,具体包括:
对粗糙的前景掩模图像中的每一个前景像素点,以该前景像素点为中心设置一个半径为r且窗口尺寸大小为(2r+1)2的方形窗口W;
以中心像素点在原始视频帧中的像素值为依据,将窗口W内的像素进行分类,寻找并记录与窗口W中心像素点同类的像素点中属于背景像素点的像素点数目;
根据记录的像素点数目将窗口W中心像素点修正为背景像素点或继续保持为前景像素点。
进一步作为优选的实施方式,所述以中心像素点在原始视频帧中的像素值为依据,将窗口W内的像素进行分类,寻找并记录与窗口W中心像素点同类的像素点中属于背景像素点的像素点数目这一步骤,具体包括:
找出窗口W中心像素点在原始视频帧中的像素值cf;
在窗口W内的像素点中寻找与cf同类的像素点,所述与cf同类的像素点满足:ωw·||cw-cf||≤γ,其中,cw为窗口W内的像素点,γ为给定的第三阈值,ωw为cw的权重系数,ωw的表达式为:pw为cw的像素坐标,pf为cf的像素坐标,||cw-cf||为cw与cf的像素间距离,||pw-pf||为pw与pf的像素坐标间距离,I{*}为指示函数,当条件{*}为真时,I{*}=1,否则I{*}=0,h为距离阈值;
寻找并记录窗口W内与cf同类的像素点中属于背景像素点的像素点数目D0。
进一步作为优选的实施方式,所述根据记录的像素点数目将窗口W中心像素点修正为背景像素点或继续保持为前景像素点这一步骤,具体为:
判断记录的像素点数目D0是否满足D0≥α·D,若是,则将窗口W中心像素点修正为背景像素点,反之,则将窗口W中心像素点继续保持为前景像素点,其中,D为窗口W内所有像素点的数目,α为给定的比例系数。
与图1的方法相对应,本发明还提供了一种基于时空分类的动态背景差分检测系统,包括以下模块:
时间分类模块,用于在时间序列上通过分组采样对图像中的每个像素建立对应的背景模型,并根据待检测像素对背景模型内的像素进行分类,得到粗糙的前景掩模图像;
空间分类模块,用于以粗糙的前景掩模图像中的前景像素点为中心,将中心像素点设定邻域范围内的像素点进行分类,并根据设定邻域范围内与中心像素点同类的像素点中属于背景像素点的数目,将中心像素点修正为背景像素点或继续保持为前景像素点,从而得到准确的前景掩模图像。
与图1的方法相对应,本发明还提供了一种基于时空分类的动态背景差分检测装置,包括:
存储器,用于存放程序;
处理器,用于执行所述程序以用于:
在时间序列上通过分组采样对图像中的每个像素建立对应的背景模型,并根据待检测像素对背景模型内的像素进行分类,得到粗糙的前景掩模图像;
以粗糙的前景掩模图像中的前景像素点为中心,将中心像素点设定邻域范围内的像素点进行分类,并根据设定邻域范围内与中心像素点同类的像素点中属于背景像素点的数目,将中心像素点修正为背景像素点或继续保持为前景像素点,从而得到准确的前景掩模图像。
下面结合说明书附图和具体实施例对本发明作进一步解释和说明。
实施例一
本发明提出了一种新的基于时空分类的动态背景差分检测方法,该方法在建立背景模型时采用了分组采样的方法,而现有技术则直接用连续视频帧去初始化背景模型,故本发明所采用的方法能得到更具代表性的像素样本,能更好地表示动态背景;本发明在空间分类步骤区分了邻域像素的类别,只用同类像素去进一步确定中心像素是否为真实的前景像素,而现有技术则利用了所有的邻域像素来描述背景像素,如果有部分邻域像素是前景像素,则会因被错误描述为背景像素而影响检测效果,所以本发明所采用的方法能有效提高在动态背景下的运动目标检测正确率。
如图1所示,本发明的动态背景差分检测方法主要包括时间分类和空间分类两个步骤。时间分类指的是,先在时间序列上通过分组采样对图像中的每个像素建立对应的背景模型,再根据待检测像素对其背景模型内的像素进行分类,如果与待检测像素属于同类的像素数目大于给定的阈值,则待检测像素就被判定为背景像素,否则动态背景差分检测方法就判定为前景像素,据此得到前景目标的粗糙掩模图像。空间分类是在粗糙掩模的基础上,进一步抑制误检的前景像素点,具体为:以粗糙掩模中的前景点为中心,将该前景点设定邻域范围内的像素点进行分类,如果设定邻域范围内与中心像素点同类的像素点有超过设定数量的像素点属于背景像素,则该前景点就会被修正为背景点,从而进一步得到一个更准确的前景掩模。
如图2和图3所示,时间分类步骤具体包括:
(1)背景模型初始化和更新。
如图2所示,背景模型初始化和更新过程可进一步细分为:
1)背景模型初始化阶段
在背景模型初始化阶段,通过分组采样的方法对图像中每一像素建立背景模型:首先,选取视频第一帧图像作为初始参考背景图像,记为cbg。接着,对于视频图像中的每一个像素,利用前N帧图像初始化背景模型,具体为:将前N帧图像同一位置的像素值按时间顺序平均分成m个采样组,每组有k个像素值,其中N=mk,在每个组内采取最邻近像素采样法,即选取与背景像素距离最小的像素作为一个像素样本,像素样本的选取公式为:
其中,ci为采样组内的像素,cs为采样得到的像素样本。对于m个采样组,则得到m个像素样本,组成背景模型C:
2)更新阶段
在更新阶段,根据背景模型C中的像素样本利用最邻近像素采样法更新参考背景图像,即有:
对于后续的视频图像,每k帧图像即可组成一个新的采样组,利用式(1)得到新的像素样本,加入到背景模型C中,并删除C中的第一个像素样本,使总样本数保持为m个。更新后的背景模型会被用来再次更新参考背景图像,如图2所示。
(2)像素分类检测。
如图3所示,像素分类检测可进一步细分为:
1)在背景模型C中寻找满足式(4)的像素作为与待检测像素同类的像素,并将待检测像素同类的像素数目记为T:
式(4)中,ct表示待检测像素,ε为给定的第一阈值。
2)判断数目T是否大于给定的第二阈值ft,若是,则将ct判定为背景像素点,反之,则将ct判定为前景像素点,即如式(5)所示:
时间分类步骤结束,得到一个含有少量噪声的粗糙前景掩模图像。
如图4所示,空间分类步骤具体包括:
(1)设置方形窗口。
在空间分类阶段,为进一步确定粗糙前景掩模中的前景点是真实的前景点而不是动态背景像素,对粗糙掩模图像中的每一个前景点,以其为中心设置一个半径为r的方形窗口,记为W,该窗口尺寸大小为(2r+1)2。
(2)以中心前景点在原始视频帧(即分组采样前的图像)中的像素值为依据,将窗口内的像素进行归类。
设粗糙前景掩模中的前景点在原始视频帧中的像素值为cf,cw为窗口内的像素点,在窗口像素中寻找与cf同类的像素,即寻找满足式(6)的像素:
ωw·||cw-cf||≤γ (6)
其中,γ为给定的第三阈值,ωw为cw的权重系数,ωw的定义如下:
其中,pw为cw的像素坐标,pf为cf的像素坐标,||cw-cf||为cw与cf的像素间距离,||pw-pf||为pw与pf的像素坐标间距离,I{*}为指示函数,当条件{*}为真时,I{*}=1,否则I{*}=0,h为距离阈值。式(7)中,像素之间的坐标距离越大,ωw就越大,说明像素间距离越大时,只有在||cw-cf||较小的情况下,才有式(6)成立。同时,式(7)中的指示函数I{*}使得||pw-pf||≤h时,恒有ωw=0,即恒有式(6)成立,其表示cw与cf的距离小于h时,两者一定为同类像素。
(3)根据式(6)寻找与窗口中心像素cf同类的像素,并根据粗糙前景掩模的结果,将其中属于背景像素点的像素数目记为D0,以及将该窗口内的所有像素数目记为D。
(4)利用式(8)进一步确定窗口中心的像素点是否真实的前景像素点:
其中,α为给定的比例系数。
式(8)说明如果D0≥α·D,则窗口中心像素点不是真实的前景点,应修正为背景点。
空间分类步骤在粗糙前景掩模的基础上进一步得到一个不含噪声、前景背景分割准确的准确前景掩模。
与现有技术相比,本发明具有以下优点:
1)建立像素的背景模型时采用了分组采样的形式,扩了采样范围,有利于避免采样点过多地落在前景目标上,同时分组采样避免了过多样本集中在固定的采样时间点附近,增强了样本的代表性,从而增强了背景模型对动态背景描述的有效性。
2)在采样组选择像素样本时采用了最邻近像素采样法,即直接将最接近当前背景像素的像素点作为样本,同时用最邻近像素更新参考背景图像,不需复杂的数学建模过程,也不需要浮点型运算,十分简洁高效,有利于在计算机上实现。
3)在空间分类步骤中,根据窗口邻域像素来进一步确定粗糙掩模中的真实前景点,并在此过程中对邻域像素进行了分类,只用与窗口中心像素同类的像素来确定其是否为真实前景点,而不是盲目使用所有的邻域像素,有利于提高检测的正确率。
4)在空间分类步骤,本发明在分类过程考虑了像素值差异与像素坐标距离,并利用式(6)和式(7)将像素值差异与像素坐标距离两个不同大小尺度的量统一起来,并在式(7)中引入了指示函数,使得在小邻域范围内的像素被当作与中心像素同类的像素,小邻域范围以外的像素则根据式(6)的计算结果来分类,这种分类方式与实际情况更相符,分类结果更准确。
以上是对本发明的较佳实施进行了具体说明,但本发明并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种基于时空分类的动态背景差分检测方法,其特征在于:包括以下步骤:
在时间序列上通过分组采样对图像中的每个像素建立对应的背景模型,并根据待检测像素对背景模型内的像素进行分类,得到粗糙的前景掩模图像;
以粗糙的前景掩模图像中的前景像素点为中心,将中心像素点设定邻域范围内的像素点进行分类,并根据设定邻域范围内与中心像素点同类的像素点中属于背景像素点的数目,将中心像素点修正为背景像素点或继续保持为前景像素点,从而得到准确的前景掩模图像。
2.根据权利要求1所述的一种基于时空分类的动态背景差分检测方法,其特征在于:所述在时间序列上通过分组采样对图像中的每个像素建立对应的背景模型,并根据待检测像素对背景模型内的像素进行分类,得到粗糙的前景掩模图像这一步骤,具体包括:
选取视频第一帧图像作为初始参考背景图像;
对视频图像中的每个像素,选取视频前N帧图像采用分组采样的方法初始化背景模型;
采用背景模型更新参考背景图像;
每间隔k帧图像更新背景模型;
根据待检测像素对背景模型内的像素进行分类,得到粗糙的前景掩模图像。
3.根据权利要求2所述的一种基于时空分类的动态背景差分检测方法,其特征在于:所述对视频图像中的每个像素,选取视频前N帧图像采用分组采样的方法初始化背景模型这一步骤,具体包括:
将视频前N帧图像同一位置的像素值按时间顺序平均分成m个采样组,每个采样组有k个像素值,其中N=mk;
在m个采样组的每个组内采用最邻近像素采样法,选取与参考背景像素距离最小的像素作为该采样组的像素样本,所述采样组的像素样本选取公式为:其中,cs为采样组的像素样本,ci为采样组内的像素,cbg为参考背景像素;
将m个采样组的m个像素样本组成背景模型,所述背景模型C的表达式为:其中分别为第1到m个采样组的像素样本。
4.根据权利要求3所述的一种基于时空分类的动态背景差分检测方法,其特征在于:所述采用背景模型更新参考背景图像这一步骤,具体为:
根据背景模型的像素样本采用最邻近像素采样法更新参考背景图像,所述参考背景图像的更新公式为:其中,和分别为更新前和更新后的参考背景图像,为背景模型C的第j个像素样本,j=1,2,…,m。
5.根据权利要求3所述的一种基于时空分类的动态背景差分检测方法,其特征在于:所述根据待检测像素对背景模型内的像素进行分类,得到粗糙的前景掩模图像这一步骤,具体包括:
在背景模型C中寻找出所有与待检测像素同类的像素,并将所有与待检测像素同类的像素数目记为T,所述与待检测像素同类的像素满足:其中,ct为待检测像素,ε为给定的第一阈值,为背景模型C的第j个像素样本,j=1,2,…,m;
判断数目T是否大于给定的第二阈值ft,若是,则将ct判定为背景像素点,反之,则将ct判定为前景像素点,最终得到粗糙的前景掩模图像。
6.根据权利要求1-5任一项所述的一种基于时空分类的动态背景差分检测方法,其特征在于:所述以粗糙的前景掩模图像中的前景像素点为中心,将中心像素点设定邻域范围内的像素点进行分类,并根据设定邻域范围内与中心像素点同类的像素点中属于背景像素点的数目,将中心像素点修正为背景像素点或继续保持为前景像素点,从而得到准确的前景掩模图像这一步骤,具体包括:
对粗糙的前景掩模图像中的每一个前景像素点,以该前景像素点为中心设置一个半径为r且窗口尺寸大小为(2r+1)2的方形窗口W;
以中心像素点在原始视频帧中的像素值为依据,将窗口W内的像素进行分类,寻找并记录与窗口W中心像素点同类的像素点中属于背景像素点的像素点数目;
根据记录的像素点数目将窗口W中心像素点修正为背景像素点或继续保持为前景像素点。
7.根据权利要求6所述的一种基于时空分类的动态背景差分检测方法,其特征在于:所述以中心像素点在原始视频帧中的像素值为依据,将窗口W内的像素进行分类,寻找并记录与窗口W中心像素点同类的像素点中属于背景像素点的像素点数目这一步骤,具体包括:
找出窗口W中心像素点在原始视频帧中的像素值cf;
在窗口W内的像素点中寻找与cf同类的像素点,所述与cf同类的像素点满足:ωw·||cw-cf||≤γ,其中,cw为窗口W内的像素点,γ为给定的第三阈值,ωw为cw的权重系数,ωw的表达式为:pw为cw的像素坐标,pf为cf的像素坐标,||cw-cf||为cw与cf的像素间距离,||pw-pf||为pw与pf的像素坐标间距离,I{*}为指示函数,当条件{*}为真时,I{*}=1,否则I{*}=0,h为距离阈值;
寻找并记录窗口W内与cf同类的像素点中属于背景像素点的像素点数目D0。
8.根据权利要求7所述的一种基于时空分类的动态背景差分检测方法,其特征在于:所述根据记录的像素点数目将窗口W中心像素点修正为背景像素点或继续保持为前景像素点这一步骤,具体为:
判断记录的像素点数目D0是否满足D0≥α·D,若是,则将窗口W中心像素点修正为背景像素点,反之,则将窗口W中心像素点继续保持为前景像素点,其中,D为窗口W内所有像素点的数目,α为给定的比例系数。
9.一种基于时空分类的动态背景差分检测系统,其特征在于:包括以下模块:
时间分类模块,用于在时间序列上通过分组采样对图像中的每个像素建立对应的背景模型,并根据待检测像素对背景模型内的像素进行分类,得到粗糙的前景掩模图像;
空间分类模块,用于以粗糙的前景掩模图像中的前景像素点为中心,将中心像素点设定邻域范围内的像素点进行分类,并根据设定邻域范围内与中心像素点同类的像素点中属于背景像素点的数目,将中心像素点修正为背景像素点或继续保持为前景像素点,从而得到准确的前景掩模图像。
10.一种基于时空分类的动态背景差分检测装置,其特征在于:包括:
存储器,用于存放程序;
处理器,用于执行所述程序以用于:
在时间序列上通过分组采样对图像中的每个像素建立对应的背景模型,并根据待检测像素对背景模型内的像素进行分类,得到粗糙的前景掩模图像;
以粗糙的前景掩模图像中的前景像素点为中心,将中心像素点设定邻域范围内的像素点进行分类,并根据设定邻域范围内与中心像素点同类的像素点中属于背景像素点的数目,将中心像素点修正为背景像素点或继续保持为前景像素点,从而得到准确的前景掩模图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710659723.6A CN107578424B (zh) | 2017-08-04 | 2017-08-04 | 一种基于时空分类的动态背景差分检测方法、系统及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710659723.6A CN107578424B (zh) | 2017-08-04 | 2017-08-04 | 一种基于时空分类的动态背景差分检测方法、系统及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107578424A true CN107578424A (zh) | 2018-01-12 |
CN107578424B CN107578424B (zh) | 2020-09-29 |
Family
ID=61035644
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710659723.6A Active CN107578424B (zh) | 2017-08-04 | 2017-08-04 | 一种基于时空分类的动态背景差分检测方法、系统及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107578424B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110738682A (zh) * | 2019-10-23 | 2020-01-31 | 南京航空航天大学 | 一种前景分割方法及系统 |
CN111027602A (zh) * | 2019-11-25 | 2020-04-17 | 清华大学深圳国际研究生院 | 一种多级结构目标检测方法及系统 |
CN111476729A (zh) * | 2020-03-31 | 2020-07-31 | 北京三快在线科技有限公司 | 一种目标识别的方法及装置 |
CN113727176A (zh) * | 2021-08-30 | 2021-11-30 | 杭州国芯科技股份有限公司 | 一种视频运动字幕检测方法 |
CN117710235A (zh) * | 2024-02-06 | 2024-03-15 | 浙江华感科技有限公司 | 图像目标增强方法、装置、计算机设备和存储介质 |
CN117710235B (zh) * | 2024-02-06 | 2024-05-14 | 浙江华感科技有限公司 | 图像目标增强方法、装置、计算机设备和存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998033323A1 (en) * | 1997-01-29 | 1998-07-30 | Levent Onural | Rule-based moving object segmentation |
US6870945B2 (en) * | 2001-06-04 | 2005-03-22 | University Of Washington | Video object tracking by estimating and subtracting background |
US7916944B2 (en) * | 2007-01-31 | 2011-03-29 | Fuji Xerox Co., Ltd. | System and method for feature level foreground segmentation |
CN104392468A (zh) * | 2014-11-21 | 2015-03-04 | 南京理工大学 | 基于改进视觉背景提取的运动目标检测方法 |
CN105160689A (zh) * | 2015-07-22 | 2015-12-16 | 南通大学 | 一种针对雨雪天气的运动目标检测方法 |
CN106157332A (zh) * | 2016-07-07 | 2016-11-23 | 合肥工业大学 | 一种基于ViBe算法的运动检测优化方法 |
CN106910203A (zh) * | 2016-11-28 | 2017-06-30 | 江苏东大金智信息系统有限公司 | 一种视频监测中运动目标的快速检测方法 |
-
2017
- 2017-08-04 CN CN201710659723.6A patent/CN107578424B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998033323A1 (en) * | 1997-01-29 | 1998-07-30 | Levent Onural | Rule-based moving object segmentation |
US6870945B2 (en) * | 2001-06-04 | 2005-03-22 | University Of Washington | Video object tracking by estimating and subtracting background |
US7916944B2 (en) * | 2007-01-31 | 2011-03-29 | Fuji Xerox Co., Ltd. | System and method for feature level foreground segmentation |
CN104392468A (zh) * | 2014-11-21 | 2015-03-04 | 南京理工大学 | 基于改进视觉背景提取的运动目标检测方法 |
CN105160689A (zh) * | 2015-07-22 | 2015-12-16 | 南通大学 | 一种针对雨雪天气的运动目标检测方法 |
CN106157332A (zh) * | 2016-07-07 | 2016-11-23 | 合肥工业大学 | 一种基于ViBe算法的运动检测优化方法 |
CN106910203A (zh) * | 2016-11-28 | 2017-06-30 | 江苏东大金智信息系统有限公司 | 一种视频监测中运动目标的快速检测方法 |
Non-Patent Citations (2)
Title |
---|
李熙莹等: "高饱和交叉口背景提取与更新算法", 《中山大学学报(自然科学版)》 * |
李莉: "视频序列中运动目标检测技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110738682A (zh) * | 2019-10-23 | 2020-01-31 | 南京航空航天大学 | 一种前景分割方法及系统 |
CN110738682B (zh) * | 2019-10-23 | 2022-02-01 | 南京航空航天大学 | 一种前景分割方法及系统 |
CN111027602A (zh) * | 2019-11-25 | 2020-04-17 | 清华大学深圳国际研究生院 | 一种多级结构目标检测方法及系统 |
CN111027602B (zh) * | 2019-11-25 | 2023-04-07 | 清华大学深圳国际研究生院 | 一种多级结构目标检测方法及系统 |
CN111476729A (zh) * | 2020-03-31 | 2020-07-31 | 北京三快在线科技有限公司 | 一种目标识别的方法及装置 |
CN113727176A (zh) * | 2021-08-30 | 2021-11-30 | 杭州国芯科技股份有限公司 | 一种视频运动字幕检测方法 |
CN117710235A (zh) * | 2024-02-06 | 2024-03-15 | 浙江华感科技有限公司 | 图像目标增强方法、装置、计算机设备和存储介质 |
CN117710235B (zh) * | 2024-02-06 | 2024-05-14 | 浙江华感科技有限公司 | 图像目标增强方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN107578424B (zh) | 2020-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108898047B (zh) | 基于分块遮挡感知的行人检测方法及系统 | |
CN109829398B (zh) | 一种基于三维卷积网络的视频中的目标检测方法 | |
CN108830285B (zh) | 一种基于Faster-RCNN的加强学习的目标检测方法 | |
CN112233177B (zh) | 一种无人机位姿估计方法及系统 | |
CN110287826B (zh) | 一种基于注意力机制的视频目标检测方法 | |
CN108985169B (zh) | 基于深度学习目标检测与动态背景建模的商店跨门经营检测方法 | |
CN108647694B (zh) | 基于上下文感知和自适应响应的相关滤波目标跟踪方法 | |
CN109949341B (zh) | 一种基于人体骨架结构化特征的行人目标跟踪方法 | |
CN107133955B (zh) | 一种多层次结合的协同显著性检测方法 | |
US7324693B2 (en) | Method of human figure contour outlining in images | |
CN107665498B (zh) | 基于典型示例挖掘的全卷积网络飞机检测方法 | |
CN110263712B (zh) | 一种基于区域候选的粗精行人检测方法 | |
CN112967341B (zh) | 基于实景图像的室内视觉定位方法、系统、设备及存储介质 | |
CN104978567B (zh) | 基于场景分类的车辆检测方法 | |
CN107578424A (zh) | 一种基于时空分类的动态背景差分检测方法、系统及装置 | |
CN109974743B (zh) | 一种基于gms特征匹配及滑动窗口位姿图优化的视觉里程计 | |
CN111967313B (zh) | 一种深度学习目标检测算法辅助的无人机图像标注方法 | |
CN103093198B (zh) | 一种人群密度监测方法及装置 | |
CN111340881B (zh) | 一种动态场景下基于语义分割的直接法视觉定位方法 | |
CN112560675B (zh) | Yolo与旋转-融合策略相结合的鸟类视觉目标检测方法 | |
CN108734200B (zh) | 基于bing特征的人体目标视觉检测方法和装置 | |
CN111310756A (zh) | 一种基于深度学习的损伤玉米颗粒检测和分类方法 | |
CN108804992A (zh) | 一种基于深度学习的人群统计方法 | |
CN109785359B (zh) | 一种基于深度特征金字塔与跟踪损失的视频目标检测方法 | |
CN114565675A (zh) | 一种在视觉slam前端去除动态特征点的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |