CN109544592A - 针对相机移动的运动目标检测算法 - Google Patents
针对相机移动的运动目标检测算法 Download PDFInfo
- Publication number
- CN109544592A CN109544592A CN201811259760.9A CN201811259760A CN109544592A CN 109544592 A CN109544592 A CN 109544592A CN 201811259760 A CN201811259760 A CN 201811259760A CN 109544592 A CN109544592 A CN 109544592A
- Authority
- CN
- China
- Prior art keywords
- pixel
- model
- background
- point
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 74
- 239000000203 mixture Substances 0.000 claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims abstract description 13
- 230000003287 optical effect Effects 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 12
- 238000012795 verification Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 3
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims 1
- 239000010931 gold Substances 0.000 claims 1
- 229910052737 gold Inorganic materials 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 38
- 230000006978 adaptation Effects 0.000 abstract 1
- 238000012360 testing method Methods 0.000 description 18
- 230000000694 effects Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
针对自然环境下运动目标检测时相机移动问题,本发明提出一种适应相机移动的运动目标检测方案。首先用高斯混合模型初始化背景模型;然后采用金字塔光流法检测相邻两帧图像的运动光流特征点,并使用RANSAC算法筛选出正确的匹配点对,通过匹配点对的偏移量来估计相机偏移量,获得图像匹配单应矩阵,恢复出与当前帧匹配的背景模型,该模型做为最终的背景模型用于当前帧的运动目标检测。在背景建模的过程中,提出了基于空间元素与时间元素概念的高斯混合背景模型,空间元素提高检测的准确度,时间元素提高背景模型随背景变化的适应能力。
Description
技术领域
本发明属于图像处理技术领域,具体涉及一种针对相机移动的运动目标 检测算法。通过对传统混合高斯背景建模算法的改进,使原算法能够在相机 移动的情况下检测运动目标,提高了算法的检测准确度与召回率。
背景技术
目标检测是计算机视觉领域一个重要的研究方向,经过几十年来的研究 人员的努力,运动目标检测技术取得了不错的成果,广泛应用于智能监控、 多媒体应用等领域。这些年来,根据应用场合、技术方法等方面的不同,学 者们提出了众多不同的运动目标检测的方法,以适应复杂多变的环境。
早在上个世纪70年代末,Jain等人提出了使用帧间差分的方法来提取运 动目标。帧差法对包含运动目标的场景有着比较强的鲁棒性,且运算速度快, 但该方法一般不能完全检测出运动物体的所有像素点,常常在检测到的运动 物体内部出现“空洞”现象。针对帧差法的不足,学者们提出了一种基于统计学 原理的运动目标检测的思路,即:先通过统计学理论建立一个背景模型,再 利用背景差分法对运动目标与背景的像素点进行分类。1997年Wren等人提 出单高斯背景建模方法,利用阈值判断像素点是否属于前景。然而,背景通常是复杂的多模情况(如晃动的树叶等),所以使用单高斯模型往往不能准确 地描述背景模型。因此,1999年Stauffer等人提出了经典的混合高斯背景建 模法,该方法通常能够很好地适应复杂场景,并通过模型参数的自动计算来 更新背景模型,但是由于增加了高斯分布的个数,计算量也增大。在过去的 十几年里,提出了很多基于混合高斯模型的改进算法,如:2004年Zivkovic 等人提出的高斯模型个数自适应的算法,使得算法效率、鲁棒性得以提升。 然而,实际情况下的背景往往是快速变化的,有时候并不符合高斯分布,故 使用高斯模型进行背景建模就会产生问题。因此,2000年Elgammal等人提出 了一种无参数的基于核密度估计的运动目标检测法,该方法不需要对背景的 密度分布做任何假设,而是通过最近的几个图像样本信息利用标准核函数准 确地估计出像素点,进行提取运动目标。实验结果表明该方法在复杂的户外 场景中有较好的适应性,但缺点是计算量大,实时性不好。2005年,Wang 等人提出了基于样本一致性(SACON)的背景建模方法。该方法同样也避免 了对视频序列的像素值进行任何概率估计的假设,而是先通过计算新像素与 背景模型的样本的距离,然后统计距离相近的样本数目,最后根据样本数目 的多少来判断是否为前景。2009年,Barnich等人在又提出了一种新颖的基于 像素点的运动目标检测法,并命名为视觉背景提取法(ViBe),该算法直接对每 一个像素点按照一定的规则随机地选取一定数量的像素值进行背景建模,然 后采用欧氏距离对像素点进行前景与背景的分类。该算法的优点是不需要假 定任何的概率模型,并且可以在视频序列的第二帧就进行运动目标的检测,计算速度也很快。2012年,Hofmann等人首次提出了PBAS(Pixel-Based AdaptiveSegmenter)运动目标检测法。该算法根据SACON与ViBe两种算法 的优势进行相关结合与改进,使得目标检测准确度得到了进一步的提高,但 该算法的计算量较大,实时性不好。
上述目标检测算法都是针对相机静止状态下做的检测,广场上的目标监 控,采用多摄像头监控多个方向,实现对某个运动目标的检测,多摄像头增 加了成本。一台云台摄像头可以完成多方向的监控,移动摄像头如何实现对 运动目标的检测,上述目标检测算法无法解决该问题。
发明内容
为此,需要提供一种……
针对上述技术问题,本发明提出了一种针对相机移动的运动目标检测算 法,该算法在混合高斯背景建模方法上加入了相机移动补偿算法、像素邻域 前景检测算法与像素年龄值背景模型更新算法来适应相机的移动,并提高检 测的精度,加快算法的执行速度。
为实现上述目的,本发明采用如下技术方案:
针对相机移动的运动目标检测算法,它包括以下步骤,
S1,获取视频信息,以视频第一帧图像数据为基础,建立初始混合高斯 背景模型;
S2,相邻两帧图像之间采用金字塔光流跟踪算法,获取相邻两帧图像中 运动目标的光流特征点,采用RANSAC算法筛选出目标点,根据筛选结果计 算相邻两帧图像之间的单应矩阵;
S3,使用步骤S2中得到的单应矩阵,对步骤S1中的初始混合高斯背景 模型作透视变换,得到最终混合高斯背景模型;
S4,待检测图像以像素点为处理单位,使用步骤S3中的混合高斯背景模 型判断该像素点是否为前景像素点,如果是前景像素点,则该像素点周围8 邻域的像素点也采用混合高斯背景模型进行相同的判断,若该像素点周围8 邻域的像素点均为前景像素点,则最终判断该像素点为前景点,否则为背景 点;
S5、更新步骤S4中判断为背景点的像素值,获取实时匹配的混合高斯背 景模型,转到步骤S2,实现实时运动目标检测。
本技术方案进一步的优化,所述步骤S1中以视频第一帧图像数据初始化 混合高斯背景模型的均值和方差,建立初始混合高斯背景模型。
本技术方案进一步的优化,步骤S2中将图像分成大小相等的m×n的图 像块,m、n为正整数,取每个图像块的中心点为跟踪点,采用金字塔光流跟 踪算法,计算相邻两帧图像的光流金字塔,根据两帧图像之间的光流来计算 需要跟踪的点的目标点,得到相邻两帧图像之间的匹配点对,采用RANSAC 算法从匹配点对中筛选出目标点,并根据筛选后得到的匹配点对计算相邻两 帧图像之间的单应矩阵。
本技术方案更进一步的优化,所述图像分成大小相等的16×12的图像块, 单应矩阵为3×3矩阵。
本技术方案进一步的优化,所述步骤S4的具体步骤如下:
1)初始化邻域半径r,令r=1;
2)对图像中每个像素点的高斯模型分别按照ωi,t/σi,t从大到小进行排序, 并选取当前像素点前M个高斯模型来描述背景,M满足如下公式:
3)将待检测像素点X与其前M个高斯模型进行匹配校验,如果存在某个 高斯模型与X匹配成功,则认为X为背景点;否则,X标记为待定点;
4)将待定点X与邻域半径r=1的范围内像素点的高斯模型匹配校验。如 果存在某个高斯模型与X匹配成功,则认为X为背景点;否则,认为X为前景 点。
本技术方案进一步的优化,所述步骤S5,age(X)表明图像视场中像素X存 在的时间,age(X)越大,像素X存在的时间越久;
步骤S5中背景模型参数更新公式如下:
ρ=α/ωi,t
ρ'=ρ/Age(Xt)
μi,t=(1-ρ')μi,t-1+ρ'Xt
其中,μi,t,分别表示背景模型在t时刻的均值和方差,Xt表示t时刻的 像素值,ρ传统背景模型更新速率,ρ’是改进后模型的更新速率,α是自定义 学习率,一般取值0.01,ωi,t是第i个高斯模型的权重。
区别于现有技术,上述技术方案具有如下优点:
A)引入KLT图像匹配算法,计算出相邻两帧图像之间的变换关系,以此 变换关系变换初始的混合高斯背景模型,使其克服相机的移动对检测结果带 来的误检的影响。
B)前景检测阶段加入像素邻域的概念,即采用当前像素值与自身模型和8 邻域范围模型对比的双重决策方式判断是否为前景像素。传统的混合高斯背 景模型不考虑相邻像素的相似性,通过增加高斯模型的数量来提高检测的精 确度,但是增加了算法的时间复杂度,在加入了邻域决策的方法后可以采用 较少的模型数量来达到相同的检测效果,并且相比于原算法,加快了计算速 度。
C)在背景模型中除了像素的方差与均值两个模型元素之外,为每个像素 模型加入了年龄值成员元素。年龄值反映出背景模型的更新速度,该像素的 年龄值越大,表明在背景模型中该像素存在时间越长,则在背景模型更新时, 加入的新背景所占的比例越大,原有的背景所占的比例越小,使背景模型的 更新实时适应背景的变化。
附图说明
图1为KLT匹配算法的流程图;
图2为相邻两帧图像之间KLT算法匹配结果图;
图3为基于像素8邻域概念的前景像素检测流程图;
图4为基于像素8邻域概念的前景检测原理图;
图5为有无像素8邻域概念检测结果对比图,图中由左到右依次是原图, 无邻域算法的检测结果,有邻域算法的检测结果;
图6为不同高斯模型数量的检测效果图;
图7为背景模型中像素值年龄示意图;
图8为算法整体流程图;
图9为检测结果评价指标示意图;
图10为Benchmark数据集上Woman视频序列的检测效果图;
图11为Benchmark数据集上CarScale视频序列的检测效果图;
图12为Benchmark数据集上;Freeman1;视频序列的检测效果图。
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果,以下 结合具体实施例并配合附图详予说明。
请参阅图8所示,本发明优选一实施例一种针对相机移动的运动目标检 测算法,它包括以下步骤:
S1,获取视频信息,以视频第一帧图像数据为基础,建立初始混合高斯 背景模型。首先是混合高斯背景模型的初始化,通常选用第一帧图像数据, 这样初始化后的混合高斯背景模型与下一帧需要检测的图像更易符合高斯分 布原理,并且混合高斯背景模型初始化速度更快。以视频第一帧图像数据初 始化混合高斯背景模型的均值和方差,建立初始混合高斯背景模型。
S2,相邻两帧图像之间采用金字塔光流跟踪算法,获取相邻两帧图像中 运动目标的光流特征点,采用RANSAC算法筛选出目标点,根据筛选结果计 算相邻两帧图像之间的单应矩阵。
传统的背景建模算法处理的视频多是相机固定的情况下拍摄的,当相机 发生移动时,传统的算法会将视场中的背景检测成为感兴趣的运动目标,而 KLT图像匹配算法适合解决这个问题。参阅图1所示,为KLT匹配算法的流 程图,即找到两帧图像之间相似的部分,根据两帧图像之间相似的特征点, 给出二者的在空间上的变换关系,用单应矩阵表示。
将当前帧图像分成大小相等的16×12的图像块,取每个图像块的中心点 为初始化跟踪点,当下一帧视频图像变成当前帧图像时,采用金字塔光流跟 踪算法,计算相邻两帧图像的光流金字塔,根据两帧图像之间的光流来计算 由初始化的需要跟踪的点的目标点,得到相邻两帧图像之间的匹配点对。由 于图像匹配的累积误差等原因,得到的匹配点对常常包括一些错误的点对。 为了提高图像匹配的精确度,该实施例采用RANSAC(随机抽样一致算法)筛 选出正确率高的匹配点作为目标点,并根据筛选后得到的匹配点对计算相邻 两帧图像之间的单应矩阵H,该单应矩阵可以说明相邻两帧图像之间的透视 变换关系。该实施例单应矩阵表为3×3矩阵。
S3,使用步骤S2中得到的单应矩阵,对步骤S1中的初始混合高斯背景 模型作透视变换,得到最终混合高斯背景模型,即背景运动补偿模型。
参阅图2所示,为相邻两帧图像之间KLT算法匹配结果图。由图2可以 看出,左边一幅视频帧中提前设置好需要跟踪的点,右边一幅视频帧是采用 金字塔光流跟踪算法来计算由初始化的需要跟踪的点的目标点,通过KLT算 法处理后可以得到两帧图像在空间内的透视变换关系,进而弥补相机的移动 量。
S4,待检测图像以像素点为处理单位,使用步骤S3中的混合高斯背景模 型判断该像素点是否为前景像素点,如果是前景像素点,则该像素点和其周 围8邻域的背景模型进行相同的判断,若结果均为前景像素点,则最终判断 该像素点为前景点,否则为背景点。
传统的高斯背景建模方法假设像素点之间信息不相关,互相孤立。传统 方法为每个像素点单独建模,忽略了像素空间邻域信息的相关性,对背景像 素的描述不够准确,在背景发生变化和背景受到噪声影响的情况下,传统方 法的检测效果往往不理想。
该实施例在背景减除和目标检测的过程中加入了空间元素的概念,即像 素邻域的概念。首先当前像素点与自身背景模型作对比,然后和该像素点8 邻域范围内的背景模型对比,即采用双重决策方式判断该像素点是否为前景 像素点。在前景检测阶段根据传统混合高斯背景建模算法判断输入的当前像 素点是前景点还是背景点,如果是前景点,则该像素点继续和其周围8邻域 的背景模型进行相同的判断,若均未找到匹配的背景模型,则该最终判断像 素点为前景点,否则为背景点。基于像素8邻域概念的前景像素检测流程图如图3所示。
参阅图4所示,为基于像素8邻域概念的前景检测原理图。具体步骤如 下:
1)初始化邻域半径r,令r=1;
2)对图像中每个像素点的高斯模型分别按照ωi,t/σi,t从大到小进行排序, 并选取当前像素点前M个高斯模型来描述背景,M满足如下公式:
3)将待检测像素点X与其前M个高斯模型进行匹配校验,如果存在某个 高斯模型与X匹配成功,则认为X为背景点;否则,X标记为待定点;
4)将待定点X与邻域半径r=1的范围内像素点的高斯模型匹配校验。如 果存在某个高斯模型与X匹配成功,则认为X为背景点;否则,认为X为前景 点。如图4所示,当X与自身的高斯背景模型不匹配时,选择该像素点周围8 邻域的像素点的高斯模型继续匹配校验,进而检测出前景运动目标。
S5、更新步骤S4中判断为背景点的像素值,获取实时匹配的混合高斯背 景模型,转到步骤S2,实现实时运动目标检测。
传统的背景建模算法在背景模型更新的环节,一般采用固定的背景更新 速率,或者采用基于模型权重概念的背景更新方法,上述背景模型更新方法 适用于检测在相机固定的情况下拍摄的视频。当检测的视频是在相机缓慢移 动的情况下拍摄的,则背景的变化会比较剧烈,如果继续使用传统的背景更 新方法,检测结果会出现较大的误差,部分背景像素会被处理成前景运动目 标。针对上述情况,该实施例在传统混合高斯背景模型更新方法的基础上, 为每个像素设置了一个年龄值age(X),age(X)表明图像视场中像素X存在的时 间,age(X)越大,像素X存在的时间越久,则该像素的背景模型中加入当前帧 像素信息的比例越小,背景模型更新速率越低。age(X)可以认为是在背景模型 更新的过程中加入的时间元素。
t时刻,传统混合高斯模型参数更新公式如下:
ρ=α/ωi,t (1)
μi,t=(1-ρ)μi,t-1+ρXt (2)
t时刻,本该实施例算法背景模型参数更新公式如下:
ρ'=ρ/Age(Xt) (4)
μi,t=(1-ρ')μi,t-1+ρ'Xt (5)
其中,μi,t,分别表示背景模型在t时刻的均值和方差,Xt表示t时刻的 像素值,ρ传统背景模型更新速率,ρ’是改进后模型的更新速率,α是自定义 学习率,一般取值0.01,ωi,t是第i个高斯模型的权重。
如图7所示,为背景模型中像素值年龄示意图,其中第一行图像是视频 序列中的相邻3帧图像,第二行图片中的数字代表对应位置的像素的年龄值。 由于相机的移动导致背景的时刻变化,所以在背景模型的更新过程中不能采 用固定的背景更新速度,例如对于视场中坐标点(x,y)位置处的背景像素,在 第m帧时,像素值是V1;在第n帧时,像素值是V2;如V1和V2相差悬殊, 该时刻该位置的背景像素值应和V2相近,在V1的基础上更新背景模型时, 若采用固定的更新速度,则无法获得适应当前时刻的背景模型。为了解决上 述问题,本发明在背景模型更新阶段,为每个背景点模型中加入像素年龄值 的概念,该像素的年龄值越大,表明在背景模型中该像素存在时间越长,则 在背景模型更新时,加入的新背景所占的比例越大,原有的背景所占的比例 越小,使背景模型的更新实时适应背景的变化。
实验结果与分析
为了验证该算法的有效性,选取Benchmark数据集中视频序列Woman、 CarScale、Freeman1进行测试,并与传统混合高斯背景建模算法进行比较。
实验环境与参数
实验平台Visual Studio 2010配置opencv-2.4.9,中央处理器(CPU)型号 Intel(R)Core(TM)i3-3240,主频3.4GHz,4GB内存的配置电脑上完成。
检测评价指标
为了评估改进检测算法的性能,使用准确度(Precision),召回率(Recall), 处理速度三个指标作为评判标准。如图9所示,表达了评价指标的含义。
TP(True Positive):表示检测到的正确前景点数;
TN(True Negative):表示正确的背景点数(真正目标之外);
FN(False Negative):表示错误的背景点数(相对于实际目标范围);
FP(False Positive):表示检测到的错误前景点数(即误检)。
则准确度(Precision)和召回率(Recall)的表达式如下:
Precision=TP/(TP+FP) (7)
Recall=TP/(TP+FN) (8)
Precision能够反映出误检的程度,Precision越大,则检测越准确度越大, 误检越小;Precision越小,则检测准确度越小,误检越大;Recall能够反映出 检测运动目标的完整度,Recall越大,检测出的运动目标完整度越高,Recall 越小,检测出的运动目标完整度越低。处理速度反映出算法处理的实时性问 题,处理速度越快,说明实时性越好。
加入邻域概念对检测结果的影响的分析
图5为有无像素8邻域概念检测结果对比图,图中由左到右依次是原图, 无邻域算法的检测结果,有邻域算法的检测结果。
如图5所示:所检测的视频来自于Benchmark数据库中的CarScale视频 序列,定性可以看出加入邻域检测原理之后,检测的结果的准确度得到了部 分提升。
表1是有无邻域概念检测结果评价指标数值对比表
由表1数据可知,前景检测阶段加入邻域的概念相较于无邻域检测,能 够提高检测结果的准确度和召回率,证明邻域检测的有效性和正确性。
高斯模型的个数对检测结果的影响的分析
传统的混合高斯背景建模算法为了使背景模型更好地适应背景的变化, 提高检测的准确度,召回率等检测指标,采用较多的高斯背景模型为每一个 像素点建立模型,这样做的后果使得算法的执行效率大大降低,算法的时间 复杂度提升,不利于实时检测。本发明中由于加入的邻域相关的概念做前景 像素检测,因此不必采用数量较多的高斯模型作背景建模。图6为同一视频 中采用不同数量的高斯背景模型的检测结果图。选取了视频序列CarScale的 第100帧、第147帧、第185帧图像的检测结果做分析。图6中第一行图像 是视频原图、第二行图像是高斯模型数量为2的检测结果、第三行图像是高 斯模型数量为3的检测结果、第四行图像是高斯模型数量为4的检测结果, 其分别对应的评价指标数值如下表2所示。
表2不同高斯模型数量的检测评价指标
视频序列 | 高斯模型数量 | Precision | Recall | 处理速度 |
CarScale | 2 | 0.905 | 0.943 | 10.2帧/s |
CarScale | 3 | 0.911 | 0.928 | 6.5帧/s |
CarScale | 4 | 0.854 | 0.867 | 3.9帧/s |
由表2中数据可知,高斯模型的数量取2与高斯模型的数量取3两种情 况的Precision和Recall十分接近,但是高斯模型的数量取2的情况下算法执 行速度明显较快。当高斯模型的数量取4时,由于过多的模型数量与邻域概 念的存在,使得背景模型过分刻画背景,导致部分前景检测为背景,此时的 Precision和Recall也能反映这个问题。综上,选用高斯模型的数量为2。
实验结果
如图10、图11、图12所示,分别为Benchmark数据集上Woman、CarScale、 Freeman1三个视频序列的检测效果图。其中GMM采用的高斯模型数量为5。
表3三组视频序列的检测指标
视频序列 | 分辨率 | 算法 | Precision | Recall | 处理速度 |
Woman | 320*240 | 改进算法 | 0.765 | 0.873 | 10.2帧/s |
Woman | 320*240 | GMM | 0.397 | 0.546 | 5.3帧/s |
CarScale | 640*272 | 改进算法 | 0.826 | 0.897 | 7.8帧/s |
CarScale | 640*272 | GMM | 0.401 | 0.761 | 4帧/s |
Freeman1 | 360*240 | 改进算法 | 0.796 | 0.774 | 10.1帧/s |
Freeman1 | 360*240 | GMM | 0.553 | 0.518 | 5.1帧/s |
由表3数据可知,改进后的算法在前景检测阶段加入了邻域相关性原理, 算法采用较少高斯模型数量便能实现较好的检测效果,并且提升了算法的运 行速度。在背景建模之前,加入KLT图像匹配算法,补偿相机的移动量,使 得背景的运动区别于运动物体的运动,进而检测出正确的运动物体。最后在 背景模型更新的过程中,为每一个像素点加入了年龄值的概念,获得实时适 应背景变化的背景模型。通过对传统混合高斯背景建模算法的改进,使得改 进后的算法能够针对相机移动的情况下检测运动目标。
相对于传统的背景建模算法对于检测相机移动的视频,检测效果很不理 想,本发明提出的适应相机移动的背景建模算法,该算法是在传统的混合高 斯模型的基础上做了三个方面的改进。首先,采用KLT运动补偿算法,补偿 相机的移动,以便达到相机静止的检测的效果。然后,参考了VIBE算法像素 邻域的概念,在前景检测阶段,采用当前像素值与自身模型和邻域范围模型 对比的双重决策方式判断是否为前景像素,提高了检测的精度,并且可以减 少高斯模型的数量,提高算法运行速度。最后,在背景模型更新的过程中, 为了适应相机移动而产生的图像匹配误差,本发明算法中加入了时间元素的 概念,即为每一个像素值赋予年龄值,作为背景模型的一部分,得到自适应 背景更新速率,进一步提高检测的精度。通过以上三方面的改进,构造出基 于高斯混合模型的相机移动自适应背景补偿模型,可以很好的解决相机移动 的问题,并且相较于传统高斯混合背景模型算法,本发明提出的算法的运行 速度更快。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来 将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示 这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、 “包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系 列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没 有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设 备所固有的要素。在没有更多限制的情况下,由语句“包括……”或“包含……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中 还存在另外的要素。此外,在本文中,“大于”、“小于”、“超过”等理解为不 包括本数;“以上”、“以下”、“以内”等理解为包括本数。
尽管已经对上述各实施例进行了描述,但本领域内的技术人员一旦得知 了基本创造性概念,则可对这些实施例做出另外的变更和修改,所以以上所 述仅为本发明的实施例,并非因此限制本发明的专利保护范围,凡是利用本 发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用 在其他相关的技术领域,均同理包括在本发明的专利保护范围之内。
Claims (6)
1.针对相机移动的运动目标检测算法,其特征在于:它包括以下步骤,
S1,获取视频信息,以视频第一帧图像数据为基础,建立初始混合高斯背景模型;
S2,相邻两帧图像之间采用金字塔光流跟踪算法,获取相邻两帧图像中运动目标的光流特征点,采用RANSAC算法筛选出目标点,根据筛选结果计算相邻两帧图像之间的单应矩阵;
S3,使用步骤S2中得到的单应矩阵,对步骤S1中的初始混合高斯背景模型作透视变换,得到最终混合高斯背景模型;
S4,待检测图像以像素点为处理单位,使用步骤S3中的混合高斯背景模型判断该像素点是否为前景像素点,如果是前景像素点,则该像素点周围8邻域的像素点也采用混合高斯背景模型进行相同的判断,若该像素点周围8邻域的像素点均为前景像素点,则最终判断该像素点为前景点,否则为背景点;
S5、更新步骤S4中判断为背景点的像素值,获取实时匹配的混合高斯背景模型,转到步骤S2,实现实时运动目标检测。
2.如权利要求1所述的针对相机移动的运动目标检测算法,其特征在于:所述步骤S1中以视频第一帧图像数据初始化混合高斯背景模型的均值和方差,建立初始混合高斯背景模型。
3.如权利要求1所述的针对相机移动的运动目标检测算法,其特征在于:步骤S2中将图像分成大小相等的m×n的图像块,m、n为正整数,取每个图像块的中心点为跟踪点,采用金字塔光流跟踪算法,计算相邻两帧图像的光流金字塔,根据两帧图像之间的光流来计算需要跟踪的点的目标点,得到相邻两帧图像之间的匹配点对,采用RANSAC算法从匹配点对中筛选出目标点,并根据筛选后得到的匹配点对计算相邻两帧图像之间的单应矩阵。
4.如权利要求3所述的针对相机移动的运动目标检测算法,其特征在于:所述图像分成大小相等的16×12的图像块,单应矩阵为3×3矩阵。
5.如权利要求1所述的针对相机移动的运动目标检测算法,其特征在于:所述步骤S4的具体步骤如下:
1)初始化邻域半径r,令r=1;
2)对图像中每个像素点的高斯模型分别按照ωi,t/σi,t从大到小进行排序,并选取当前像素点前M个高斯模型来描述背景,M满足如下公式:
3)将待检测像素点X与其前M个高斯模型进行匹配校验,如果存在某个高斯模型与X匹配成功,则认为X为背景点;否则,X标记为待定点;
4)将待定点X与邻域半径r=1的范围内像素点的高斯模型匹配校验。如果存在某个高斯模型与X匹配成功,则认为X为背景点;否则,认为X为前景点。
6.如权利要求1所述的针对相机移动的运动目标检测算法,其特征在于:所述步骤S5,age(X)表明图像视场中像素X存在的时间,age(X)越大,像素X存在的时间越久;
步骤S5中背景模型参数更新公式如下:
ρ=α/ωi,t
ρ'=ρ/Age(Xt)
μi,t=(1-ρ')μi,t-1+ρ'Xt
其中,μi,t,分别表示背景模型在t时刻的均值和方差,Xt表示t时刻的像素值,ρ传统背景模型更新速率,ρ′是改进后模型的更新速率,α是学习率,ωi,t是第i个高斯模型的权重。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811259760.9A CN109544592B (zh) | 2018-10-26 | 2018-10-26 | 针对相机移动的运动目标检测算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811259760.9A CN109544592B (zh) | 2018-10-26 | 2018-10-26 | 针对相机移动的运动目标检测算法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109544592A true CN109544592A (zh) | 2019-03-29 |
CN109544592B CN109544592B (zh) | 2023-01-17 |
Family
ID=65845718
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811259760.9A Expired - Fee Related CN109544592B (zh) | 2018-10-26 | 2018-10-26 | 针对相机移动的运动目标检测算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109544592B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110118965A (zh) * | 2019-04-01 | 2019-08-13 | 贵州航天电子科技有限公司 | 一种无线电对空动目标探测特性外场试验装置 |
CN111209920A (zh) * | 2020-01-06 | 2020-05-29 | 桂林电子科技大学 | 一种复杂动态背景下飞机检测方法 |
CN111815667A (zh) * | 2020-06-23 | 2020-10-23 | 成都信息工程大学 | 一种相机移动条件下高精度检测运动目标的方法 |
CN112101148A (zh) * | 2020-08-28 | 2020-12-18 | 普联国际有限公司 | 一种运动目标检测方法、装置、存储介质及终端设备 |
CN112652021A (zh) * | 2020-12-30 | 2021-04-13 | 深圳云天励飞技术股份有限公司 | 相机偏移检测方法、装置、电子设备及存储介质 |
CN113156457A (zh) * | 2021-05-07 | 2021-07-23 | 长春理工大学 | 一种基于主动偏振成像的水下运动目标检测装置及方法 |
CN113409353A (zh) * | 2021-06-04 | 2021-09-17 | 杭州联吉技术有限公司 | 运动前景检测方法、装置、终端设备及存储介质 |
CN114973175A (zh) * | 2022-05-24 | 2022-08-30 | 深圳市航盛电子股份有限公司 | 运动物体检测方法、装置、终端设备以及存储介质 |
CN115359094A (zh) * | 2022-09-05 | 2022-11-18 | 珠海安联锐视科技股份有限公司 | 一种基于深度学习的运动目标检测方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102609945A (zh) * | 2012-02-09 | 2012-07-25 | 西北工业大学 | 可见光和热红外图像序列自动配准方法 |
CN104123544A (zh) * | 2014-07-23 | 2014-10-29 | 通号通信信息集团有限公司 | 基于视频分析的异常行为检测方法及系统 |
CN104599288A (zh) * | 2013-10-31 | 2015-05-06 | 展讯通信(天津)有限公司 | 一种基于肤色模板的特征跟踪方法及装置 |
CN104966045A (zh) * | 2015-04-02 | 2015-10-07 | 北京天睿空间科技有限公司 | 一种基于视频的飞机进出泊位自动检测方法 |
CN106022266A (zh) * | 2016-05-20 | 2016-10-12 | 北京格灵深瞳信息技术有限公司 | 一种目标跟踪方法及装置 |
CN106878674A (zh) * | 2017-01-10 | 2017-06-20 | 哈尔滨工业大学深圳研究生院 | 一种基于监控视频的停车检测方法及装置 |
CN107025657A (zh) * | 2016-01-31 | 2017-08-08 | 天津新天星熠测控技术有限公司 | 一种基于视频图像的车辆行为轨迹检测方法 |
CN107103292A (zh) * | 2017-04-12 | 2017-08-29 | 湖南源信光电科技股份有限公司 | 一种基于运动车辆跟踪的车流量统计方法 |
US20180150703A1 (en) * | 2016-11-29 | 2018-05-31 | Autoequips Tech Co., Ltd. | Vehicle image processing method and system thereof |
-
2018
- 2018-10-26 CN CN201811259760.9A patent/CN109544592B/zh not_active Expired - Fee Related
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102609945A (zh) * | 2012-02-09 | 2012-07-25 | 西北工业大学 | 可见光和热红外图像序列自动配准方法 |
CN104599288A (zh) * | 2013-10-31 | 2015-05-06 | 展讯通信(天津)有限公司 | 一种基于肤色模板的特征跟踪方法及装置 |
CN104123544A (zh) * | 2014-07-23 | 2014-10-29 | 通号通信信息集团有限公司 | 基于视频分析的异常行为检测方法及系统 |
CN104966045A (zh) * | 2015-04-02 | 2015-10-07 | 北京天睿空间科技有限公司 | 一种基于视频的飞机进出泊位自动检测方法 |
CN107025657A (zh) * | 2016-01-31 | 2017-08-08 | 天津新天星熠测控技术有限公司 | 一种基于视频图像的车辆行为轨迹检测方法 |
CN106022266A (zh) * | 2016-05-20 | 2016-10-12 | 北京格灵深瞳信息技术有限公司 | 一种目标跟踪方法及装置 |
US20180150703A1 (en) * | 2016-11-29 | 2018-05-31 | Autoequips Tech Co., Ltd. | Vehicle image processing method and system thereof |
CN106878674A (zh) * | 2017-01-10 | 2017-06-20 | 哈尔滨工业大学深圳研究生院 | 一种基于监控视频的停车检测方法及装置 |
CN107103292A (zh) * | 2017-04-12 | 2017-08-29 | 湖南源信光电科技股份有限公司 | 一种基于运动车辆跟踪的车流量统计方法 |
Non-Patent Citations (2)
Title |
---|
DONGLE ENZENG: "Moving targets detection based on improved single Gaussian background model", 《PROCEEDINGS OF 2018 IEEE INTERNATIONAL CONFERENCE ON MECHATRONICS AND AUTOMATION》 * |
王东方 等: "基于改进的混合高斯模型的运动目标检测方法", 《激光技术》 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110118965A (zh) * | 2019-04-01 | 2019-08-13 | 贵州航天电子科技有限公司 | 一种无线电对空动目标探测特性外场试验装置 |
CN111209920A (zh) * | 2020-01-06 | 2020-05-29 | 桂林电子科技大学 | 一种复杂动态背景下飞机检测方法 |
CN111209920B (zh) * | 2020-01-06 | 2022-09-23 | 桂林电子科技大学 | 一种复杂动态背景下飞机检测方法 |
CN111815667B (zh) * | 2020-06-23 | 2022-06-17 | 成都信息工程大学 | 一种相机移动条件下高精度检测运动目标的方法 |
CN111815667A (zh) * | 2020-06-23 | 2020-10-23 | 成都信息工程大学 | 一种相机移动条件下高精度检测运动目标的方法 |
CN112101148A (zh) * | 2020-08-28 | 2020-12-18 | 普联国际有限公司 | 一种运动目标检测方法、装置、存储介质及终端设备 |
CN112101148B (zh) * | 2020-08-28 | 2024-05-03 | 普联国际有限公司 | 一种运动目标检测方法、装置、存储介质及终端设备 |
CN112652021A (zh) * | 2020-12-30 | 2021-04-13 | 深圳云天励飞技术股份有限公司 | 相机偏移检测方法、装置、电子设备及存储介质 |
CN112652021B (zh) * | 2020-12-30 | 2024-04-02 | 深圳云天励飞技术股份有限公司 | 相机偏移检测方法、装置、电子设备及存储介质 |
CN113156457A (zh) * | 2021-05-07 | 2021-07-23 | 长春理工大学 | 一种基于主动偏振成像的水下运动目标检测装置及方法 |
CN113409353A (zh) * | 2021-06-04 | 2021-09-17 | 杭州联吉技术有限公司 | 运动前景检测方法、装置、终端设备及存储介质 |
CN114973175A (zh) * | 2022-05-24 | 2022-08-30 | 深圳市航盛电子股份有限公司 | 运动物体检测方法、装置、终端设备以及存储介质 |
CN114973175B (zh) * | 2022-05-24 | 2024-06-25 | 深圳市航盛电子股份有限公司 | 运动物体检测方法、装置、终端设备以及存储介质 |
CN115359094A (zh) * | 2022-09-05 | 2022-11-18 | 珠海安联锐视科技股份有限公司 | 一种基于深度学习的运动目标检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109544592B (zh) | 2023-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109544592A (zh) | 针对相机移动的运动目标检测算法 | |
Najibi et al. | G-cnn: an iterative grid based object detector | |
Lee et al. | Key-segments for video object segmentation | |
CN104424634B (zh) | 对象跟踪方法和装置 | |
Haines et al. | Background subtraction with dirichlet processes | |
CN109410168B (zh) | 用于确定图像中的子图块类别的卷积神经网络的建模方法 | |
CN107590442A (zh) | 一种基于卷积神经网络的视频语义场景分割方法 | |
CN110334703B (zh) | 一种昼夜图像中的船舶检测和识别方法 | |
García et al. | Adaptive multi-cue 3D tracking of arbitrary objects | |
CN112001219B (zh) | 一种多角度多人脸识别考勤方法及系统 | |
Lu et al. | Light cascaded convolutional neural networks for accurate player detection | |
CN105590328B (zh) | 基于稀疏表示选择性外观模型的帧自适应目标跟踪算法 | |
CN107169417A (zh) | 基于多核增强和显著性融合的rgbd图像协同显著性检测方法 | |
CN108038515A (zh) | 无监督多目标检测跟踪方法及其存储装置与摄像装置 | |
CN110827304A (zh) | 一种基于深度卷积网络与水平集方法的中医舌像定位方法和系统 | |
Zhu et al. | Action recognition in broadcast tennis video | |
CN110827312A (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
Kang et al. | Robust visual tracking via nonlocal regularized multi-view sparse representation | |
CN110633727A (zh) | 基于选择性搜索的深度神经网络舰船目标细粒度识别方法 | |
Zhang et al. | Visual saliency based object tracking | |
CN118115927B (zh) | 目标追踪方法、装置、计算机设备、存储介质及程序产品 | |
CN113283334A (zh) | 一种课堂专注度分析方法、装置和存储介质 | |
Ding et al. | Machine learning model for feature recognition of sports competition based on improved TLD algorithm | |
CN106250878B (zh) | 一种结合可见光和红外图像的多模态目标跟踪方法 | |
CN102148919B (zh) | 一种球类检测的方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20230117 |