CN101426080B - 监控系统中检测并抑制相机移动产生的影响的设备和方法 - Google Patents

监控系统中检测并抑制相机移动产生的影响的设备和方法 Download PDF

Info

Publication number
CN101426080B
CN101426080B CN200710165357A CN200710165357A CN101426080B CN 101426080 B CN101426080 B CN 101426080B CN 200710165357 A CN200710165357 A CN 200710165357A CN 200710165357 A CN200710165357 A CN 200710165357A CN 101426080 B CN101426080 B CN 101426080B
Authority
CN
China
Prior art keywords
pixel
model
gauss
module
place
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200710165357A
Other languages
English (en)
Other versions
CN101426080A (zh
Inventor
马赓宇
朴泰绪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Original Assignee
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Samsung Telecommunications Technology Research Co Ltd, Samsung Electronics Co Ltd filed Critical Beijing Samsung Telecommunications Technology Research Co Ltd
Priority to CN200710165357A priority Critical patent/CN101426080B/zh
Priority to KR1020080011391A priority patent/KR101441947B1/ko
Publication of CN101426080A publication Critical patent/CN101426080A/zh
Application granted granted Critical
Publication of CN101426080B publication Critical patent/CN101426080B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/269Analysis of motion using gradient-based methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

提供了一种监控系统中检测并抑制相机移动产生的影响的设备和方法,该设备包括:图像捕获模块,用于捕获新图像;图像处理模块,用于将捕获的新图像和场景模型进行比较,根据比较结果对场景模型进行更新,并且根据对场景模型更新的结果确定图像中像素的状态来检测相机是否移动,当检测到相机移动时,抑制由于相机移动引起的错误报警。

Description

监控系统中检测并抑制相机移动产生的影响的设备和方法
技术领域
本发明涉及监控系统,更具体地讲,涉及一种在监控系统中检测并抑制相机移动产生的影响。
背景技术
监控相机被广泛地用于公共安全。但是,需要一些附加劳动力来检查是否有敏感事件发生。因此监控系统中的热点在于能够检测、跟踪并分析人们和其他对象的行为的智能相机的研究。
在监控相机的实际应用中,一些外界因素会影响自动系统的性能。这些因素包括:天气(风、雪和雨)、相机设置以及其他环境条件。通常,典型的背景相减法(background subtraction method)需要相机绝对稳定。然而,由于风、暴风雨、卡车经过、甚至是人为操作的原因,不能保证相机静止。在这种情况下,需要相机移动检测和补偿策略。
由于一般的背景相减法(例如,“Adaptive Background Mixture Models forReal-time Tracking.CVPR,1999,2:246-252,Stauffer C,Grimson W E L.”中公开的背景相减法)可以使用每次新输入的图像来更新场景模型,因此给出了足够长的时间(通常是大约一分钟),该模型能够在相机移动之后慢慢更新到新的场景。大多数研究人员不太注意这点。实际上,他们只是假设相机静止,而简单的让模型逐渐学习出新的场景。
在专利号7,221,776名称为“Image stabilizer”的美国专利申请、专利号7,167,199名称为“Video processing system and method for automaticenhancement of digital video”的美国专利申请、专利号6,809,758名称为“Automated stabilization method for digital image sequences”的美国专利申请、专利号6,628,711名称为“Method and apparatus for compensating for jitter in adigital video image”的美国专利申请、“Full-Frame Video Stabilization withMotion Inpainting,PAMI,July 2006”以及“An adaptive motion decision systemfor digital image stabilizer based on edge pattern matching,Samsung ElectronicsCo.1992”文献中,公开了另一种移动抑制方法,该方法被典型地使用在数字录相机。这些方法试图在视频序列中去除不期望的相机移动。这种想法的基础是“由于相机振动引起的高频率运动,而低频率运动才是用户期望的运动”。通过匹配相邻帧中的特征,该系统能够估计运动向量。通过平滑操作可以去除高频率运动。最终,通过基于估计的运动和期望的运动对每帧图像进行空间变换,就能够得到稳定的视频。
当处理相机移动时,由于上述的经典背景相减法需要很长时间来更新到新的模型,因此在实际应用中不够理想。由于在户外相机移动是非常严重的,特别是当相机距离场景很远并且焦点长度很长时,即使是相机很小的旋转也将对图像造成大的位移。然而,对于自动监控系统来说,一分钟的更新时间过长。在这期间,由于相机移动,将存在许多错误报警,这需要附加人力资源来区分它们。
关于上述用于视频稳定性的方法,用人眼看,稳定的视频看上去更好。然而,对于背景相减方法,区别仍然很大。如图12所示,在人眼看来,该图中的这两个图像是相同的。然而,对于计算机来说,改变的像素与先前帧中的像素是不同的。这种现象将产生错误报警。
发明内容
提供本发明的一方面来解决上述和/或其他方面的问题以及缺点。
本发明的一方面在于提供一种相机移动抑制方法来减小由于相机移动引起的错误报警。
根据本发明的一方面,提供一种监控系统中检测并抑制相机移动产生的影响的设备,该设备包括:图像捕获模块,用于捕获新图像;场景模型模块,存储场景模型;场景比较和模型更新模块,将捕获的新图像和场景模型模块中存储的场景模型进行比较,根据比较结果对场景模型进行更新,并且根据对场景模型更新的结果确定图像中像素的状态;移动检测模块,根据图像中像素的状态检测相机是否移动;移动抑制模块,当移动检测模块检测到相机移动时,抑制由于相机移动引起的错误报警,其中,场景模型是像素分布的集合,并且以下面的混合高斯模型来描述每个像素的颜色分布:∑wi·N(ui,σi),其中,wi是每个单高斯的权值,N(ui,σi)是中心为ui、方差为σi的高斯分布,其中,场景比较和模型更新模块包括:像素匹配模块,用于在场景模型中找出与所述新图像中的每一像素匹配的像素模型;模型更新模块,对像素匹配模块找出的匹配像素模型进行更新;和像素状态确定模块,确定图像中的每一像素是前景像素还是背景像素,其中,像素匹配模块将新图像中的每一像素与混合高斯模型中的每一高斯中心ui进行比较以找出最近的高斯模型,像素匹配模块计算所述新图像中的每一像素与最近的高斯模型之间的距离,并确定该距离是否小于σi×Thrvar,其中,σi表示该最近的高斯模型的方差,Thrvar是常数,如果所述距离小于σi×Thrvar,则认为该像素匹配该最近的高斯模型,其中,如果所述像素属于所述最近的高斯模型,则模型更新模块更新所述高斯模型的中心和方差,增加所述高斯模型的权值并减小其他高斯模型的权值;如果所述像素不属于任何高斯模型,则模型更新模块删除具有最小wi的高斯模型,并增加以所述像素的颜色为中心的新高斯模型,其中,移动检测模块包括:连通域分析模块,将连接的前景像素分为一个区域以获得多个包括连接的前景像素的区域;和决定模块,计算所述区域的数量,如果所述数量大于阈值,则确定当前时间发生相机移动,其中,移动抑制模块包括:自适应阈值计算模块,计算自适应阈值;像素匹配模块,采用自适应阈值计算模块计算的自适应阈值在场景模型中找出与前景像素匹配的模型;模型更新模块,对像素匹配模块找出的匹配的模型进行更新;和像素状态确定模块,确定更新的图像中的每一像素是前景像素还是背景像素。
根据本发明的一方面,提供一种监控系统中检测并抑制相机移动产生的影响的方法,包括:捕获新图像;将捕获的新图像和存储的场景模型进行比较;根据比较结果对场景模型进行更新,并且根据对场景模型更新的结果确定图像中的像素的状态;根据像素的状态检测相机是否移动;当检测到相机移动时,抑制由于相机移动引起的错误报警,其中,场景模型是像素分布的集合,并且以混合高斯模型来描述每个像素的分布:∑wi·N(ui,σi),其中,wi是每个单高斯的权值,N(ui,σi)是中心为ui、方差为σi的高斯分布,其中,将捕获的新图像和存储的场景模型进行比较的步骤包括:在场景模型中找出与所述新图像中的每一像素匹配的像素模型,其中,找出匹配的像素模型的步骤包括:将新图像中的每一像素与混合高斯模型中的每一高斯中心ui进行比较以找出最近的高斯模型;计算所述新图像中的每一像素与最近的高斯模型之间的距离,并确定该距离是否小于σi×Thrvar,其中,σi表示该最近的高斯模型的方差,Thrvar是常数;如果该距离小于σi×Thrvar,则认为该像素匹配该最近的高斯模型,其中,根据比较结果对场景模型进行更新的步骤包括:对找出的匹配像素模型进行更新,并确定图像中的每一像素是前景像素还是背景像素,其中,所述对找出的匹配像素模型进行更新的步骤包括:如果所述像素属于所述最近的高斯模型,则更新所述高斯模型的中心和方差,增加所述高斯模型的权值并减小其他高斯模型的权值;如果所述像素不属于任何高斯模型,则删除具有最小wi的高斯模型,并增加以所述像素的颜色为中心的新高斯模型,其中,检测相机是否移动的步骤包括:将连接的前景像素分为一个区域以获得多个包括连接的前景像素的区域;计算所述区域的数量,如果所述数量大于阈值,则确定当前时间发生相机移动,其中,抑制由于相机移动引起的错误报警的步骤包括:计算自适应阈值;采用计算的自适应阈值在场景模型中找出与前景像素匹配的模型;对找出的匹配的模型进行更新;确定图像中的每一像素是前景像素还是背景像素。
将在接下来的描述中部分阐述本发明另外的方面和/或优点,还有一部分可以发明的实施描述得知。
附图说明
通过下面结合附图对实施例进行的描述,本发明的上述和/或其他方面和优点将会变得更加清楚和更易于理解,其中:
图1是示出根据本发明示例性实施例的监控系统中检测并抑制相机移动的设备的构造的框图;
图2是示出根据本发明示例性实施例的图像处理模块的结构的框图;
图3是示出根据本发明示例性实施例的场景比较和模型更新模块的结构的框图;
图4是示出根据本发明示例性实施例的移动检测模块的结构的框图;
图5是示出根据本发明示例性实施例的移动抑制模块的结构的框图;
图6是示出根据本发明示例性实施例的执行检测和抑制相机移动的方法的流程图;
图7是示出根据本发明示例性实施例的进行场景比较和模型更新的过程的流程图;
图8是示出根据本发明示例性实施例的检测相机移动过程的流程图;
图9是示出根据本发明示例性实施例的当相机发生移动时进行减小错误报警的过程的流程图;
图10是找出匹配模型的示图;
图11是显示相机移动的示图;
图12是显示相机移动之前和之后的图像的示图,上面的图像是原始图像,下面的图像是图像的放大图;
图13是发生微小相机移动的实验结果图;
图14是发生比图13中的移动稍大的相机移动的实验结果图;
图15是发生比图14中的移动更大的相机移动的实验结果图。
具体实施方式
现在,详细描述本发明的实施例,其示例在附图中表示,其中,相同的标号始终表示相同的部件。以下通过参考附图描述实施例以解释本发明。
本发明基于传统MoG背景相减法,在该方法中,场景模型被在线训练并更新。在场景模型中,每一像素的可用颜色范围以及它们的权值被记录。在该场景模型中,梯度图被维持来存储背景的梯度。因为由相机移动引起的图像差别与梯度图相关,因此用于背景相减的阈值应根据图像梯度自适应地设置。
图1是示出根据本发明示例性实施例的监控系统中检测并抑制相机移动产生的影响的设备的构造的框图。该设备包括图像捕获模块100,用于捕获新图像以便系统检测;图像处理模块200,用于将捕获的新图像和场景模型进行比较,根据比较结果对场景模型进行更新,并且根据对场景模型更新的结果确定图像中像素的状态来检测相机是否移动,当检测到相机移动时,抑制由于相机移动引起的错误报警;以及显示模块300,用于显示图像。
图2是示出根据本发明示例性实施例的图像处理模块200的结构的框图。根据本发明的图像处理模块200包括场景模型模块210、场景比较和模型更新模块220、移动检测模块230和移动抑制模块240。场景模型模块210记录场景历史,场景比较和模型更新模块220将新输入图像和场景模型模块210中的场景模型进行比较,并对场景模型进行更新,并且根据对场景模型更新的结果确定图像中像素的状态,移动检测模块230根据图像中像素的状态检测是否有相机移动发生,移动抑制模块240减少由于相机移动引起的错误报警。场景模型模块210中的场景模型由每一像素的像素模型组成。每一像素的像素模型保存平均颜色、颜色的方差以及颜色的权值。
在场景模型中,MoG(混合高斯)被用于代表每一像素出现的颜色的历史记录。每一像素的颜色可以是几个值。例如,在静态背景中,像素可具有背景对象颜色或一些前景对象颜色。在动态背景中,像素可以是几个背景颜色或者对象颜色。每一颜色被保存在场景模型中的不同的可能颜色模块中。
通过下面等式(1)的混合高斯模型描述每个像素的分布。
∑wi·N(ui,σi)               (1)
其中,wi是每个单高斯的权值,N(u,σ)是中心(即平均颜色)为u、方差为σ的高斯分布。如果颜色出现非常频繁,则其具有较大的权值。对于运动物体,由于对于像素其仅出现非常短的时间,因此其颜色将具有非常小的权值。
在执行场景模型的更新过程中,为了更新混合高斯背景模型,需要将新图像中的像素(下面,称作新像素)和每个高斯分布相比较。如果新像素属于一个高斯,则更新它的中心和方差,并更新权值。其中,通过对旧高斯中心和新输入像素的颜色取加权的平均来更新所述中心,通过对旧高斯方差和新像素到旧高斯中心的距离取平均来更新方差,通过增加该高斯的权值并减小其他高斯的权值来更新权值。如果新像素不属于任何高斯,则删除具有最小wi的旧高斯,并增加以该新像素的颜色为中心的新高斯。
在场景模型模块中,还存在存储背景的梯度的梯度图(gradient map)。通过下面等式(2)计算像素p的梯度。
G ( p ) = max q ∈ Np { min { | u 1 p - u 1 q | , | u 1 p - u 2 q | } } - - - ( 2 )
其中,G(p)表示像素p点所在位置的背景颜色和周围像素q的差异。Np是指像素p的相邻像素。背景模型中包括了每个像素的多种可能的颜色,在上面等式(2)中,
Figure GSB00000813468300062
表示p点最常出现的颜色,而
Figure GSB00000813468300063
Figure GSB00000813468300064
表示p点相邻的q点常常出现的两种颜色。通过上面等式(2)可以看出,通过将p点最常出现的颜色与周围各像素点常常出现的两种颜色进行比较,两个差中较小的值作为p和q的差异。每个像素p与p的多个相邻像素q进行比较,其中差异的最大值就是像素p点的梯度,即G(p)。基于等式(2)可知,在动态背景区域(例如摇晃的树),梯度图中的梯度值小于一帧图像上的梯度。
图3是示出根据本发明示例性实施例的场景比较和模型更新模块220的结构的框图。场景比较和模型更新模块220包括像素匹配模块221、模型更新模块222和像素状态确定模块223。当图像捕获模块100捕获到新图像时,像素匹配模块221在场景模型中找出与捕获的图像中的每一像素匹配的像素模型,并且模型更新模块222更新匹配的像素模型,像素状态确定模块223确定图像中像素的状态是前景还是背景。
图4是示出根据本发明示例性实施例的移动检测模块230的结构的框图。移动检测模块230包括连通域分析模块231和决定模块232。连通域分析模块231对前景像素进行分析,并将这些像素分为几个区域,决定模块232根据连通域分析模块231划分的区域的数量确定当前时间是否发生相机移动。
图5是示出根据本发明示例性实施例的移动抑制模块240的结构的框图。移动抑制模块240包括自适应阈值计算模块241、像素匹配模块242、模型更新模块243、像素状态确定模块244。移动抑制模块240的结构与场景比较和模型更新模块220的结构大体相同,其区别在于,移动抑制模块240仅验证在场景比较和模型更新模块220中被确定为前景的像素。
图6是示出根据本发明示例性实施例的执行检测和抑制相机移动产生的影响的方法的流程图。在步骤S610,图像捕获模块100捕获到新图像,在步骤S620,场景比较和模型更新模块220将新图像和场景模型进行比较,并对场景模型进行更新,确定像素的状态是前景还是背景,并且组合所有的像素形成标签图像(步骤S620的操作将参照图7进行详细描述),接着在步骤S630,移动检测模块230使用扫描线填充方法来判断相机是否发生移动(步骤S630的操作将参照图8进行详细描述),当判断相机发生移动时,在步骤S640进行移动抑制(步骤640的操作将参照图9进行详细描述),随后在步骤S650输出抑制后的图像(发生相机移动时)或者捕获的图像(没有发生相机移动)。
图7是示出根据本发明示例性实施例的进行场景比较和模型更新的过程的流程图。在步骤S710,场景比较和模型更新模块220得到捕获的图像中的像素。在步骤S720,对于每一像素,像素匹配模块221在场景模型中找出与该像素匹配的像素模型,首先,像素匹配模块221将该像素与混合高斯模型中的每一高斯中心ui进行比较以找出最近的高斯。随后,计算该像素与最近的高斯之间的距离,并确定该距离是否小于σi×Thrvar,其中,σi表示该最近的高斯的方差,Thrvar是常数,在本发明的监控系统中,Thrvar最好是3,但是本发明不限于此。如果该距离小于σi×Thrvar,则认为该像素匹配该最近的高斯模型。
图10是找出匹配模型的示图。101是比如RGB的颜色空间,高斯102是前景的高斯,高斯103是背景的高斯,像素104是一个输入像素,该输入像素不在任何背景高斯的范围内。像素105是另一个输入像素,它在高斯103可接受的范围内,所以像素105与高斯103的模型匹配。
在步骤S730,模型更新模块222对像素模型进行更新。如果该像素属于一个高斯,则更新该高斯的中心和方差,并更新权值。其中,通过增加该高斯的权值并减小其他高斯的权值来更新权值。如果该像素不属于任何高斯,则删除具有最小wi的旧高斯,并增加以该像素的颜色为中心的新高斯。在对像素模型进行更新的过程中,同时,根据上面的等式(2)对梯度图进行更新。由于场景模型的改变非常慢,因此每N个新的帧对梯度图进行更新一次,而不是对于每一新的帧,就更新梯度图一次。
在步骤S740,像素状态确定模块223确定图像中像素的状态是前景还是背景。首先,像素状态确定模块223计算用于前景和背景确定的可能性阈值:在整个视频持续时间期间,对于图像上的某个像素,等于或超过Thrbg的视频持续时间看到的是该像素的背景颜色,剩余时间看到的是前景物体,则认为该像素应该是背景,Thrbg表示在整个视频持续时间期间该像素呈现背景颜色的时间比率,在本发明的监控系统中,最好Thrbg=85%。随后按照捕获的图像中的像素的权值对高斯模型从大到小进行排序。按照权值从大到小的顺序将各模型的权值进行相加,直到相加的结果值超过Thrbg。与相加的各个权值对应的模型被分类为背景模型,而后面的模型被分类为前景模型。在步骤S750,所有像素的状态被组合以形成标签图像。在标签图像中,每个像素可以取两个值,例如,在出现相机移动的实验结果图13-15中,白色表示前景,黑色表示背景。
图8是示出根据本发明示例性实施例的检测相机移动过程的流程图。根据本发明的监控相机移动过程采用扫描线填充方法(scan line filling method)。在步骤S810,移动监视模决获得标签图像。在步骤S820,连通域分析模块231对前景像素进行分析,具体地讲,将前景像素分为几个区域。其中,每个区域是一组连接的前景像素。在步骤S830,决定模块232计算区域的数量。如果区域的数量大于阈值,则确定当前时间发生相机移动。否则,确定当前时间没有发生相机移动。然而,有时候,即使存在许多小的区域,也不一定是发生相机移动。例如,当树叶晃动时,将存在许多小的改变的区域。然而,仍然将这种情况认为是相机移动。由于在这种情况下,小的区域是背景,抑制它们也能够减小错误报警。
图9是示出根据本发明示例性实施例的当相机发生移动时进行减小错误报警的过程的流程图。该过程与场景比较和模型更新过程基本相同,其区别在于,在该过程中仅验证在场景比较和模型更新模块220中被分为前景的像素,以便抑制相机移动。
在步骤S910,移动抑制模块240得到捕获的图像中的前景像素。这些前景像素就是在步骤S740像素状态确定模块223确定的处于前景状态的前景像素。随后在步骤S920,找出匹配的前景像素模型。在该过程中,像素匹配模块242通过使用自适应阈值计算模块241计算的自适应阈值来找出匹配的前景像素模型。自适应阈值计算模块241通过下面的等式(3)计算自适应阈值Thrp
Thr p = max { Thr var , G ( p ) a } - - - ( 3 )
这里,a是系统参数,p是一个前景像素,G(p)表示前景像素p的梯度,Thrvar是与像素匹配模块221在场景模型中找出与该像素匹配的像素模型中使用的参数Thrvar相同。从上面的等式(3)可以看出,对于具有大的梯度的像素,自适应阈值Thrp的值大于Thrvar,而对于具有梯度小的像素,自适应阈值Thrp的值等于Thrvar
随后,根据下面的等式(4)确定具有颜色c的像素p是否匹配高斯分布N(ui,σi):
||c-ui||<σi×Thrp    (4)
在这里,c是像素p的颜色,ui和σi分别是p像素位置在以前若干时刻的颜色c的高斯中心和方差,Thrp是自适应阈值。
如果c满足以上等式(4),则认为该像素是错误报警。也就是说,高斯分布N(ui,σi)就是具有颜色c的像素匹配的模型。
通过上述过程找出所有前景像素的匹配模型。在用Thrp找出前景像素p匹配的模型之后,在步骤S930对匹配的模型进行更新。步骤S930进行的模型更新过程与图7的步骤S730进行的像素模型更新过程相同,也就是,当在步骤S920找出了匹配的高斯分布时,更新该高斯的中心和方差,并更新权值。如果该像素不属于任何高斯(也就是,不满足等式(4)),则删除具有最小wi的旧高斯,并增加以该像素的颜色(像素p的颜色c)为中心的新高斯。然后,在与图7中的步骤S740和S750相同的过程的步骤S940和S950,确定像素状态和设置标签图像。
图11是显示相机移动的示图。如图11所示,561所指示的图像是实际物体,562代表相机中的像素。相机将物体离散化为像素,从而可以看到物体边界的像素是前景颜色和背景颜色的组合。当相机移动时,像素颜色的改变与相机移动的距离和前景颜色和背景颜色之间的差异有关。亚像素距离很难估计,但是前景颜色和背景颜色之间的差异正好是背景模型的梯度。
图13是发生微小相机移动的实验结果图。如图13所示,该移动微小,因此,在移动抑制之后,几乎不存在错误报警。
图14是发生比图13中的移动稍大的相机移动的实验结果图。如图14所示,在移动抑制之后,仍然存在一些剩余错误报警,然而这些错误报警已经相当小,并且这些错误报警可以通过后续处理被移除。在该场景中有个人走过,该人的区域应被检测为前景。从抑制移动之后的图像可以看出,尽管减少了由于移动引起的前景,但是该人的区域未受影响。因此,根据本发明的相机移动检测抑制方法,仅抑制移动而不会抑制所有前景区域。
图15是发生比图14中的移动更大的相机移动的实验结果图。如图15所示,由于该移动非常大,因此甚至在抑制之后,仍然存在许多错误报警。但是很明显,在移动抑制之后,大部分的错误报警已经被移除,仅存在一个错误报警。
根据本发明方面的方法和设备能够有效地检测监视系统中的相机移动,并且有效地抑制由于相机移动引起的错误报警。
尽管已经显示和描述了本发明的一些实施例,但是本领域的技术人员应该理解,在不脱离由权利要求及其等同物限定的本发明的原理和精神的情况下,可以对其进行各种改变。

Claims (12)

1.一种监控系统中检测并抑制相机移动产生的影响的设备,该设备包括:
图像捕获模块,用于捕获新图像;
场景模型模块,存储场景模型;
场景比较和模型更新模块,将捕获的新图像和场景模型模块中存储的场景模型进行比较,根据比较结果对场景模型进行更新,并且根据对场景模型更新的结果确定图像中像素的状态;
移动检测模块,根据图像中像素的状态检测相机是否移动;
移动抑制模块,当移动检测模块检测到相机移动时,抑制由于相机移动引起的错误报警,
其中,场景模型是像素分布的集合,并且以下面的混合高斯模型来描述每个像素的颜色分布:∑wi·N(ui,σi),其中,wi是每个单高斯的权值,N(ui,σi)是中心为ui、方差为σi的高斯分布,
其中,场景比较和模型更新模块包括:像素匹配模块,用于在场景模型中找出与所述新图像中的每一像素匹配的像素模型;模型更新模块,对像素匹配模块找出的匹配像素模型进行更新;和像素状态确定模块,确定图像中的每一像素是前景像素还是背景像素,
其中,像素匹配模块将新图像中的每一像素与混合高斯模型中的每一高斯中心ui进行比较以找出最近的高斯模型,像素匹配模块计算所述新图像中的每一像素与最近的高斯模型之间的距离,并确定该距离是否小于σi×Thrvar,其中,σi表示该最近的高斯模型的方差,Thrvar是常数,如果所述距离小于σi×Thrvar,则认为该像素匹配该最近的高斯模型,
其中,如果所述像素属于所述最近的高斯模型,则模型更新模块更新所述高斯模型的中心和方差,增加所述高斯模型的权值并减小其他高斯模型的权值;如果所述像素不属于任何高斯模型,则模型更新模块删除具有最小wi的高斯模型,并增加以所述像素的颜色为中心的新高斯模型,
其中,移动检测模块包括:连通域分析模块,将连接的前景像素分为一个区域以获得多个包括连接的前景像素的区域;和决定模块,计算所述区域的数量,如果所述数量大于阈值,则确定当前时间发生相机移动,
其中,移动抑制模块包括:自适应阈值计算模块,计算自适应阈值;像素匹配模块,采用自适应阈值计算模块计算的自适应阈值在场景模型中找出与前景像素匹配的模型;模型更新模块,对像素匹配模块找出的匹配的模型进行更新;和像素状态确定模块,确定更新的图像中的每一像素是前景像素还是背景像素。
2.如权利要求1所述的设备,其中,场景模型模块还存储每个像素的梯度,通过下面的等式计算像素的梯度:
G ( p ) = max q ∈ Np { min { | u 1 p - u 1 q | , | u 1 p - u 2 q | } } ,
其中,Np是指像素p的相邻像素,
Figure FSB00000813468200022
表示p点最常出现的颜色,
Figure FSB00000813468200023
表示p点相邻的q点常出现的两种颜色。
3.如权利要求1所述的设备,其中,Thrvar是3。
4.如权利要求1所述的设备,其中,模型更新模块在对像素匹配模块找出的匹配像素模型进行更新的同时还对梯度进行更新。
5.如权利要求1所述的设备,其中,通过下面的等式计算自适应阈值:
Thr p = max { Thr var , G ( p ) a }
其中,Thrp表示像素p的自适应阈值,a是系统参数,p是一个前景像素,G(p)表示前景像素p的梯度,Thrvar是常数。
6.如权利要求5所述的设备,其中,通过下面的等式在场景模型模块中找出与前景像素匹配的模型:
||c-ui||<σi×Thrp
如果c满足所述等式,则认为所述前景像素与高斯分布N(ui,σi)匹配,
其中,Thrp表示像素p的自适应阈值,c是像素p所在位置的颜色,ui和σi分别是p像素位置在以前若干时刻的颜色c的高斯中心和方差。
7.一种监控系统中检测并抑制相机移动产生的影响的方法,包括:
捕获新图像;
将捕获的新图像和存储的场景模型进行比较;
根据比较结果对场景模型进行更新,并且根据对场景模型更新的结果确定图像中的像素的状态;
根据图像中的像素的状态检测相机是否移动;
当检测到相机移动时,抑制由于相机移动引起的错误报警,
其中,场景模型是像素分布的集合,并且以混合高斯模型来描述每个像素的分布:∑wi·N(ui,σi),其中,wi是每个单高斯的权值,N(ui,σi)是中心为ui、方差为σi的高斯分布,
其中,将捕获的新图像和存储的场景模型进行比较的步骤包括:在场景模型中找出与所述新图像中的每一像素匹配的像素模型,其中,找出匹配的像素模型的步骤包括:将新图像中的每一像素与混合高斯模型中的每一高斯中心ui进行比较以找出最近的高斯模型;计算所述新图像中的每一像素与最近的高斯模型之间的距离,并确定该距离是否小于σi×Thrvar,其中,σi表示该最近的高斯模型的方差,Thrvar是常数;如果该距离小于σi×Thrvar,则认为该像素匹配该最近的高斯模型,
其中,根据比较结果对场景模型进行更新的步骤包括:对找出的匹配像素模型进行更新,并确定图像中的每一像素是前景像素还是背景像素,其中,所述对找出的匹配像素模型进行更新的步骤包括:如果所述像素属于所述最近的高斯模型,则更新所述高斯模型的中心和方差,增加所述高斯模型的权值并减小其他高斯模型的权值;如果所述像素不属于任何高斯模型,则删除具有最小wi的高斯模型,并增加以所述像素的颜色为中心的新高斯模型,
其中,检测相机是否移动的步骤包括:将连接的前景像素分为一个区域以获得多个包括连接的前景像素的区域;计算所述区域的数量,如果所述数量大于阈值,则确定当前时间发生相机移动,
其中,抑制由于相机移动引起的错误报警的步骤包括:计算自适应阈值;采用计算的自适应阈值在场景模型中找出与前景像素匹配的模型;对找出的匹配的模型进行更新;确定图像中的每一像素是前景像素还是背景像素。
8.如权利要求7所述的方法,其中,Thrvar是3。
9.如权利要求7所述的方法,其中,对找出的匹配像素模型进行更新的步骤还包括:对梯度进行更新,
其中,通过下面的等式计算像素的梯度:
G ( p ) = max q ∈ Np { min { | u 1 p - u 1 q | , | u 1 p - u 2 q | } } ,
其中,Np是指像素p的相邻像素,
Figure FSB00000813468200032
表示p点最常出现的颜色,而
Figure FSB00000813468200041
表示p点相邻的q点常常出现的两种颜色。
10.如权利要求7所述的方法,其中,根据比较结果对场景模型进行更新的步骤还包括:组合所有像素的状态以形成标签图像。
11.如权利要求7所述的方法,其中,通过下面的等式计算自适应阈值:
Thr p = max { Thr var , G ( p ) a }
其中,Thrp表示像素p的自适应阈值,a是系统参数,p是一个前景像素,G(p)表示前景像素p的梯度,Thrvar是常数。
12.如权利要求11所述的方法,其中,通过下面的等式在场景模型模块中找出与前景像素匹配的模型:
||c-ui||<σi×Thrp
如果c满足所述等式,则认为所述前景像素与高斯分布N(ui,σi)匹配,
其中,Thrp表示像素p的自适应阈值,c是像素p所在位置的颜色,ui和σi分别是p像素位置在以前若干时刻的颜色c的高斯中心和方差。
CN200710165357A 2007-10-29 2007-10-29 监控系统中检测并抑制相机移动产生的影响的设备和方法 Expired - Fee Related CN101426080B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN200710165357A CN101426080B (zh) 2007-10-29 2007-10-29 监控系统中检测并抑制相机移动产生的影响的设备和方法
KR1020080011391A KR101441947B1 (ko) 2007-10-29 2008-02-04 카메라 이동 영향을 검출하고 억제하는 감시 카메라 장치및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200710165357A CN101426080B (zh) 2007-10-29 2007-10-29 监控系统中检测并抑制相机移动产生的影响的设备和方法

Publications (2)

Publication Number Publication Date
CN101426080A CN101426080A (zh) 2009-05-06
CN101426080B true CN101426080B (zh) 2012-10-17

Family

ID=40616391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200710165357A Expired - Fee Related CN101426080B (zh) 2007-10-29 2007-10-29 监控系统中检测并抑制相机移动产生的影响的设备和方法

Country Status (2)

Country Link
KR (1) KR101441947B1 (zh)
CN (1) CN101426080B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111014892A (zh) * 2019-12-13 2020-04-17 华中科技大学鄂州工业技术研究院 一种焊缝轨迹监控系统

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101039248B1 (ko) * 2009-07-09 2011-06-07 엠텍비젼 주식회사 차량용 영상 저장 장치 및 그 설치 상태 통지 방법
CN102118561B (zh) * 2010-05-27 2013-09-11 周渝斌 监控系统中相机移动检测系统及方法
CN102340619A (zh) * 2010-07-21 2012-02-01 杭州华三通信技术有限公司 一种移动侦测方法和装置
CN102890771A (zh) * 2011-07-20 2013-01-23 上海银晨智能识别科技有限公司 判断图像摄取装置是否发生移动的方法和系统
CN102722889B (zh) * 2012-05-31 2015-12-16 信帧科技(北京)有限公司 一种图像背景获取方法和装置
JP5397714B1 (ja) * 2012-08-01 2014-01-22 株式会社ジェイエイアイコーポレーション 監視用カメラ装置
CN105678730A (zh) * 2014-11-17 2016-06-15 西安三茗科技有限责任公司 一种基于图像识别的相机移动自检测方法
CN111147806A (zh) * 2018-11-06 2020-05-12 天地融科技股份有限公司 一种视频内容风险检测方法、装置及系统
CN109438356B (zh) * 2018-11-29 2022-04-08 江苏乐斯化学有限公司 一种咪鲜胺原药的纯化方法
CN115565134B (zh) * 2022-10-13 2024-03-15 广州国交润万交通信息有限公司 球机监控盲区诊断方法、系统、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1918604A (zh) * 2004-12-15 2007-02-21 三菱电机株式会社 对背景区域和前景区域进行建模的方法
CN101026685A (zh) * 2007-03-23 2007-08-29 北京中星微电子有限公司 一种静止物体检测的方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100364582B1 (ko) * 2000-04-28 2002-12-16 주식회사 네트웍코리아 다중 이동물체 추적/감시 시스템
EP1766581A4 (en) 2004-06-14 2010-11-03 Agency Science Tech & Res DETECTION METHOD BY A DESIRED OBJECT OBSERVATION SYSTEM IN A VERY DYNAMIC ENVIRONMENT

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1918604A (zh) * 2004-12-15 2007-02-21 三菱电机株式会社 对背景区域和前景区域进行建模的方法
CN101026685A (zh) * 2007-03-23 2007-08-29 北京中星微电子有限公司 一种静止物体检测的方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111014892A (zh) * 2019-12-13 2020-04-17 华中科技大学鄂州工业技术研究院 一种焊缝轨迹监控系统
CN111014892B (zh) * 2019-12-13 2021-11-23 华中科技大学鄂州工业技术研究院 一种焊缝轨迹监控系统

Also Published As

Publication number Publication date
KR20090043416A (ko) 2009-05-06
KR101441947B1 (ko) 2014-11-03
CN101426080A (zh) 2009-05-06

Similar Documents

Publication Publication Date Title
CN101426080B (zh) 监控系统中检测并抑制相机移动产生的影响的设备和方法
US8208733B2 (en) Method, medium, and apparatus with estimation of background change
US10025988B2 (en) Anomalous pixel detection
US9247155B2 (en) Method and system for robust scene modelling in an image sequence
TWI382762B (zh) 移動物體的追蹤方法
AU2009251048B2 (en) Background image and mask estimation for accurate shift-estimation for video object detection in presence of misalignment
JP4412236B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US10181088B2 (en) Method for video object detection
US10096117B2 (en) Video segmentation method
US8553086B2 (en) Spatio-activity based mode matching
EP3032376A1 (en) Image recognition system, server apparatus, and image recognition method
US10373015B2 (en) System and method of detecting moving objects
CN113012383B (zh) 火灾检测报警方法、相关系统、相关设备及存储介质
JP3486229B2 (ja) 画像変化検出装置
CN111444758A (zh) 一种基于时空信息的行人重识别方法及装置
Dong et al. Camera anomaly detection based on morphological analysis and deep learning
CN108184098B (zh) 安全区域的监控方法以及系统
KR20200060868A (ko) 객체 탐지 및 자동 추적이 가능한 다시점 영상 감시 시스템
CN101877135B (zh) 一种基于背景重构的运动目标检测方法
KR102192889B1 (ko) 이동 객체 검출 방법 및 이를 실행하는 장치
CN112819859B (zh) 一种应用于智慧安防的多目标跟踪方法及装置
CN111145219B (zh) 一种基于Codebook原理的高效视频移动目标检测方法
Luo et al. Real-time and robust background updating for video surveillance and monitoring
CN113674316A (zh) 一种视频降噪方法和装置及设备
KR100388795B1 (ko) 무인 감시 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121017