CN105205832A - 一种运动目标检测的方法 - Google Patents

一种运动目标检测的方法 Download PDF

Info

Publication number
CN105205832A
CN105205832A CN201510549568.3A CN201510549568A CN105205832A CN 105205832 A CN105205832 A CN 105205832A CN 201510549568 A CN201510549568 A CN 201510549568A CN 105205832 A CN105205832 A CN 105205832A
Authority
CN
China
Prior art keywords
pixel
model
detection
long
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510549568.3A
Other languages
English (en)
Other versions
CN105205832B (zh
Inventor
李秀
陈连胜
汤友华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Tsinghua University
Original Assignee
Shenzhen Graduate School Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Tsinghua University filed Critical Shenzhen Graduate School Tsinghua University
Priority to CN201510549568.3A priority Critical patent/CN105205832B/zh
Publication of CN105205832A publication Critical patent/CN105205832A/zh
Application granted granted Critical
Publication of CN105205832B publication Critical patent/CN105205832B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

一种运动目标检测的方法,包括以下步骤:1)读入视频流的一帧图像;2)判断读入的帧图像是否为第一帧,如果是则以第一帧建立背景模型,否则转向步骤3);3)对读入的帧图像用背景模型差分出初步检测图;4)对初步检测图做后处理;5)使用Blink?Map图确定动态背景区域;6)对动态背景区域使用邻域匹配(Neighboring?Match)和急速更新(Sharp?Update)机制进行模型修正;9)完成背景模型更新;如果视频未结束,转步骤1),否则处理完毕。该方法可以有效提高视频运动目标检测的准确性。

Description

一种运动目标检测的方法
技术领域
本发明涉及图像处理,特别是涉及一种运动目标检测的方法。
背景技术
对于运动目标检测,现有的技术一般都是建立并维护一个背景模型,然后逐像素对比背景模型与当前帧图片来差分运动目标,对于动态背景的误检(如树叶的晃动)和静止目标漏检的现象考虑稍显不足,因而在某些场景下的检测准确性难以令人满意。例如OlivierBarnich等人在《IEEETRANSACTIONSONIMAGEPROCESSING》提出的使用ViBe(VisualBackgroundExtraction)算法进行目标检测,其整个流程可以概括如下:使用起始帧为每一个像素点建立背景模型(背景模型是一个非参数逐像素模型,具体是指图片中的每一像素都具有一个模型,并且该模型是由20个像素值构成,也称为样本;初始化过程:每个像素的模型是从起始帧图片的当前像素和其8邻域的像素的9个像素值中有放回的抽取20个样本构成,如图1所示),读入新的一帧利用背景模型差分出前景(具体来说就是如果某个像素的当前值与两个或者多于两个背景样本相似(相似的定义为像素当前值和背景样本之间的距离度量小于R)则认为该像素为背景,反之为前景,如图2所示)。如果某像素被检测为背景,该像素的模型将有1/16概率被更新(某像素模型被更新是指模型中的20个样本的某一个被该像素的当前值随机替换掉,如图3所示),同时还有1/16的概率更新8邻域内某个像素的模型。其在进行前景检测时,缺乏对晃动背景的干扰和运动目标静止不动对检测效果可能产生的影响进行考虑。处理方式如图1至3,图1的ViBe初始化过程,图中所示为任一像素的背景模型初始化过程。图2的ViBe检测过程,图中所示为任意一个像素前景检测过程,并且图中事例的判断结果为背景。s1-s20是像素模型中的20个样本,v(x)是像素当前值,SR(v(x))是以当前值v(x)为中心R为半径的圆形区域,某个样本落在圆形区域内即认为样本与当前值v(x)相似。为方便表示,我们假设像素可以用一个二维向量表示,其他维度的表示与之类似。图3的ViBe的更新过程,图中所示为一个像素的模型被更新的过程。图的左侧的检测示意图认为该像素点为背景,如果当前像素此次获得了可以更新模型的机会,就会如图中所示用当前像素值随机的替换掉背景模型中的一个样本。
ViBe算法使用起始帧为每一个像素点建立背景模型,读入新的一帧利用背景模型差分出前景,如果某像素被检测为背景,该像素的模型将有1/16概率被更新,同时还有1/16的概率更新8邻域内某个像素的模型。其所使用的更新机制对背景的更新速度较慢,难以适应快速变化的动态背景区,容易将动态背景(如晃动的树叶)误检测为前景;如果起始帧包含前景目标,会在目标离开后的一段时间内将目标在起始帧停留的区域误检测为前景,现有初始化方案没有专门对此类错误进行处理;其传播更新机制虽然能够使得之前被前景遮挡的区域的背景信息迅速融入背景模型,但是也会使得静止目标渐渐融入背景中,污染了背景模型,如果静止目标再次运动,其之前静止位置也会在很长一段时间内被误检为前景。
例如,树叶常常会受到风的影响进行无规则的晃动,现有的技术会将其误检测出来,如图4所示。其中左上为原图;右上为人工标注出的理想检测结果;左下为ViBe算法检测结果;右下为使用本发明实施例的进行检测的结果。通过对比可以明显看出,ViBe算法对晃动背景的抗干扰能力较差,会在检测过程中大量将晃动的背景误检测为前景。
如图5,当视频的起始帧含有运动目标时会将运动目标初始化进背景模型中,因而当车开走时,其初始停留的位置会在相当长的时间段内被检测为前景,虽然这些检测错误都会随着算法的运行慢慢被纠正,但其耗时较长,且对于已检测错误的片段,没有提出专门的措施进行纠正。其中左上为包含运动目标的起始帧;右上为起始帧中的目标离开了起始位置的某帧图片;左下为传统检测算法的检测效果图;右下为本发明实施例的检测效果图。可以看到传统算法在车开走之后会将其原先停留的位置误检测为前景。
图6中目标运动到视野内后做了一段时间的停留,由于其背景传播更新机制,目标会慢慢融入背景中,直到完全检测不出来。其中左上为依次从视野外搬入三个物体静置的原图;右上为人工标注出的理想检测效果图;左下为传统算法检测效果图;右下为本发明实施例的检测效果图。可以看出,在传统算法检测效果图中,先行搬入的两个物体由于停留时间较长,已经完全融入到背景了。
发明内容
本发明提出一种运动目标检测方法,可以有效提高视频运动目标检测的准确性。
为实现上述目的,本发明采用以下技术方案:
一种运动目标检测的方法,包括以下步骤:
1)读入视频流的一帧图像;
2)判断读入的帧图像是否为第一帧,如果是则以第一帧建立背景模型,否则转向步骤3);
3)对读入的帧图像用背景模型差分出初步检测图;
4)对初步检测图做后处理;
5)使用BlinkMap图确定动态背景区域;
6)对动态背景区域使用邻域匹配(NeighboringMatch)和急速更新(SharpUpdate)机制进行模型修正;
9)完成背景模型更新;如果视频未结束,转步骤1),否则处理完毕。
进一步地:
在步骤6)和9)之间还包括以下步骤:
7)检测步骤4)获得的后处理结果是否有长时间前景区域,如果检测到长时间前景区域则转到步骤8),否则转到步骤9);
8)对于长时间前景区域,分别计算该区域模型与其邻域模型的对比度RC_M和该区域聚类结果与其邻域模型的对比度RC_C,如果RC_M大于ratio_upLimit倍的RC_C(可优选设定ratio_upLimit为1.5,也可根据具体情况做适当调整),则认为该区域的初始模型是错误的,并使用聚类结果修正该区域的模型,反之,认为该区域的初始模型是正确的;然后转步骤9)。
步骤2)中,采用Vibe初始化方法构建背景模型;步骤3)中,采用ViBe检测方法进行初步检测;步骤9)中,采用取消了邻域更新的Vibe更新机制进行更新。
步骤4)包括:
对初步检测图进行中值滤波、闭操作、凸包处理,再将处理结果与初步检测图作与操作得到去除噪声的检测图;
对去除噪声的检测图做膨胀、填洞处理得到包含所有前景目标的检测图;
设定一个比初始像素差值检测阈值更小的像素差值检测阈值,重新检测包含所有前景目标的检测图中指示的前景区域中的前景目标;
经过中值滤波、闭操作、填洞处理得到最终处理结果图。
步骤5)包括:
比较当前帧的初步检测图和前一帧的初步检测图,找出数值相同的像素,再将BlinkMap图中对应的像素值减去step_decrease(可优选设定step_decrease为1,也可根据具体情况做适当调整),找出数值不同的像素,然后将BlinkMap图中对应的像素值加上step_increase(可优选设定step_increase为15,也可根据具体情况做适当调整),且BlinkMap图中的每一个像素值限制在[0,level_upLimit]之间(可优选设定level_upLimit为150,也可根据具体情况做适当调整);
以step_threshold作为阈值(可优选设定step_threshold为30,也可根据具体情况做适当调整),阈值化BlinkMap图得到二值图BlinkMask,从而确定动态背景区域。
步骤5)进一步包括:
检测二值图BlinkMask中的像素,如果二值图BlinkMask中某个像素非0,并且该像素在当前帧的最终处理结果图中也非0,则在二值图BlinkMask中将该像素值置0。
步骤6)中所述邻域匹配包括:对于既被初步检测为前景同时又为动态背景的像素,将该像素的像素值重新与其半径为5像素距离的圆形邻域内的像素的模型进行比对,如果模型认为该像素为背景,则将该像素位置修改为背景;所述急速更新包括:对于被更新修改为背景的像素,使用该像素的像素值替换掉背景模型中设定数量的背景像素样本(可优选设定两个,也可根据具体情况做适当调整)。
步骤7)包括:统计步骤4)得到的后处理结果中的每个像素检测结果,如果某个区域在设定时间段内被检测为前景的频度达到设定的程度,则认为该区域是长时间前景区域。
步骤8)包括:通过如下公式计算对比度RC_M和对比度RC_C:
R C _ M = ( Σ p i ∈ P M C Σ p j ∈ P M S D ( p i , p j ) ) ÷ ( # P M C × # P M S ) - - - ( 1 )
R C _ C = ( Σ p i ∈ P C C Σ p j ∈ P M S D ( p i , p j ) ) ÷ ( # P C C × # P M S ) - - - ( 2 )
其中D(pi,pj)是像素pi和pj在RGB色彩空间内的欧式距离,PMC表示长时间前景区域的模型中的代表像素构成的一个集合,PMS表示长时间前景区域的周围邻域区域的模型中的代表像素构成的一个集合,PCC表示长时间前景区域的聚类结果中的像素构成的一个集合,#PMC,#PMS,#PCC分别是PMC,PMS,PCC集合中元素的数目。
步骤8)进一步包括:
通过如下公式计算长时间前景区域的模型和聚类结果的像素值的方差VAR_M和VAR_C:
V A R _ M = ( Σ p i ∈ P M C D ( p i , p M C ‾ ) ) ÷ ( # P M C ) - - - ( 3 )
V A R _ C = ( Σ p i ∈ P C C D ( p i , p C C ‾ ) ) ÷ ( # P C C ) - - - ( 4 )
其中分别是集合PMC和PCC中像素的均值;
ratio_downLimit*RC_C<RC_M<ratio_upLimit*RC_C(可优选设定ratio_downLimit为0.66,可优选设定ratio_upLimit为1.5,也可根据具体情况做适当调整)且max(VAR_M,VAR_C)>var_downLimit(可优选设定var_dwonLimit为8000,也可根据具体情况做适当调整),则利用边缘检测对长期前景区域的判决进行修正,否则转到步骤9);
步骤8)进一步包括:结合长时间前景区域的定位和直方图分析,将检测到的长时间前景区域作进一步精确分割。
本发明的有益效果:
本发明针对动态背景问题,首先通过结合后处理结果和表征前景检测结果变化频率程度的BlinkMap准确地确定动态背景区域,然后通过邻域匹配(NeighboringMatch)及急速更新(SharpUpdate)机制实现动态背景噪声像素的检测和快速更新,使得模型变得更加鲁棒,使得动态区域的检测到的更加少的虚假前景,更加便于后处理操作。进一步地,针对静态前景,首先识别出长期检测为前景的区域,然后判别初始模型是否准确,如果错误则还进行相应的修正。通过对图像划分区域进行处理,可以更好地针对区域特征设计更为适用的检测更新算法,以达到较为令人满意的检测效果;进一步地,结合区域对比度和边缘信息的长时间前景区域分类的算法能够非常准确地区分出哪些长时间前景区域的模型是错误的,再用聚类算法获取的聚类结果修正该区域的模型,使得检测结果更加准确。优选实施例可以较好地处理动态背景误检和静止前景目标漏检的问题。
附图说明
图1为ViBe初始化过程,图中所示为任一像素的背景模型初始化过程;
图2为ViBe检测过程,图中所示为任意一个像素前景检测过程,并且图中事例的判断结果为背景;
图3为ViBe的更新过程,图中所示为一个像素的模型被更新的过程;
图4为晃动背景下的检测效果图;
图5为传统算法在初始化过程中有运动目标所会造成的错误;
图6为传统算法的传播机制对检测效果产生的影响示意图;
图7为检测长时间前景区域的算法图;
图8为长时间前景区域的处理流程;
图9为长时间前景区域的处理流程;
图10为将检测到的长时间前景区域进一步精确划分的算法图;
图11为长时间前景区域划分成真正相互独立的长时间前景区域的流程;
图12为本发明实施例的运动目标检测的方法流程图。
具体实施方式
以下对本发明的实施方式作详细说明。应该强调的是,下述说明仅仅是示例性的,而不是为了限制本发明的范围及其应用。
如图12所示,在一种实施例中,一种运动目标检测的方法包括如下步骤。
1)视频流的读入;
2)判断读入的帧图像是否为第一帧,如果是则以第一帧建立背景模型,否则转向3)。这里使用Vibe的初始化方案进行背景模型的构建。
3)利用背景模型差分出初步检测图,记为Mask1,这里使用ViBe的检测方案进行初步检测。
4)对初步检测图做后处理。首先进行中值滤波,闭操作,凸包,再与初步检测图Mask1作与操作得到去除噪声的检测图,记为Mask11。然后,对去除噪声的检测图Mask11做膨胀、填洞得到包含所有前景目标的检测图,记为Mask12。最后,设定一个更加小的像素差值检测阈值,即设定一个更小的R值,重新检测Mask12中指示的前景区域以使得该区域的前景目标尽可能完整的被检测出来,再加上一些后处理(包括中值滤波、闭操作、填洞)得到最终处理结果,记为Mask2。
5)比较当前帧的初步检测图Mask1和前一帧的初步检测图Mask1,找出数值相同的像素,BlinkMap图中对应的像素值减去1,找出数值不同的像素,BlinkMap图中对应的像素值加上15,并且BlinkMap中的每一个像素值限制在0-150之间。使用30作为阈值,阈值化BlinkMap得到二值图,记为BlinkMask。此外,为了避免前景的边界区域也被检测为动态背景,需将BlinkMask的一些值置0,具体操作:如果BlinkMask中某个像素非0,即该像素为动态背景,并且该像素在当前帧的最终处理结果图Mask2中也非0,即该像素为前景,就在BlinkMask中将该像素值置0。如此就可以获知哪些区域是动态背景区域,并且通过BlinkMask表示出来。
6)对动态背景区域使用邻域匹配(NeighboringMatch)和急速更新(SharpUpdate)机制进行模型修正。其中邻域匹配是指如果某一个像素既被初步检测为前景同时又是动态背景,即Mask1和BlinkMask中同时等于255的像素,则将该像素值重新与其半径为5像素距离的圆形邻域内的像素的模型进行比对,如果有模型认为该像素为背景,则将该像素位置修改为背景。急速更新是指对于被邻域更新修改为背景的像素点,使用该像素值替换掉背景模型中的两个背景像素样本,以适应动态背景区域的快速晃动。
7)迭代统计最终检测结果Mask2中的每个像素检测结果,如果某个区域在某段时间内被频繁检测为前景,就认为该区域是长时间前景区域或者说静止的前景区域。如果检测到长时间前景区域则转到8),否则转到9)。
8)对于长期前景区域,分别计算该区域模型与其邻域模型的对比度RC_M和该区域聚类结果(对于每个像素,通过序列领导聚类(SequentialLeaderClustering,SLC)算法,聚类该像素之前所有被检测为前景的像素值获得该像素一直被检测为前景的这段时间内真实物体)与其邻域模型的对比度RC_C,如公式(1)、(2)所示:
R C _ M = ( &Sigma; p i &Element; P M C &Sigma; p j &Element; P M S D ( p i , p j ) ) &divide; ( # P M C &times; # P M S ) - - - ( 1 )
R C _ C = ( &Sigma; p i &Element; P C C &Sigma; p j &Element; P M S D ( p i , p j ) ) &divide; ( # P C C &times; # P M S ) - - - ( 2 )
其中D(pi,pj)是像素pi和pj在RGB色彩空间内的欧式距离,PMC表示长时间前景区域的模型中的代表像素构成的一个集合,PMS表示长时间前景区域(如图8.b中白色区域所示)周围邻域区域(我们对长时间前景区域向外膨胀15个像素获得邻域区域,如图8.b中灰色区域所示)的模型中的代表像素构成的一个集合,PCC表示长时间前景区域的聚类结果中的像素构成的一个集合,#PMC,#PMS,#PCC分别是PMC,PMS,PCC集合中元素的数目。
如果RC_M大于1.5倍的RC_C,则认为初始模型是错误的,并使用聚类结果修正该区域的模型;反之,则认为初始模型是正确的,不需要做任何修正,由此得到了正确的初始化模型。完整的处理流程如图8所示。
但是,如果检测到的长时间前景区域的模型或者聚类结果景物纹理复杂,上述方法就会失效,为此,进一步分析边缘(edge)信息修正上述方法的一些错误判决。具体步骤如下,首先计算长时间前景区域的模型和聚类结果的像素值的方差VAR_M和VAR_C,如公式(3,4)所示:
V A R _ M = ( &Sigma; p i &Element; P M C D ( p i , p M C &OverBar; ) ) &divide; ( # P M C ) - - - ( 3 )
V A R _ C = ( &Sigma; p i &Element; P C C D ( p i , p C C &OverBar; ) ) &divide; ( # P C C ) - - - ( 4 )
其中分别是集合PMC和PCC中像素的均值。
如果0.66*RC_C<RC_M<1.5*RC_C&&max(VAR_M,VAR_C)>8000,我们就进行图9中e-h所示操作,否则转到9)。完整的处理流程如图9所示。
进一步分析发现,如果不同的长时间前景目标离得特别近,就会被检测成同一个前景物体,这是不利于我们的算法处理的,所以我们设计了一个算法来将检测到的长时间前景区域进一步划分为真正相互独立的长时间前景区域。我们通过对长时间前景区域的起始时间图(ts,见图7)进行直方图分析,将每个长时间前景区域进一步划分为真正相互独立的长时间前景区域。这个分析的主要思想是找出若干个区间,每个区间直方图取值都大于某个阈值,每个区间的左边界为上一区间右边界之后第一个大于0.005的bin的左边界,对应的右边界为该左边界之后的第一个小于0.005的bin的左边界,如图10所示。结合长时间前景区域定位算法和直方图分析实现长时间前景区域的精确分割的流程如图11所示。
9)基本背景模型更新,这里我们采用取消了邻域更新的Vibe更新机制进行更新,以免运动物体静止时慢慢融入到背景中去。若视频未结束则转向1)进行下一帧处理,否则结束视频处理操作。
图12所示为方法的完整流程。
实例算法
图7至图11展示实例中可采用的具体算法或处理流程。
考虑到噪声、光照变化、景物相互遮挡等多种干扰因素,一种检测长时间前景区域的具体算法如图7所示,可非常可靠地检测长时间前景区域或者说静止的前景区域,其中ts是一个长时间前景物体开始静止的时间,tfg是一个长时间前景物体从开始静止到当前时刻所经历的时间,LFGMask是长时间前景区域的指示图,算法的输出,FGMask是用来计算长时间前景区域的前景检测图,算法的输入,td是一个全局变量用来实现一个时延机制以确保检测到完整的长时间前景区域。
图8示出长时间前景区域的处理流程。(a)Mask2的时间序列,(b)借助图7所示算法获得的长时间前景区域指示图(获得指示图非常完整,内部没有任何孔洞),其中白色区域是获得的长时间前景区域,灰色区域是为后续操作借助膨胀操作获得的相应的邻域区域,(c)上面的图片中的中心区域和邻域区域都是模型,下面的图片中的中心区域是聚类结果,邻域区域还是模型,(d)借助(c)的相关数据获得最终的修正模型
图9示出长时间前景区域的处理流程。(a)Mask2的时间序列,(b)借助图7所示算法获得的长时间前景区域指示图(获得指示图非常完整,内部没有任何孔洞),(c)上面的图片中的中心区域和邻域区域都是模型,下面的图片中的中心区域是聚类结果,邻域区域还是模型,(d)借助(c)的相关数据获得最终的修正模型,可以看出火车区域模型没有能够得到正确修正,(e)Mask1的时间序列,(f)上面的图是借助图7所示算法获得的长时间前景区域指示图(获得指示图轮廓非常精确),下面的图是上图对应的轮廓图(g)分别对应(c)中两幅图片的canny边缘检测图,(h)借助(g)的相关数据获得最终的修正模型(如果长时间前景区域的模型的边缘与前景检测到的边缘更相似就需用聚类结果修正模型,具体判断条件是如果count_same_edge_pixel_M>count_same_edge_pixel_C,用聚类结果修正长时间前景区域的模型),可以看出火车区域模型得到了正确修正
图10所示算法的基本思想是找出若干个区间,每个区间直方图取值都大于某个阈值,每个区间的左边界为上一区间右边界之后第一个大于0.005的bin的左边界,对应的右边界为该左边界之后的第一个小于0.005的bin的左边界,其中标识符findingLeftBorder为真则表示当前是在寻找某个区间的左边界,LBPs和RBPs两个数组用于存储这些边界的左右边界点数值,IN用于表示最终找到的符合要求的区间数目。
图11示出长时间前景区域划分成真正相互独立的长时间前景区域的流程。(a)Mask2的时间序列,(b)借助图7所示算法获得的长时间前景区域指示图(获得指示图非常完整,内部没有任何孔洞)(c)上面的图片是长时间前景区域开始静止的的时间图,下面是对应的直方图,并且已经进行了直方图分析处理,(d)借助(c)的相关数据获得长时间前景区域的划分,可以看出区域划分的十分准确。
本发明实施例中的要点包括:
1)结合后处理结果和BlinkMap图准确地确定动态背景区域。
2)设计了邻域匹配(NeighboringMatch)和急速更新(SharpUpdate)方法实现对动态区域模型的快速更新,使得模型更加鲁棒。
3)设计了一种前景时长比例统计的方法能够非常可靠地检测出长时间的前景区域。
4)设计了结合区域对比度和边缘信息的长时间前景区域分类的方法,能够非常准确地区分出长时间前景区域的模型是否准确。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,其还可以对这些已描述的实施方式做出若干替代或变型,而这些替代或变型方式都应当视为属于本发明的保护范围。

Claims (10)

1.一种运动目标检测的方法,其特征在于,包括以下步骤:
1)读入视频流的一帧图像;
2)判断读入的帧图像是否为第一帧,如果是则以第一帧建立背景模型,否则转向步骤3);
3)对读入的帧图像用背景模型差分出初步检测图;
4)对初步检测图做后处理;
5)使用BlinkMap图确定动态背景区域;
6)对动态背景区域使用邻域匹配(NeighboringMatch)和急速更新(SharpUpdate)机制进行模型修正;
9)完成背景模型更新;如果视频未结束,转步骤1),否则处理完毕。
2.如权利要求1所述的方法,其特征在于,在步骤6)和9)之间还包括以下步骤:
7)检测步骤4)获得的后处理结果是否有长时间前景区域,如果检测到长时间前景区域则转到步骤8),否则转到步骤9);
8)对于长时间前景区域,分别计算该区域模型与其邻域模型的对比度RC_M和该区域聚类结果与其邻域模型的对比度RC_C,如果RC_M大于设定的ratio_upLimit倍的RC_C,则认为该区域的初始模型是错误的,并使用聚类结果修正该区域的模型,反之,认为该区域的初始模型是正确的;然后转步骤9)。
3.如权利要求1所述的方法,其特征在于,步骤2)中,采用Vibe初始化方法构建背景模型;步骤3)中,采用ViBe检测方法进行初步检测;步骤9)中,采用取消了邻域更新的Vibe更新机制进行更新。
4.如权利要求1所述的方法,其特征在于,步骤4)包括:
对初步检测图进行中值滤波、闭操作、凸包处理,再将处理结果与初步检测图作与操作得到去除噪声的检测图;
对去除噪声的检测图做膨胀、填洞处理得到包含所有前景目标的检测图;
设定一个比初始像素差值检测阈值更小的像素差值检测阈值,重新检测包含所有前景目标的检测图中指示的前景区域中的前景目标;
经过中值滤波、闭操作、填洞处理得到最终处理结果图。
5.如权利要求1所述的方法,其特征在于,步骤5)包括:
比较当前帧的初步检测图和前一帧的初步检测图,找出数值相同的像素,再将BlinkMap图中对应的像素值减去设定的step_decrease值,找出数值不同的像素,然后将BlinkMap图中对应的像素值加上设定的step_increase值,且BlinkMap图中的每一个像素值限制在[0,level_upLimit]之间,level_upLimit为设定值;
以设定的step_threshold值作为阈值,阈值化BlinkMap图得到二值图BlinkMask,从而确定动态背景区域。
6.如权利要求5所述的方法,其特征在于,步骤5)进一步包括:
检测二值图BlinkMask中的像素,如果二值图BlinkMask中某个像素非0,并且该像素在当前帧的最终处理结果图中也非0,则在二值图BlinkMask中将该像素值置0。
7.如权利要求1所述的方法,其特征在于,步骤6)中所述邻域匹配包括:对于既被初步检测为前景同时又为动态背景的像素,将该像素的像素值重新与其半径为5像素距离的圆形邻域内的像素的模型进行比对,如果模型认为该像素为背景,则将该像素位置修改为背景;所述急速更新包括:对于被更新修改为背景的像素,使用该像素的像素值替换掉背景模型中设定数量的背景像素样本。
8.如权利要求2所述的方法,其特征在于,步骤7)包括:统计步骤4)得到的后处理结果中的每个像素检测结果,如果某个区域在设定时间段内被检测为前景的频度达到设定的程度,则认为该区域是长时间前景区域。
9.如权利要求2所述的方法,其特征在于,步骤8)包括:通过如下公式计算对比度RC_M和对比度RC_C:
R C _ M = ( &Sigma; p i &Element; P M C &Sigma; p j &Element; P M S D ( p i , p j ) ) &divide; ( # P M C &times; # P M S ) - - - ( 1 )
R C _ C = ( &Sigma; p i &Element; P C C &Sigma; p j &Element; P M S D ( p i , p j ) ) &divide; ( # P C C &times; # P M S ) - - - ( 2 )
其中D(pi,pj)是像素pi和pj在RGB色彩空间内的欧式距离,PMC表示长时间前景区域的模型中的代表像素构成的一个集合,PMS表示长时间前景区域的周围邻域区域的模型中的代表像素构成的一个集合,PCC表示长时间前景区域的聚类结果中的像素构成的一个集合,#PMC,#PMS,#PCC分别是PMC,PMS,PCC集合中元素的数目。
10.如权利要求8所述的方法,其特征在于,步骤8)进一步包括:
通过如下公式计算长时间前景区域的模型和聚类结果的像素值的方差VAR_M和VAR_C:
V A R _ M = ( &Sigma; p i &Element; P M C D ( p i , p M C &OverBar; ) ) &divide; ( # P M C ) - - - ( 3 )
V A R _ C = ( &Sigma; p i &Element; P C C D ( p i , p C C &OverBar; ) ) &divide; ( # P C C ) - - - ( 4 )
其中分别是集合PMC和PCC中像素的均值;
ratio_downLimit*RC_C<RC_M<ratio_upLimit*RC_C且max(VAR_M,VAR_C)>var_downLimit,则利用边缘检测对长期前景区域的判决进行修正,否则转到步骤9),其中ratio_downLimit、ratio_upLimit及var_downLimit均为设定值;
优选地,步骤8)进一步包括:结合长时间前景区域的定位和直方图分析,将检测到的长时间前景区域作进一步精确分割。
CN201510549568.3A 2015-08-31 2015-08-31 一种运动目标检测的方法 Active CN105205832B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510549568.3A CN105205832B (zh) 2015-08-31 2015-08-31 一种运动目标检测的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510549568.3A CN105205832B (zh) 2015-08-31 2015-08-31 一种运动目标检测的方法

Publications (2)

Publication Number Publication Date
CN105205832A true CN105205832A (zh) 2015-12-30
CN105205832B CN105205832B (zh) 2017-08-25

Family

ID=54953492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510549568.3A Active CN105205832B (zh) 2015-08-31 2015-08-31 一种运动目标检测的方法

Country Status (1)

Country Link
CN (1) CN105205832B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184817A (zh) * 2015-08-31 2015-12-23 清华大学深圳研究生院 一种克服静止前景运动目标检测的方法
CN107169997A (zh) * 2017-05-31 2017-09-15 上海大学 面向夜间环境下的背景减除算法
CN107845103A (zh) * 2017-10-23 2018-03-27 广东美的制冷设备有限公司 基于纹理信息的报警方法、装置以及计算机可读存储介质
WO2018082332A1 (zh) * 2016-11-07 2018-05-11 深圳光启合众科技有限公司 图像处理方法和装置、机器人
CN110300253A (zh) * 2018-03-22 2019-10-01 佳能株式会社 图像处理装置和方法及存储指令的存储介质
CN111382600A (zh) * 2018-12-28 2020-07-07 山东华软金盾软件股份有限公司 一种安防视频单色遮挡物检测装置及方法
CN111582210A (zh) * 2019-07-09 2020-08-25 沈阳工业大学 基于量子神经网络的人体行为识别方法
CN111773651A (zh) * 2020-07-06 2020-10-16 湖南理工学院 一种基于大数据的羽毛球训练监控评估系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102568005A (zh) * 2011-12-28 2012-07-11 江苏大学 一种基于混合高斯模型的运动目标检测方法
CN103971386A (zh) * 2014-05-30 2014-08-06 南京大学 一种动态背景场景下的前景检测方法
CN104392468A (zh) * 2014-11-21 2015-03-04 南京理工大学 基于改进视觉背景提取的运动目标检测方法
CN104835179A (zh) * 2015-03-30 2015-08-12 复旦大学 基于动态背景自适应的改进ViBe背景建模算法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102568005A (zh) * 2011-12-28 2012-07-11 江苏大学 一种基于混合高斯模型的运动目标检测方法
CN103971386A (zh) * 2014-05-30 2014-08-06 南京大学 一种动态背景场景下的前景检测方法
CN104392468A (zh) * 2014-11-21 2015-03-04 南京理工大学 基于改进视觉背景提取的运动目标检测方法
CN104835179A (zh) * 2015-03-30 2015-08-12 复旦大学 基于动态背景自适应的改进ViBe背景建模算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
M.VAN DROOGENBROECK等: "Background Subtraction:Experiments and Improvements for ViBe", 《CHANGE DETECTION WORKSHOP》 *
OLIVIER BARNICH等: "ViBe: A Universal Background Subtraction Algorithm for Video Sequences", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184817B (zh) * 2015-08-31 2017-10-27 清华大学深圳研究生院 一种克服静止前景运动目标检测的方法
CN105184817A (zh) * 2015-08-31 2015-12-23 清华大学深圳研究生院 一种克服静止前景运动目标检测的方法
WO2018082332A1 (zh) * 2016-11-07 2018-05-11 深圳光启合众科技有限公司 图像处理方法和装置、机器人
CN108090924A (zh) * 2016-11-07 2018-05-29 深圳光启合众科技有限公司 图像处理方法和装置、机器人
CN108090924B (zh) * 2016-11-07 2020-03-10 深圳光启合众科技有限公司 图像处理方法和装置、机器人
CN107169997A (zh) * 2017-05-31 2017-09-15 上海大学 面向夜间环境下的背景减除算法
CN107845103B (zh) * 2017-10-23 2022-03-11 广东美的制冷设备有限公司 基于纹理信息的报警方法、装置以及计算机可读存储介质
CN107845103A (zh) * 2017-10-23 2018-03-27 广东美的制冷设备有限公司 基于纹理信息的报警方法、装置以及计算机可读存储介质
CN110300253A (zh) * 2018-03-22 2019-10-01 佳能株式会社 图像处理装置和方法及存储指令的存储介质
CN110300253B (zh) * 2018-03-22 2021-06-29 佳能株式会社 图像处理装置和方法及存储指令的存储介质
CN111382600A (zh) * 2018-12-28 2020-07-07 山东华软金盾软件股份有限公司 一种安防视频单色遮挡物检测装置及方法
CN111582210A (zh) * 2019-07-09 2020-08-25 沈阳工业大学 基于量子神经网络的人体行为识别方法
CN111773651A (zh) * 2020-07-06 2020-10-16 湖南理工学院 一种基于大数据的羽毛球训练监控评估系统及方法

Also Published As

Publication number Publication date
CN105205832B (zh) 2017-08-25

Similar Documents

Publication Publication Date Title
CN105205832A (zh) 一种运动目标检测的方法
CN109034245B (zh) 一种利用特征图融合的目标检测方法
CN115272346A (zh) 一种基于边缘检测的pcb板生产过程在线检测方法
CN101694718B (zh) 基于感兴趣区域的遥感图像变化检测方法
CN105096315B (zh) 基于Gamma分布的异质超像素SAR图像分割方法
CN104616290A (zh) 一种统计矩阵模型和自适应阈值相结合的目标检测算法
JP2018205920A (ja) 学習プログラム、学習方法および物体検知装置
CN103413120A (zh) 基于物体整体性和局部性识别的跟踪方法
EP4071665A1 (en) Character segmentation method and apparatus, and computer-readable storage medium
CN103310435B (zh) 将垂直投影和最优路径相结合对车牌字符进行分割的方法
CN109478329B (zh) 图像处理方法和装置
CN103198319B (zh) 用于矿山井筒环境下的模糊图像角点提取方法
CN106778712A (zh) 一种多目标检测与跟踪方法
CN103413303A (zh) 基于联合显著性的红外目标分割方法
CN111046862B (zh) 一种字符分割方法、装置以及计算机可读存储介质
CN111027546A (zh) 一种字符分割方法、装置以及计算机可读存储介质
CN112819840B (zh) 一种融合深度学习与传统处理的高精度图像实例分割方法
CN109785356B (zh) 一种视频图像的背景建模方法
CN104463892A (zh) 基于水平集及GVF Snake精确定位的菌落图像分割方法
CN105184817A (zh) 一种克服静止前景运动目标检测的方法
CN104408747A (zh) 一种适用于深度图像的人体运动检测方法
CN104077776A (zh) 一种基于颜色空间自适应更新的视觉背景提取算法
CN103236056B (zh) 基于模板匹配的图像分割方法
CN109241865B (zh) 一种弱对比度交通场景下的车辆检测分割算法
CN107240109A (zh) 一种仪表刻度线位置自动检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518055 Guangdong city of Shenzhen province Nanshan District Xili of Tsinghua

Applicant after: Graduate School at Shenzhen, Tsinghua University

Address before: 518000 Guangdong city in Shenzhen Province, Nanshan District City Xili Shenzhen Tsinghua Campus of Tsinghua University

Applicant before: Graduate School at Shenzhen, Tsinghua University

COR Change of bibliographic data
GR01 Patent grant
GR01 Patent grant