CN112348842A - 一种从视频中自动快速获取场景背景的处理方法 - Google Patents

一种从视频中自动快速获取场景背景的处理方法 Download PDF

Info

Publication number
CN112348842A
CN112348842A CN202011212916.5A CN202011212916A CN112348842A CN 112348842 A CN112348842 A CN 112348842A CN 202011212916 A CN202011212916 A CN 202011212916A CN 112348842 A CN112348842 A CN 112348842A
Authority
CN
China
Prior art keywords
mode
gaussian mixture
mixture model
time domain
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011212916.5A
Other languages
English (en)
Other versions
CN112348842B (zh
Inventor
王君秋
高燕杰
麻彦轩
甘志超
梁硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ruisai Chang Cheng Aeronautical M & C Technology Co ltd
AVIC Intelligent Measurement Co Ltd
China Aviation Industry Corp of Beijing Institute of Measurement and Control Technology
Original Assignee
Beijing Ruisai Chang Cheng Aeronautical M & C Technology Co ltd
AVIC Intelligent Measurement Co Ltd
China Aviation Industry Corp of Beijing Institute of Measurement and Control Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ruisai Chang Cheng Aeronautical M & C Technology Co ltd, AVIC Intelligent Measurement Co Ltd, China Aviation Industry Corp of Beijing Institute of Measurement and Control Technology filed Critical Beijing Ruisai Chang Cheng Aeronautical M & C Technology Co ltd
Priority to CN202011212916.5A priority Critical patent/CN112348842B/zh
Publication of CN112348842A publication Critical patent/CN112348842A/zh
Application granted granted Critical
Publication of CN112348842B publication Critical patent/CN112348842B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例公开了一种从视频中自动快速获取场景背景的处理方法,包括:步骤1,通过摄像机的拍摄得到多帧图像的图像序列;步骤2,为图像序列的每一个像素建立时域高斯混合模型,根据每帧图像输入像素值的变化,对时域高斯混合模型的模式进行更新,包括更新已有模式、创建新的模式、删除多余模式;步骤3,获取计算背景图像的分类时机;步骤4,根据步骤3获取到的分类时机,对通过步骤2得到的当前时域高斯混合模型,获取图像序列的背景图像。本发明实施例有效地解决了在视频监控和动态测量等领域自动获取场景背景需要较长时间,背景剪除不能及时进行等问题。

Description

一种从视频中自动快速获取场景背景的处理方法
技术领域
本申请涉及但不限于自动监控和动态测量中的图像处理技术领域,尤指一种从视频中自动快速获取场景背景的处理方法。
背景技术
获取视频中的场景背景有很多方面的用途,场景背景例如可以应用于智能制造测量、视频监控和视频编辑等多个领域。一方面,在智能制造测量领域,通过摄影测量方法进行测量的过程中,场景背景不变,而前景改变;在这种情况下,通过背景获取和背景剪除可以有效地降低计算复杂度,提高系统效率,对重点区域进行重点分析。
另一方面,在视频监控领域,一般通过背景剪除得到前景信息,对其进行分析,该应用领域中,背景剪除需要得到稳定的场景的背景。针对背景剪除的方式,固定摄像机获得的视频中,场景背景一般相对稳定,形成图像序列。在场景中移动的物体对背景形成遮挡,为了获得场景背景,可以要求在场景中没有移动物体,获取一段时间的单纯背景图像,用于计算场景背景;另外,可以根据图像序列的内在联系计算获得场景背景。大部分用于获取场景背景的方法需要经过很多帧图像的计算,才能获得场景背景。此外,上述获取场景背景的方法对更新参数敏感,如果更新参数过大,移动物体也可能被分类为背景;反之,需要更长的时间才能得到背景。
在视频监控领域,很多情况下不能得到没有移动物体的图像序列。如果使用需要很长时间才能获得场景背景的方法,在此期间内的监控将失效,不利于监控系统正常使用。
再一方面,在视频编辑领域,一般图像序列的长度较短,如果使用一般的获取场景背景的方法,在视频结束时可能也无法得到场景背景。
发明内容
为了解决上述技术问题,本发明实施例提供了一种从视频中自动快速获取场景背景的处理方法,以解决在视频监控和动态测量等领域自动获取场景背景需要较长时间,背景剪除不能及时进行等问题;本发明实施例可以实现在较短时间内得到场景背景。
本发明实施例提供一种从视频中自动快速获取场景背景的处理方法,监控区域或者测量场中布置有摄像机,所述摄像机设置有预设范围的拍摄视野,所述获取场景背景的处理方法,包括:
步骤1,通过所述摄像机的拍摄得到多帧图像的图像序列;
步骤2,为图像序列的每一个像素建立时域高斯混合模型,根据每帧图像输入像素值的变化,对所述时域高斯混合模型的模式进行更新,包括更新已有模式、创建新的模式、删除多余模式;
步骤3,获取计算背景图像的分类时机;
步骤4,根据步骤3获取到的分类时机,对通过步骤2得到的当前时域高斯混合模型,获取所述图像序列的背景图像,获取方式包括:
步骤41,采用期望值最大化的方法对第二模式的权重分布进行拟合,得到分别表示背景图像和前景图像的二元权重高斯混合模型;
步骤42,在随机场上进行优化计算,得到优化后的前景图像和背景图像的分类结果,并根据分类结果计算出背景图像。
可选地,如上所述的从视频中自动快速获取场景背景的处理方法中,所述步骤2中对所述时域高斯混合模型的模式进行更新,包括:
使用时域高斯混合模型中的多个模式描述图像中每个像素的分布,根据每帧输入图像的像素值与当前时域高斯混合模型的距离,确定根据新输入像素值对当前模型中的模式进行更新、创建新的模式、或者删除其中一个模式。
可选地,如上所述的从视频中自动快速获取场景背景的处理方法中,所述步骤2包括:
步骤21,为图像序列中的每个像素建立时域高斯混合模型,根据第一帧图像中的像素值对高斯模型进行初始化,得到每个像素的第一模式;
步骤22,计算当前帧输入像素值与高斯混合模型中的模式的拟合度,拟合度由输入像素值与当前时域高斯混合模型模式的距离确定;
步骤23,确定输入像素值是否被当前时域高斯混合模型中的模式所描述;
步骤24,如果输入像素值能够被当前时域高斯混合模型中的一个模式所描述,则更新当前相应的时域高斯混合模型中模式的权重参数;
步骤25,如果输入像素值不能被当前时域高斯混合模型中的所有模式所描述,则对当前时域高斯混合模型创建新的模式;
步骤26,判断当前时域高斯混合模型中是否有权重为负值的模式;
步骤27,如果当前时域高斯混合模型中有权重为负值的模式,则删除相应的模式;
步骤28,如果当前时域高斯混合模型中没有权重为负值的模式,则更新当前时域高斯混合模型中模式的权重参数。
可选地,如上所述的从视频中自动快速获取场景背景的处理方法中,所述步骤24包括:
当输入像素值与时域高斯混合模型中一个模式的距离在3倍偏差范围之内时,将对当前时域高斯混合模型的各个模式进行更新;
所述步骤25包括:
当输入像素值与当前时域高斯混合模型的所有模式的距离都大于3倍偏差范围之外时,对当前时域高斯混合模型创建一个新的模式。
可选地,如上所述的从视频中自动快速获取场景背景的处理方法中,所述步骤3中获取分类时机的方式,包括:
对整个图像的第一模式和第二模式分别进行统计,获得两个权重高斯混合模型,并计算两个权重高斯混合模型的相对熵值,根据相对熵值决定出用于计算背景图像的分类时机。
可选地,如上所述的从视频中自动快速获取场景背景的处理方法中,所述步骤41包括:
对用于描述图像像素的每个时域高斯混合模型中,根据第二模式的权重、且通过期望值最大化方法建立出一个二元权重高斯混合模型,根据二元权重高斯混合模型的计算结果,得到的分类结果为:第一帧图像的每个像素属于前景图像和背景图像的概率。
可选地,如上所述的从视频中自动快速获取场景背景的处理方法中,所述步骤41包括:
步骤41a,根据每个时域高斯混合模型的分布,对所有像素的时域高斯混合模型的第二模式进行分析,使用期望值最大化方法,根据第二模式的权重,得到二元权重高斯混合模型;
步骤41b,根据每个像素与二元权重高斯混合模型的两个模式之间的距离,得到每个像素属于前景图像或者背景图像的概率。
可选地,如上所述的从视频中自动快速获取场景背景的处理方法中,所述步骤42包括:
基于空间连续性的信息,利用全连接条件随机场对所述步骤41得到的分类结果进行优化计算,得到优化后的前景图像和背景图像的分类,并根据分类结果,计算得到图像序列的背景图像。
与现有技术相比,本发明具有以下优点:
本发明实施例提供的从视频中自动快速获取场景背景的处理方法,可以应用于智能监控在安全及其它领域有广泛的应用;场景背景的计算结果对监控效果的有直接影响。现有技术对背景的计算一般采用渐进方式,需要通过多帧视频计算才能获取正确的监控背景。针对此问题,本发明提供的处理方法,可以实现在极短时间内完成背景计算,为高效的视频监控系统提供基础,且本发明实施例的技术方案在诸多领域可能创造经济效益和社会效益。
附图说明
附图用来提供对本发明技术方案的进一步理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。
图1为本发明实施例提供的一种从视频中自动快速获取场景背景的处理方法的流程图;
图2为本发明实施例中一种获取图像序列的背景图像的流程图;
图3为本发明实施例中的第一帧图像的示意图;
图4为本发明实施例中图像序列在处理过程中的模式示意图;
图5为采用本发明实施例提供的处理方法获取场景背景的过程中经过多帧处理得到的模式示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
固定摄像机得到的视频中可以分为前景和背景两类。其中,背景是场景中相对于摄像机固定的物体在图像上的投影;而前景为移动物体在图像中的投影,本发明实施例提供的技术方案能够自动计算固定摄像机拍摄视频中的场景背景,
基于视频监控和动态测量等领域自动获取场景背景需要较长时间,背景剪除不能及时进行等问题。本发明实施例提出一种基于较少的图像计算获得场景背景的方法。本发明实施例的图像中的每个像素由时域高斯混合模型表示,该时域高斯混合模型中的模式可以被创建、更新或者清除,这些模式的参数可以用于推理此像素属于背景的概率;本发明实施例中基于像素的得到局部场景背景的估计结果,这些结果里难免有错误,为了提高系统性能,采用全连接的条件随机场进行全局优化计算,获得合理的场景背景。另外,为了解决计算场景背景的时间点的问题,本发明实施例提出使用相对熵(Kullback–Leiblerdivergence)得到进行背景估计的合适时机。
本发明提供以下几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
在视频监控或者动态测量过程中,摄像机位置保持相对不变,其视场范围也保持不变。在获取场景背景过程中,输入图像中可能包含前景运动物体,运动物体的位置、形状及尺寸未知。在这种情况下,不可以直接获得背景图像。
基于上述难以直接获取到背景图像的问题,本发明实施例提供一种从视频中自动快速获取场景背景的处理方法,如图1所示,为本发明实施例提供的一种从视频中自动快速获取场景背景的处理方法的流程图,本发明实施例中监控区域或者测量场中布置有摄像机,该摄像机设置有预设范围的拍摄视野,从视频中自动快速获取场景背景的处理方法,包括如下步骤:
步骤1,通过摄像机的拍摄得到多帧图像的图像序列;
步骤2,为图像序列的每一个像素建立时域高斯混合模型,根据每帧图像输入像素值的变化,对时域高斯混合模型的模式进行更新,包括更新已有模式、创建新的模式、删除多余模式;
步骤3,获取计算背景图像的分类时机;
步骤4,根据步骤3获取到的分类时机,对通过步骤2得到的当前时域高斯混合模型,获取图像序列的背景图像。如图2所示,为本发明实施例中一种获取图像序列的背景图像的流程图,具体获取方式包括:
步骤41,采用期望值最大化的方法对第二模式的权重分布进行拟合,得到分别表示背景图像和前景图像的二元权重高斯混合模型;
步骤42,在随机场上进行优化计算,得到优化后的前景图像和背景图像的分类结果,并根据分类结果计算出背景图像。
本发明实施例中,步骤2中对时域高斯混合模型的模式进行更新的实现方式,包括:
使用时域高斯混合模型中的多个模式描述图像中每个像素的分布,根据每帧输入图像的像素值与当前时域高斯混合模型的距离,确定根据新输入像素值对当前模型中的模式进行更新、创建新的模式、或者删除其中一个模式。
本发明实施例在具体实现过程中,步骤2的具体实施步骤可以包括:
步骤21,为图像序列中的每个像素建立时域高斯混合模型,根据第一帧图像中的像素值对高斯模型进行初始化,得到每个像素的第一模式;
步骤22,计算当前帧输入像素值与高斯混合模型中的模式的拟合度,拟合度由输入像素值与当前时域高斯混合模型模式的距离确定;
步骤23,确定输入像素值是否被当前时域高斯混合模型中的模式所描述;
步骤24,如果输入像素值能够被当前时域高斯混合模型中的一个模式所描述,则更新当前相应的时域高斯混合模型中模式的权重参数;
步骤25,如果输入像素值不能被当前时域高斯混合模型中的所有模式所描述,则对当前时域高斯混合模型创建新的模式;
步骤26,判断当前时域高斯混合模型中是否有权重为负值的模式;
步骤27,如果当前时域高斯混合模型中有权重为负值的模式,则删除相应的模式;
步骤28,如果当前时域高斯混合模型中没有权重为负值的模式,则更新当前时域高斯混合模型中模式的权重参数。
在本发明实施例的一种实现方式中,步骤24的实施方式可以包括:
当输入像素值与时域高斯混合模型中一个模式的距离在3倍偏差范围之内时,将对当前时域高斯混合模型的各个模式进行更新;
在本发明实施例的一种实现方式中,步骤25的实施方式可以包括:
当输入像素值与当前时域高斯混合模型的所有模式的距离都大于3倍偏差范围之外时,对当前时域高斯混合模型创建一个新的模式。
本发明实施例中,步骤3中获取分类时机的实施方式,可以包括:
对整个图像的第一模式和第二模式分别进行统计,获得两个权重高斯混合模型,并计算两个权重高斯混合模型的相对熵值,根据相对熵值决定出用于计算背景图像的分类时机。
本发明实施例中,步骤41的实施方式,可以包括:
对用于描述图像像素的每个时域高斯混合模型中,根据第二模式的权重、且通过期望值最大化方法建立出一个二元权重高斯混合模型,根据二元权重高斯混合模型的计算结果,得到的分类结果为:第一帧图像的每个像素属于前景图像和背景图像的概率。
本发明实施例在具体实现过程中,步骤41的具体实施步骤可以包括:
步骤41a,根据每个时域高斯混合模型的分布,对所有像素的时域高斯混合模型的第二模式进行分析,使用期望值最大化方法,根据第二模式的权重,得到二元权重高斯混合模型;
步骤41b,根据每个像素与二元权重高斯混合模型的两个模式之间的距离,得到每个像素属于前景图像或者背景图像的概率。
由于上述步骤41计算得到的第一帧前景和背景的二值化分类通常包含错误的分类,因此,还可以利用全连接条件随机场对二值化分类结果进行优化处理,得到更准确的二值化分类。实际应用中,本发明实施例中,用于得到更准确的二值化分类的步骤42的实施方式,可以包括:
基于空间连续性的信息,利用全连接条件随机场对步骤41得到的分类结果进行优化计算,得到优化后的前景图像和背景图像的分类,并根据分类结果,计算得到图像序列的背景图像。
本发明实施例提供的从视频中自动快速获取场景背景的处理方法,为了获得背景图像,为每一个像素建立高斯混合模型。根据入像素值的变化,对时域高斯混合模型进行更新,包括更新已有模式、创建新的模式、删除多余模式等;随后,对整个图像第一模式和第二模式分别进行权重分布的统计,获得两个权重高斯混合模型,计算这两个权重高斯混合模型的相对熵(即分布的距离),根据相对熵值,决定是否已到达计算背景图像的合适时机;最后,获取背景图像,获取分为两步:第一步采用期望值最大化的方法对第二模式的分布进行拟合,得到二元权重高斯混合模型,其中一个高斯分布表示背景图像,另外一个高斯分布表示前景图像;为了利用空间连续性的信息,第二步采用在马尔科夫随机场上进行优化计算,得到最终的前景和背景的分类,根据分类结果,可以计算出背景图像。
本发明实施例可以应用于智能监控在安全及其它领域有广泛的应用;场景背景的计算结果对监控效果的有直接影响。现有技术对背景的计算一般采用渐进方式,需要通过多帧视频计算才能获取正确的监控背景。针对此问题,本发明提供的处理方法,可以实现在极短时间内完成背景计算,为高效的视频监控系统提供基础,且本发明实施例的技术方案在诸多领域可能创造经济效益和社会效益。
以下通过一个具体实施例对本发明提供的从视频中自动快速获取场景背景的处理方法的实现方式进行详细说明。
场景背景自动获取可以用于图像的背景剪除。图像中每一个像素位置都用一个时域高斯混合模型表示。每个时域高斯混合模型包含数个高斯分布模式。每个模式被赋予相应的权重。
鉴于假设背景分布未知,在对每个高斯混合模型进行初始化的过程中,高斯混合分布的第一个模式的权重将被赋予1,而模式的均值被设为第一帧图像相应像素的值。随着图像序列中的图像不断被系统处理,高斯混合模型将更新、产生、或删除某些模式。如图3所示,为本发明实施例中的第一帧图像的示意图,图4为本发明实施例中图像序列在处理过程中的模式示意图,其中一种灰度表示背景,另一种灰度表示前景。
新的一幅图像的像素值与现有时域高斯混合模型的各模式相比较,当此像素值与时域高斯混合模型某个模式的距离在3倍偏差范围之内时,将对当前时域高斯混合模型的各个模式进行更新。当某像素值与当前时域高斯混合模型的所有模式进行距离计算,所有距离都大于3倍偏差范围之外时,说明此像素不能被已有的高斯混合模型的模式所描述,需要产生一个新的模式,此模式的均值即是输入的像素值,其权重将被赋予一个较小的值。
某个时域高斯混合模型的模式长期没有输入的像素值与之相匹配,说明此模式已经失效,根据狄里克雷先验公式,在每次未得到更新的模式的权重都将被删减一个小的数值,当某个模式的权重为负值时,此模式将被删除。
根据上述的方法对图像序列的时域高斯混合模型进行处理后,将得到基于上述图像的时域高斯混合模型。由于所有高斯混合模型的初始化都是基于第一帧图像完成的,第一帧图像的像素可以被分为两类:前景像素和背景像素。在时域高斯混合模型的处理过程中,背景像素对应的时域高斯混合模型第一模式的像素值很可能被更新;而前景像素相对应的时域高斯混合模型第一模式的像素值很可能不会更新,如果前景物体移动,背景像素出现,将会生成第二模式。当现有的模式不能对输入像素值进行合理拟合时,需要创建一个新的模式;当现有模式可以对输入进行拟合时,需要对模式进行更新;当现有模式在长时间内都无法得到匹配时,需要清除此模式。
经历多帧图像处理后,前景图像和背景图像在第二模式将会呈现显著的可区分性。而且,前景和背景像素在空域各自具有连通性。如图5所示,为采用本发明实施例提供的处理方法获取场景背景的过程中经过多帧处理得到的模式示意图。
为了获得场景背景,可以根据2个引理进行处理:
引理1:
如果某像素不是背景像素,那么,相应的时域高斯混合模型的第二模式的权重将会较大;反之,如果此像素是背景像素,那么相应的时域高斯混合模型的第二模式的权重应该较小。
引理2:
局部估计得到的像素估计可以通过全连接条件随机场进行优化,得到相应的全局优化场景背景。
图像序列的输入像素值包括空域和时域分布:其中空域为两维,分别是水平和垂直方向的图像坐标;时域为图像在序列中时间值。不失一般性,可以令图像序列中某一空间位置的单一像素序列为Xu,v=[xu,v,1,...,xu,v,T]T;xu,v,t表示像素向量,可以表示为RGB三维彩色向量(或者是灰度图像、红外图像、以及多个通道结合的图像),其中(u,v)为此像素的空间位置;t为此像素的时间值;T为图像序列的帧数。时域高斯混合模型可以表示为M个像素模式的混合模型[1]
Figure BDA0002758981600000101
其中,x表示输入像素向量;αm表示第m个模式的混合概率,且αm≥0,
Figure BDA0002758981600000102
fu,v.m(xu,v)表示(u,v)处像素值统计结果的第m个模式的概率密度。fu,v.m(xu,v)可以定义为高斯分布:
fu,v,m(xu,v)=N(xu,vu,v,m);
其中,xu,v,为输入像素值,θu,v,m为高斯分布参数;
其中θu,v,m=(μu,v,mu,v,m),包含均值和偏差。
而图像中像素整体条件概率分布可以表示为:
Figure BDA0002758981600000111
其中,α为权重,Θu,v={θ12,…,θu,v,…,α12…,αu,v…},即为参数的集合。
在像素的概率计算过程中,由于像素是否属于背景未被确定,所以,需要定义潜模式标签δ[2]
p(x,δ|Θ,α)=p(δ|α)p(x|δ,Θ),
某个像素的整体条件概率为:
Figure BDA0002758981600000112
根据输入图像的像素值进行更新。每个时域高斯混合模型的模式的均值初始值设置为第一帧图像中相应像素的值,偏差设为给定偏差。首先计算输入像素值与原模式的均值估计值
Figure BDA0002758981600000113
之间的差值:
Figure BDA0002758981600000114
随后,根据动态更新的原则,基于给定更新系数τ,计算此模式的权重:
αu,v,m,t←αu,v,m+τ(δu,v,mu,v,m,t-1)
继而,计算此模式均值估计值:
Figure BDA0002758981600000115
计算此模式的偏差值:
Figure BDA0002758981600000116
在参数更新过程中,需要计算潜模式标签的值。其中,如果第(u,v)个单元是从第m个模式中抽取的样本,那么δu,v,m=1;否则,δu,v,m=0。判断输入像素值是否属于某个模式的具体方法是计算马氏距离(Mahalanobis distance):
Figure BDA0002758981600000117
当马氏距离小于某设定阈值时,即:
Figure BDA0002758981600000118
判断当前输入像素值属于此模式。如果与所有模式的马氏距离都大于此阈值,则需要创建新的模式。
经过数帧输入的像素值计算后,每个像素所对应的时域高斯混合模型的模式数目可能不同。如果某像素对应的是背景,那么,此像素的更新会在此分布的均值附近;如果某像素对应的是前景像素,那么,此像素创建新的模式的可能性很大。令ε为阈值,当
Figure BDA0002758981600000121
时,此时域高斯混合模型的第一模式为真正的背景可能性较大;当
Figure BDA0002758981600000122
时,此时域高斯混合模型的第一模式可能是一个前景像素,而此时域高斯混合模型的第二模式很可能描述了真正的背景。
为了进一步计算每个像素属于背景和前景的概率,可以采用期望值最大化的方法,把图像中所有像素的高斯混合分布的第二模式的权重αu,v,m,t进行分类,分为一个二元权重高斯混合模型。期望值最大化方法的初始值可以根据上述的阈值ε获得,随后得到的两个权重高斯分布,计算得到以第二模式权重为输入的2个高斯分布。其中均值较大的为可能的前景像素,属于一个高斯分布
Figure BDA0002758981600000123
而均值较小的为可能的背景像素,属于另外一个高斯分布
Figure BDA0002758981600000124
把图像的分类定义为变量集合Y={y1,1,…,yu,v,…}。变量集合中的每一个变量属于标签集合{B,F},其中B表示背景;F表示前景。
利用下式计算相对熵[4]
Figure BDA0002758981600000125
由于前景物体占据一定的空间范围,所以前景像素在空间的分布具有连续性;同样,背景像素的空间分布也具有连续性。为了利用这些信息,这里使用条件随机场来提高前景和背景的分类效果。
条件随机场是在给定的随机变量序列的条件下,随机变量的隐状态序列的马尔科夫随机场[3]。考虑随机场W,定义在{W1,...,WN},Wi为累计权重。
定义在(Y,W)上的条件随机场可以由吉布斯分布描述:
Figure BDA0002758981600000126
其中,Y为图像序列,V为图的节点,E为图的边;G=(V,E)为定义在Y上的图,每一个团c属于团的集合CG。在一般的条件随机场模型中,一个团包含一个节点与其邻域的关系。在全连接随机场中,所有节点之间都有相互联系。yu,v∈{B,F}的吉布斯能量为
Figure BDA0002758981600000131
E(Y|W)可以由下式计算:
Figure BDA0002758981600000132
其中
Figure BDA0002758981600000133
当此像素被初步分类为前景像素时;
Figure BDA0002758981600000134
当此像素被初步分类为背景像素时。而像素间的关系由两项函数描述:相邻像素之间的第二模式权重的差别;以及像素的像素值之间的距离。相应的计算分别为:
EpairAu,vu′,v′)=|αu,vu′,v′|exp(-βA||αu,vu′,v′||2);
EpairB(xu,v,xu′,v′)=|xu,v-xu′,v′|exp(-βB||xu,v-xu′,v′||2)。
虽然本发明所揭露的实施方式如上,但所述的内容仅为便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式及细节上进行任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。

Claims (8)

1.一种从视频中自动快速获取场景背景的处理方法,其特征在于,监控区域或者测量场中布置有摄像机,所述摄像机设置有预设范围的拍摄视野,所述获取场景背景的处理方法,包括:
步骤1,通过所述摄像机的拍摄得到多帧图像的图像序列;
步骤2,为图像序列的每一个像素建立时域高斯混合模型,根据每帧图像输入像素值的变化,对所述时域高斯混合模型的模式进行更新,包括更新已有模式、创建新的模式、删除多余模式;
步骤3,获取计算背景图像的分类时机;
步骤4,根据步骤3获取到的分类时机,对通过步骤2得到的当前时域高斯混合模型,获取所述图像序列的背景图像,获取方式包括:
步骤41,采用期望值最大化的方法对第二模式的权重分布进行拟合,得到分别表示背景图像和前景图像的二元权重高斯混合模型;
步骤42,在随机场上进行优化计算,得到优化后的前景图像和背景图像的分类结果,并根据分类结果计算出背景图像。
2.根据权利要求1所述的从视频中自动快速获取场景背景的处理方法,其特征在于,所述步骤2中对所述时域高斯混合模型的模式进行更新,包括:
使用时域高斯混合模型中的多个模式描述图像中每个像素的分布,根据每帧输入图像的像素值与当前时域高斯混合模型的距离,确定根据新输入像素值对当前模型中的模式进行更新、创建新的模式、或者删除其中一个模式。
3.根据权利要求2所述的从视频中自动快速获取场景背景的处理方法,其特征在于,所述步骤2包括:
步骤21,为图像序列中的每个像素建立时域高斯混合模型,根据第一帧图像中的像素值对高斯模型进行初始化,得到每个像素的第一模式;
步骤22,计算当前帧输入像素值与高斯混合模型中的模式的拟合度,拟合度由输入像素值与当前时域高斯混合模型模式的距离确定;
步骤23,确定输入像素值是否被当前时域高斯混合模型中的模式所描述;
步骤24,如果输入像素值能够被当前时域高斯混合模型中的一个模式所描述,则更新当前相应的时域高斯混合模型中模式的权重参数;
步骤25,如果输入像素值不能被当前时域高斯混合模型中的所有模式所描述,则对当前时域高斯混合模型创建新的模式;
步骤26,判断当前时域高斯混合模型中是否有权重为负值的模式;
步骤27,如果当前时域高斯混合模型中有权重为负值的模式,则删除相应的模式;
步骤28,如果当前时域高斯混合模型中没有权重为负值的模式,则更新当前时域高斯混合模型中模式的权重参数。
4.根据权利要求3所述的从视频中自动快速获取场景背景的处理方法,其特征在于,所述步骤24包括:
当输入像素值与时域高斯混合模型中一个模式的距离在3倍偏差范围之内时,将对当前时域高斯混合模型的各个模式进行更新;
所述步骤25包括:
当输入像素值与当前时域高斯混合模型的所有模式的距离都大于3倍偏差范围之外时,对当前时域高斯混合模型创建一个新的模式。
5.根据权利要求3所述的从视频中自动快速获取场景背景的处理方法,其特征在于,所述步骤3中获取分类时机的方式,包括:
对整个图像的第一模式和第二模式分别进行统计,获得两个权重高斯混合模型,并计算两个权重高斯混合模型的相对熵值,根据相对熵值决定出用于计算背景图像的分类时机。
6.根据权利要求5所述的从视频中自动快速获取场景背景的处理方法,其特征在于,所述步骤41包括:
对用于描述图像像素的每个时域高斯混合模型中,根据第二模式的权重、且通过期望值最大化方法建立出一个二元权重高斯混合模型,根据二元权重高斯混合模型的计算结果,得到的分类结果为:第一帧图像的每个像素属于前景图像和背景图像的概率。
7.根据权利要求6所述的从视频中自动快速获取场景背景的处理方法,其特征在于,所述步骤41包括:
步骤41a,根据每个时域高斯混合模型的分布,对所有像素的时域高斯混合模型的第二模式进行分析,使用期望值最大化方法,根据第二模式的权重,得到二元权重高斯混合模型;
步骤41b,根据每个像素与二元权重高斯混合模型的两个模式之间的距离,得到每个像素属于前景图像或者背景图像的概率。
8.根据权利要求7所述的从视频中自动快速获取场景背景的处理方法,其特征在于,所述步骤42包括:
基于空间连续性的信息,利用全连接条件随机场对所述步骤41得到的分类结果进行优化计算,得到优化后的前景图像和背景图像的分类,并根据分类结果,计算得到图像序列的背景图像。
CN202011212916.5A 2020-11-03 2020-11-03 一种从视频中自动快速获取场景背景的处理方法 Active CN112348842B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011212916.5A CN112348842B (zh) 2020-11-03 2020-11-03 一种从视频中自动快速获取场景背景的处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011212916.5A CN112348842B (zh) 2020-11-03 2020-11-03 一种从视频中自动快速获取场景背景的处理方法

Publications (2)

Publication Number Publication Date
CN112348842A true CN112348842A (zh) 2021-02-09
CN112348842B CN112348842B (zh) 2023-07-28

Family

ID=74356342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011212916.5A Active CN112348842B (zh) 2020-11-03 2020-11-03 一种从视频中自动快速获取场景背景的处理方法

Country Status (1)

Country Link
CN (1) CN112348842B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103700114A (zh) * 2012-09-27 2014-04-02 中国航天科工集团第二研究院二O七所 一种基于可变高斯混合数的复杂背景建模方法
CN105354791A (zh) * 2015-08-21 2016-02-24 华南农业大学 一种改进的自适应混合高斯前景检测方法
US20160140724A1 (en) * 2014-11-14 2016-05-19 Huawei Technologies Co., Ltd. Image processing method and apparatus
CN106056631A (zh) * 2016-06-06 2016-10-26 中国矿业大学 基于运动区域的行人检测方法
CN107452005A (zh) * 2017-08-10 2017-12-08 中国矿业大学(北京) 一种结合边缘帧差和高斯混合模型的运动目标检测方法
CN108280842A (zh) * 2017-12-29 2018-07-13 广州海昇计算机科技有限公司 一种克服光照突变的前景分割方法
CN109102526A (zh) * 2018-07-27 2018-12-28 东莞职业技术学院 无人机的监控系统的前景检测方法以及装置
EP3582181A1 (en) * 2018-06-14 2019-12-18 Axis AB Method, device and system for determining whether pixel positions in an image frame belong to a background or a foreground
CN111383250A (zh) * 2020-03-20 2020-07-07 内蒙古工业大学 基于改进混合高斯模型的运动目标检测方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103700114A (zh) * 2012-09-27 2014-04-02 中国航天科工集团第二研究院二O七所 一种基于可变高斯混合数的复杂背景建模方法
US20160140724A1 (en) * 2014-11-14 2016-05-19 Huawei Technologies Co., Ltd. Image processing method and apparatus
CN105354791A (zh) * 2015-08-21 2016-02-24 华南农业大学 一种改进的自适应混合高斯前景检测方法
CN106056631A (zh) * 2016-06-06 2016-10-26 中国矿业大学 基于运动区域的行人检测方法
CN107452005A (zh) * 2017-08-10 2017-12-08 中国矿业大学(北京) 一种结合边缘帧差和高斯混合模型的运动目标检测方法
CN108280842A (zh) * 2017-12-29 2018-07-13 广州海昇计算机科技有限公司 一种克服光照突变的前景分割方法
EP3582181A1 (en) * 2018-06-14 2019-12-18 Axis AB Method, device and system for determining whether pixel positions in an image frame belong to a background or a foreground
CN109102526A (zh) * 2018-07-27 2018-12-28 东莞职业技术学院 无人机的监控系统的前景检测方法以及装置
CN111383250A (zh) * 2020-03-20 2020-07-07 内蒙古工业大学 基于改进混合高斯模型的运动目标检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘璐;周慧;赵晓雨;: "一种基于高斯混合模型的分块背景更新算法研究", 工业控制计算机 *
孙红;郭凯;: "融合区域训练的自适应混合高斯背景建模", 小型微型计算机系统 *

Also Published As

Publication number Publication date
CN112348842B (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
CN110298404B (zh) 一种基于三重孪生哈希网络学习的目标跟踪方法
Sajid et al. Background subtraction for static & moving camera
CN111369572B (zh) 一种基于图像修复技术的弱监督语义分割方法和装置
Huang et al. Region-level motion-based background modeling and subtraction using MRFs
CN108537818B (zh) 基于集群压力lstm的人群轨迹预测方法
CN107633226B (zh) 一种人体动作跟踪特征处理方法
Pruteanu-Malinici et al. Infinite hidden Markov models for unusual-event detection in video
CN110189339A (zh) 深度图辅助的主动轮廓抠图方法及系统
Choong et al. Image segmentation via normalised cuts and clustering algorithm
Vasconcelos et al. Empirical bayesian motion segmentation
CN108734109B (zh) 一种面向图像序列的视觉目标跟踪方法及系统
CN109685830B (zh) 目标跟踪方法、装置和设备及计算机存储介质
Charouh et al. Improved background subtraction-based moving vehicle detection by optimizing morphological operations using machine learning
Gao et al. Distributed mean-field-type filter for vehicle tracking
CN111274964B (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
Kumar et al. Background subtraction based on threshold detection using modified K-means algorithm
Fan et al. Nonparametric hierarchical Bayesian models for positive data clustering based on inverted Dirichlet-based distributions
Delibasoglu et al. Motion detection in moving camera videos using background modeling and FlowNet
CN111310772A (zh) 用于双目视觉slam的点线特征选取方法及系统
CN112348842B (zh) 一种从视频中自动快速获取场景背景的处理方法
CN107564029B (zh) 基于高斯极值滤波和群稀疏rpca的运动目标检测方法
Miao et al. Robust monocular 3D car shape estimation from 2D landmarks
Chen et al. Low-rank representation with contextual regularization for moving object detection in big surveillance video data
Li et al. Multitarget tracking of pedestrians in video sequences based on particle filters
Tzevanidis et al. Unsupervised learning of background modeling parameters in multicamera systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant