CN107481256B - 用于更新背景模型的方法和装置 - Google Patents

用于更新背景模型的方法和装置 Download PDF

Info

Publication number
CN107481256B
CN107481256B CN201710407697.8A CN201710407697A CN107481256B CN 107481256 B CN107481256 B CN 107481256B CN 201710407697 A CN201710407697 A CN 201710407697A CN 107481256 B CN107481256 B CN 107481256B
Authority
CN
China
Prior art keywords
background
pixel
image
sample
background sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710407697.8A
Other languages
English (en)
Other versions
CN107481256A (zh
Inventor
约阿基姆·巴尔特森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN107481256A publication Critical patent/CN107481256A/zh
Application granted granted Critical
Publication of CN107481256B publication Critical patent/CN107481256B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种用于更新背景模型的方法和装置，该背景模型用于图像的背景减除。接收图像(220)，并且通过使用背景模型执行背景减除来将图像中的每个像素分类为前景(232)或背景(234)，该背景模型包含针对图像(220)中的每个像素的背景样本的集合(240)。针对图像中被分类为背景(234)的每个像素(228)，通过选择与像素相关联的背景样本的集合中满足相似度条件的背景样本(242)，并且用像素(228)的图像数据更换满足相似度条件的背景样本(242)，来更新背景模型。

Description

用于更新背景模型的方法和装置
技术领域
本发明涉及图像中的背景减除的领域。具体地，其涉及用于图像的背景减除的背景模型的更新。
背景技术
在视频监控中，重要的是，能够检测在视频序列中所捕获的场景中的移动对象。存在许多工具来进行视频中的运动检测。它们中的一些工具通过跟随视频流中的特征来逐帧跟踪对象。其它工具逐像素地对当前帧与静态背景帧进行比较。后者是背景减除的基础，其旨在通过检测发生显著改变的区域来提取移动对象。移动对象被称为前景，而静态对象是背景的一部分。
将移动对象与背景分离是个复杂的问题，如果背景是动态的，诸如如果在背景中存在摆动的树或水波纹，或如果照明变化，该分离甚至变得更困难。具体地，动态背景可导致移动对象的误检数量增加。
在CRC出版社、泰勒&弗朗西斯组、博卡拉顿、2015年的教课书“用于视频监控的背景建模和前景检测(Background Modeling and Foreground Detection for VideoSurveillance)”(主编：蒂埃里波娃曼斯,法提赫波里克利,本杰明霍费灵，以及安东尼瓦卡瓦特)中给出背景减除方法的综述。例如请参见章节1和7。
背景减除方法通常涉及视频流的当前帧与未受移动对象影响的参考背景帧或模型的比较。通过对图像与背景帧或模型相比较，可以判定图像中的每个像素属于前景还是背景。以这种方式，可以将图像分类为像素的两个互补集合——前景和背景。
背景减除要求基础背景模型的定义以及适应随时间而改变的背景的更新策略。已经在文献中提出了充足的背景模型。这包括参数模型和非参数模型。
参数模型的示例用于通过高斯分布对图像中的像素位置处的背景进行建模。对于静态场景，这可能是有效的，但是如果背景像素是多模态分布的——例如，如果在背景中存在摇摆的树，则这将会失败。
为了处理多模态分布的背景，已经提出通过高斯分布的混合来对图像中的像素位置处的背景进行建模。尽管此类模型在对多模态分布的背景进行建模时是有效的，但它们具有其他缺点。例如，在真实世界的噪声环境中，参数的估计可能是困难的，并且对于自然图像是否呈现高斯型行为，已经有所质疑。
由于这些缺点，已经在文献中考虑了非参数模型。例如，已经提出对过去的像素值的概率密度函数进行的非参数核密度估计。这些模型的长处是它们可以快速适应背景中的高频事件。缺点是它们可能很难处理背景中以不同速度演变的事件。
另一种类型的非参数模型被称为基于样本的模型。在此类模型中，借助于过去背景样本的集合来对每个像素中的背景进行建模。为了适应随时间而改变的背景，随着当前帧中的像素已经被分类为属于背景，对过去背景样本的集合进行更新。王与苏特(“用于跟踪的基于一致性的方法：对背景场景和前景外观进行建模(A consensus-based methodfor tracking:Modelling background scenario and foreground appearance)”模式识别、40(3)、2007)提出根据先进先出原理来更新过去背景样本的集合。这意味着，对过去背景样本的集合进行更新，使得从集合中移除最早的背景样本并且将当前帧的像素值添加到该集合。在US8009918B2中，描述了一种可替代的更新方法，其中当前帧的像素值更换背景样本的集合中随机选择的背景样本。
这些背景更新方法的缺陷是它们要求存储每个像素的许多背景样本，以便对于动态和多模型背景来说是稳健的，即需要许多背景样本以具有长的形态记忆。这导致不期望的高的处理和存储器需求。为了处理偶尔发生的背景移动，诸如突然的风束，将需要棘手数量的背景样本。因此，存在改进的空间。
发明内容
鉴于上述内容，因此本发明的目标是提供用于基于样本的背景模型的更新机制，该更新机制在模型具有长的形态记忆的同时允许背景样本的数量被保持在低水平，由此降低处理和存储器需求。
根据本发明的第一方面，以上目的通过在装置中执行的用于更新用于图像的背景减除的背景模型的方法来实现，该方法包括：接收图像；通过使用背景模型执行背景减除来将图像中的每个像素分类为前景或背景，背景模型包含针对图像中的每个像素的背景样本的集合；针对图像中被分类为背景的每个像素，通过以下操作来更新背景模型：选择与像素相关联的背景样本的集合中满足相似度条件的背景样本；利用像素的图像数据更换满足相似度条件的背景样本。
所提出的方法因此是更新基于样本的背景模型的方法。随着在时间t接收到新图像，利用在时间t-1构建的背景模型来将新图像中的像素分类为背景或前景。此后，利用新图像的背景样本来更新背景模型。
该方法提出通过更换与已经被分类为背景的像素中的图像数据相似的背景样本来更新背景模型。通常，这将是属于与有关像素相同的形态的背景样本。以此方式，背景模型中的冗余背景样本的数量可以被保持在最小值。例如，甚至在图像序列中的某一像素位置处非常普通的形态也可以在背景模型中通过单个背景样本来表示。因此，处理和存储器需求被降低，这是因为当使用背景模型执行背景减除时需要存储和处理较少的背景样本。同时，背景模型的形态记忆，即暂时性记忆，没有被减少。总之，与现有技术解决方案相比，可以用数量减少的背景样本来表示相同的形态记忆。
“背景模型”通常意指以像素级表示图像中的背景的模型。
“背景减除”通常意指图像与背景模型的比较。通过对图像与背景模型进行比较，可以判定图像中的每个像素属于前景还是背景。
“背景样本”通常意指图像的样本，即，已经被分类为属于背景的像素中的(可能在若干彩色通道中)的图像数据、观察结果(observation)或者强度值。
相似度条件通常意指基于背景样本和像素的图像数据给出背景样本与像素的图像数据的相似度的测量结果的任何条件或函数。相似度条件例如可以基于诸如由范数(诸如L1范数或L2范数)测量的背景样本与像素的图像数据之间的数学距离。例如，如果距离小于阈值(在本文中被称为相似度阈值)，则可以满足相似度条件。
具体地，就一背景样本而言，如果该背景样本与该像素中的图像数据之间的差别小于相似度阈值，则满足相似度条件。
可以使用不同的方法来寻找与特定像素相关联的背景样本的集合中满足相似度条件的背景样本。例如，选择的步骤可以包括迭代搜索与像素相关联的背景样本的集合，直到找到满足相似度条件的背景样本。换言之，在对背景样本的集合进行迭代时找到的满足相似度条件的第一背景样本可以被选择。这是有利的，由于只要找到满足相似度条件的背景样本搜索就可以终止，因此处理能力可以降低。
与像素相关联的背景样本的集合可以通过逐一地比较像素的图像数据与背景样本的集合中的背景样本来迭代搜索，直到找到满足相似度条件的背景样本。因此，迭代搜索在背景样本的集合中的某一位置处开始，并且逐一地，即顺序地通过背景样本的集合，直到找到满足相似度条件的第一背景样本。
为了避免背景样本的集合中的相同位置在背景的逐渐变化(即，图像序列中的连续图像之间的逐渐变化)期间一直被更新，每次更新背景模型时，可以在背景样本的集合中的不同位置或索引处开始迭代搜索。
在一些实施例中，随机地选择集合中的起始位置。更详细地，与像素相关联的背景样本的集合可以被索引，其中迭代搜索在背景样本的集合中的随机选择的索引处开始。
根据其它实施例，集合中的起始位置被设置为不同于相对于像素的背景模型的最后更新所使用的起始位置。更具体地，图像可以是图像序列的一部分，并且与像素相关联的背景样本的集合可以被索引，其中迭代搜索在背景样本的集合中的某一索引处开始，该索引不同于用于相对于图像序列中的先前图像中的对应像素开始迭代搜索的索引。
具体地，迭代搜索可以在背景样本的集合中的某一索引处开始，该索引在用于相对于图像序列中的先前图像中的像素开始迭代搜索的索引之后。以此方式，保持追踪在集合中的什么位置处开始搜索变得容易。
注意的是，可以存在选择搜索的起始位置的可更换方式，诸如选择在先前的搜索中使用的起始索引之前的起始索引用于当前搜索。进一步注意的是，可以针对图像中的不同像素使用不同的起始位置。优选地，出于简化和效率的原因，可以针对图像中的所有像素选择集合中的相同的起始位置。以此方式，使用处理和存储器需求的最小化来保持对起始位置的追踪。
而另一方法是更换集合中与像素中的图像数据最相似的背景样本。更详细地，选择的步骤可以包括在满足相似度条件的背景样本中选择与像素的图像数据最相似的背景样本。通过更换最相似的背景样本，集合中的冗余信息被保持在最小。然而，这可能以在背景的逐渐变化期间可能更换集合中的相同的背景样本位置为代价。
为了选择集合中的最相似的背景样本，选择的步骤可以包括比较像素的图像数据与背景样本的集合中的所有背景样本，从而识别与像素的图像数据相差最小的背景样本。
可能的情况是背景样本的集合中没有满足相似度条件的背景样本。在这种状况下，可以更换不满足相似度条件的背景样本。例如，人们可以重回到现有技术方法中的一种，包括随机地更换背景样本，或者更换集合中最旧的背景样本(通过保持背景样本最后何时被更新的计数)。另一种可能性是选择在迭代搜索背景样本的集合期间最后访问的背景样本。
出于避免集合中具有不再相关的背景样本的目的，该方法可以进一步包括用于更换旧的样本的机制。
这可以通过更换比预定时间限制久远的样本来实现。更具体地，该方法可以进一步包括，对于图像中的每个像素：保持追踪每个背景样本在与该像素相关联的背景样本的集合中多长时间，其中选择和更换的步骤是在没有背景样本在背景样本的集合中的时间长于预定时间限制的条件下进行的，并且其中如果背景样本在集合中的时间长于预定时间限制，则利用该像素的图像数据更换在背景样本的集合中的时间长于预定时间限制的背景样本。
作为可替代方案，可以以长时间间隔来更换背景样本。更详细地，在图像序列中，对于大多数图像，更新机制可以基于以上描述的相似度方法。然而，对于以规则时间间隔选择的一些图像，可以用图像中的背景样本来更换在背景样本的集合中的特定位置(该位置对于所有的集合是相同的)处的背景样本。可以随机地或者确定性地选择特定位置。例如，每次执行以规则时间间隔的更新时，特定位置可以被增加1。更具体地，方法可以进一步包括：接收图像序列，并且针对图像序列中的除了图像序列中的每N个图像之外的每个图像重复分类和更新的步骤，其中N>2，而对于每N个图像，背景模型的更新通过针对第N个图像中的被分类为背景的每个像素进行下列操作来进行：利用像素的图像数据更换与像素相关联的背景样本的集合中的背景样本，其中针对第N个图像中的所有像素，被更换的背景样本在背景样本的集合中具有相同的索引。
N的值不需要是常数，而是可以被设置以改变。例如，与图像序列中后来的图像相比，其可以在图像序列开始时具有较小的值。
为了将图像的像素分类为属于前景或者背景，通常可以将像素的图像数据(通常为强度值)和与该像素相关联的背景样本的集合进行比较。如果像素中的图像数据与预定义数量的背景样本相似，则该像素有可能属于背景。否则，其有可能属于前景。
更具体地，将图像中的每个像素分类为属于前景或者背景的步骤可以包括，针对图像中的每个数据：比较像素的图像数据和与像素相关联的背景样本的集合中的每个背景样本，以及如果与像素的图像数据之间的差别小于分类阈值的背景样本的数量小于预定义数量，则确定该像素为前景。
在现有技术方法中，预定义数量通常等于2或更大。然而，在本方法的情况下，预定义数量通常可以被设置为1。因为背景样本的集合中的冗余被降低，因此每种形态仅用一个背景样本来表示是可能的。因此，将预定义数量设置为1是合适的。
当预定义数量等于一时，则具有分类步骤在计算方面特定的有效实施方式。在此情况中，如果在背景样本的集合中不存在类似于像素中的图像数据(如差别小于阈值所定义的)的背景样本，则该像素属于前景。事件“没有背景样本是类似的”等同于事件“没有至少一个背景样本是类似的”。假定集合中存在N个背景样本。那么事件“至少一个背景样本是类似的”可以被表示为事件“(背景样本1是类似的)或(背景样本2是类似的或…)或(背景样本N是类似的)”。这可以被表示为并集UN i＝1{背景样本i是类似的}。总之，事件“没有背景样本是类似的”等同于事件“没有UN i＝1{背景样本i是类似的}”。
出于该原因，确定像素是前景的步骤可以包括：通过执行逻辑“或”运算来检查与像素相关联的背景样本中的至少一个与像素的图像数据之间的差别是否小于分类阈值，如果否，则确定与像素的图像数据之间的差别小于阈值的背景样本的数量小于预定义数量，由此确定像素是前景。
因为相比于求和然后与阈值数量进行比较，逻辑运算典型地要求较小处理能力和存储器使用，因此这在计算方面是高效的。
根据本发明的第二方面，提供一种包含(非临时性)计算机可读介质的计算机程序产品，该计算机可读介质上存储有在由具有处理能力的设备执行时实施第一方面的方法的计算机代码指令。
根据本发明的第三方面，提供一种更新用于图像的背景减除的背景模型的装置，其包括：接收器，被配置为接收图像；分类组件，被配置为通过使用背景模型执行背景减除来将图像中的每个像素分类为前景或背景，背景模型包含针对图像中的每个像素的背景样本的集合；背景更新组件，被配置为针对图像中的被分类为背景的每个像素，通过下列操作来更新背景模型：选择与像素相关联的背景样本的集合中满足相似度条件的背景样本，利用像素的图像数据更换满足相似度条件的背景样本。
第二和第三方面可以大体上具有与第一方面相同的特征和优点。进一步请注意，本发明涉及特征的所有可能组合，除非被另外明确地陈述。
附图说明
通过参考附图(其中将对类似的元件使用相同的附图标记)进行的以下对本发明的优选实施例的说明性的且非限制性的详细描述，将更好地理解本发明的以上以及附加的目的、特征和优点，在附图中：
图1示意性地示出包括更新用于图像的背景减除的背景模型的装置的相机系统。
图2、图3、图4和图5示意性地示出根据实施例的用于更换背景模型的背景样本的不同方法。
图6示意性地示出根据实施例的、用于更新指示器图片的当前和之前图像。
图7是根据实施例的更新用于图像的背景减除的背景模型的方法的流程图。
具体实施方式
现在将在下文参考其中示出本发明的实施例的附图来更全面地描述本发明。将在操作期间对在本文公开的系统和设备进行描述。
图1图示出包括相机102和用于更新用于相机102所捕获的图像的背景减除的背景模型的装置110的相机系统100。相机102经由例如有线或无线网络104可操作地连接到装置110。
相机102被布置为捕获场景120的图像序列，并且向装置110传送所捕获的图像序列。具体地，相机102可以是例如可以用于追踪场景120中的移动对象的监控相机。场景120可以包括不同的对象。例如，可以存在移动对象122(这里通过奔跑的人图示出)，其应当在图像的序列中被跟踪，因此属于前景。也可以存在背景对象124和126(这里通过树枝124和小路126图示出)。背景对象可以是静态的，诸如小路126，或者是动态的，诸如可以随着风吹来回摇摆的树枝124。
装置110包括接收器112、前景分类器114以及背景更新组件118。可以在硬件、软件或其组合中实施装置110的内部组件112、114和118。例如，装置110可以包括处理器和可以存储当由处理器执行时用于执行在本文公开的任何方法的软件指令的非暂时性计算机可读介质(即，存储器)。
现在将参考图1-6以及图7的流程图来描述装置110的操作。
在步骤S02中，接收器112例如通过网络104从相机102接收描绘场景120的图像220。图像220是从相机102发送到装置110的图像序列的一部分。例如，图像220可以对应于视频序列帧。在图像220中，描绘了前景对象122和背景对象124、126。
在步骤S04中，前景分类器114将每个像素228分类为属于背景234或前景232。为此目的，前景分类器114利用背景模型。背景模型包括图像220中的每个像素的背景样本的集合240。如图2所示，像素228与背景样本的集合240相关联。背景样本的集合240可以布置为阵列，在这里被示为向量。每个像素的背景样本的集合240可以包括约10-20个背景样本。在该示例中，集合240中的第一背景样本具有年龄2，第二背景样本具有年龄99等。在该示例中选择的数量仅出于说明的原因。实际上，数量可以对应于背景样本已经位于集合中的帧的数目，或背景样本已经位于集合240中多少时间单位(例如，以秒、分钟或小时测量)。
在一些实施例中，背景样本的集合240也可以与数据结构250(诸如阵列)相关联，该数据结构追踪集合240中的每个背景样本的年龄，即，背景样本已经成为集合240的一部分的时间。
在将图像220中的每个像素228分类为背景234或前景232时，前景分类器114可以应用例如在王和苏特(用于跟踪的基于一致性的方法：对背景场景和前景外观进行建模(“Aconsensus-based method for tracking:Modelling background scenario andforeground appearance”)，模式识别、40(3)、2007)中所描述的背景减除。在图2的示例中，前景分类器114通过应用背景减除来将落在对象122内的像素分类为属于前景232，并且其它像素将被分类为背景234。在该示例中，像素228被分类为背景234。
更详细地，通过xt(m)来表示在图像序列的时间t时像素m中的观察结果，并且通过{xt(m)|i＝1,...,N}表示像素m的背景样本的集合。每个观察结果具有k个通道(例如，在RGB色彩空间中，通过三个通道R、G、B来表示每个观察结果)。前景分类器114可以针对图像220中的每个像素228将图像数据(即强度值)(针对每个通道，如果可适用)和与像素228相关联的集合240中的每个背景样本相比较，以了解该图像数据与背景样本中的每一个之间的差别是否小于阈值Tr。例如，前景分类器114可以根据以下使与像素中的图像数据之间的差别小于阈值Tr的背景样本与值“一”相关联，并且可以使其他背景样本与值“零”相关联：
如果集合240中与像素的图像数据之间的差别小于阈值Tr的背景样本的数量高于或等于预定义数量TN，则前景分类器114可以确定该像素属于背景。否则，其属于前景。
这可以通过根据以下计算二元掩码(binary mask)Bt来实施，Bt在时间t对于背景像素采用值“一”并且对于前景像素采用“零”：
以不同方式表示，前景分类器114可以因此对集合240中与像素228的图像数据之间的差别小于阈值Tr的背景样本的数量进行计数。如果数量等于或超过预定义数量TN，则前景分类器确定该像素属于背景234，否则属于前景232。因此，如果前景分类器发现集合240中的至少TN个背景样本类似于(在公式1的意义上)像素228中的图像数据，则像素228将被分类为属于背景，否则被分类为属于前景。
已经发现，这在像素228中的图像数据类似于一个背景样本，即，TN＝1时也是充分的。在此类情况中，可以通过使用逻辑“或”运算以高效方式实施公式2。具体地，公式2可以被重写为：
因而，前景分类器114可以通过执行逻辑“或”运算来检查与像素相关联的背景样本中的至少一个与该像素的图像数据之间的差别是否小于阈值(即第一背景样本或第二背景样本或第三背景样本等与像素228的图像数据之间的差别应当小于阈值Tr)。如果情况不是这样，则前景分类器114将该像素分类为属于前景。以这种方式，可以节约计算复杂度，这是因为逻辑运算要求较小的处理能力和较小的存储器使用。
前景分类器114可以应用安全裕度，以便确保之后在背景模型的更新中仅仅使用背景像素。更详细地，前景分类器114可以在空间上扩展已经被分类为前景的区域(例如前景区域232)。这例如可以通过在更换图像内容之前对分类结果应用形态学运算来实施。例如，对前景区域进行的形态学“膨胀”运算将使它们在空间上增长，因此增加了用于补偿潜在的分类错误的安全裕度。
阈值Tr对于图像220中的所有像素可以是相同的。然而，在一些实施例中，阈值Tr可以随像素在图像中的位置而变化。因此，不同的像素可以具有阈值Tr的不同值。此外，阈值Tr可以随时间而变化。通常，前景分类器114可以根据像素位置处的背景样本倾向于在图像序列中的连续图像之间如何频繁地改变值，来设置阈值Tr。具体地，与背景差不多一直相同的像素相比，对于背景倾向于频繁改变值的像素来说，阈值Tr可以被设置为较大。以这种方式，在背景频繁改变值——即，例如由于场景中的摆动的树枝从一个模态转变为另一个模态的区域中，分类可以被设置为较不敏感。
进一步在图6中例证这一点。为了设置阈值Tr，前景分类器114可以保持像素的累积模态转变水平(modality transition levels)的二维图片600。该图片被称为指示器图片。指示器图片的值因此指示在图像序列中的后续图像之间背景改变强度值的趋向。指示器图片因此给出背景动态的指示或测量。取决于指示器图片中的值，前景分类器114然后可以根据指示器图片的值与阈值之间的预定义关系设置每个像素的阈值Tr。与指示器图片中的低值相比，对于指示器图片的较大值，该关系典型地给出阈值Tr的较大值。举例来说，可以根据Tr＝Tc+av(m)来选择阈值Tr，其中Tc是常数，并且α是指示器图片所给出的用于调整背景动态对Tr的影响程度的因子。
前景分类器114可以进一步更新指示器图片600，以便适应场景中的新情况，例如，适应改变的风力情况。具体地，前景分类器114可以基于图像序列中的当前图像220与之前图像620来更新指示器图片600。为此目的，前景分类器114可以检查当前图像xt，220与之前图像xt-1，620之间的差别是否大于预定义的量Tm，并且如果是，则对于此类像素，将指示器图片600中的值增加递增值，否则将指示器图片600中的值减小递减值。通过v(m)表示像素m中的指示器图片的值，前景分类器可以因此将指示器图片600更新为：
典型地，vincr大于vdecr，以便对背景中的新动态变化进行快速响应并且慢慢地减小，这是因为如果背景移动刚刚发生，则其可能不久再次发生。
仅仅针对背景像素更新指示器图片600。具体地，仅仅针对被分类为属于当前图像xt，220和之前图像xt-1，620中的背景的像素(即，落在当前图像220中的前景区域232和之前图像620的前景区域632之外的像素)来更新指示器图片。此外，前景分类器114可以应用安全裕度，以便确保在指示器图片的更新中仅仅使用背景像素。更详细地，前景分类器114可以忽略在空间上接近于已经被分类为前景的区域232、632的背景像素。这例如可以通过对分类结果应用形态学运算来实施。例如，对前景区域232、632进行的形态学“膨胀”运算将使它们在空间上增长，因此增加了用于补偿潜在的分类错误的安全裕度。
在步骤S06中，背景更新组件118继续以更新背景模型。背景模型仅针对已经被分类为背景234因此是背景样本的像素被更新。背景模型的更新逐像素地进行，并且包括两个步骤。首先，从与该像素相关联的背景样本的集合240中选择要被更换的背景样本，S06a。随后，利用像素228的图像数据来更换集合240中被选择的背景样本，S06b。
背景更新组件118通常选择满足相似度条件的背景样本。相似度条件可以是例如像素228的图像数据与背景样本之间的差别小于相似度阈值，即相似度阈值可以具有与上述阈值Tr可比较的量级。例如，相似度阈值可以被设置为等于或稍微小于以上在表达式Tr＝Tc+αv(m)中使用的常数Tc。
背景更新组件118可以使用不同的方法来寻找要被更换的背景样本。根据在图2中示出的实施例，背景更新组件118搜索背景样本的集合240，直到其找到满足相似度条件的背景样本242。更具体地，背景更新组件118逐一地比较像素228的图像数据与集合240中的背景样本，直到找到满足相似度条件的背景样本242(如果到达集合240的末尾而没有找到匹配，则可以从集合240的开头继续搜索，直到找到匹配或者集合中的所有背景样本被访问)。当找到满足相似度条件的背景样本时，搜索可以终止。
搜索可以在集合240中的起始位置244(用黑色标记)处开始，其在本文中也被称为起始索引。起始位置244可以被随机地选择。可替换地，可以根据用来相对于图像序列中的先前图像中的对应像素开始搜索的起始位置来选择起始位置244。通常，起始位置244可以被选择为与用于先前图像中的对应像素的起始位置不同。举例来说，与相对于之前的图像使用的起始位置244相比较，相对于当前图像的起始位置244可以增加1。可以针对图像220中的所有像素使用相同的起始位置244。可替换地，可以针对图像中的不同像素来选择不同的起始位置244。
图3示出了不同的方法。在图3的实施例中，背景更新组件118比较像素228的图像数据与集合240中的所有背景样本。如果集合240中多于一个背景样本满足相似度条件，则背景更新组件118选择与像素228的图像数据最相似的背景样本342。最相似通常意味着与像素228的图像数据相差最小的背景样本342被选择。更普遍地，最相似可以意味着根据预定范数(诸如以上列举的L1范数，或L2范数，即欧几里得范数)具有到像素228的图像数据的最小距离的背景样本被选择。
在保持追踪集合240中的背景样本的年龄(即它们已经在集合240中多长时间)的实施例中，背景更新组件118可以进一步更新数据结构250。除了在与新添加的背景样本242、342相对应的位置处的值(该值被给出预定义数量的值)之外，数据结构250中的每个值增加预定义数量，这里为数量1。
背景更新组件118可能碰到集合240中没有背景样本满足相似度条件的状况。在这种情况下，背景更新组件118可以更换不满足相似度条件的背景样本。例如，背景更新组件118可以随机地或者通过更换集合240中最旧的背景样本来更换背景样本。在后者的情况下，集合240中最旧的背景样本可以通过查询保持追踪背景样本的年龄的数据结构250来识别。作为可替代方案，背景更新组件118可以更换在迭代搜索期间访问的最后的背景样本。
为了避免在集合240中具有不再相关的样本，背景更新组件118可以进一步实现更换旧的、过时的背景样本的机制。
在图4中示出了这样的实施例。图4的示例是图2和图3中的示例的继续。图4示出了继视频序列中的图2和图3的图像220之后的图像420。在该示例中，在没有背景样本位于集合240中的时间超过预定时间限制的条件下进行步骤S06a和S06b，预定时间限制在该示例中被设置为99。根据实际示例，预定时间限制可以处于小时的量级。换言之，在执行步骤S06a和S06b之前，背景更新组件118检查集合240中的任何背景样本是否比预定时间限制更久远。如果否，则背景更新组件118继续进行，以如上所述地执行步骤S06a和S06b。
然而，如果背景更新组件118发现背景样本位于集合240中的时间比预定时间限制长，则用像素428的图像数据更换该背景样本。在示出的示例中，如在“年龄”数据结构250中所示的，背景样本442具有年龄100。由于其长于预定时间限制99，因此用像素428的图像数据更换背景样本442。
在图5中示出用于更换旧样本的另一种方法。背景更新组件118通常可以根据以上结合步骤S06a和S06b描述的那样来更新背景样本的集合240。然而，背景更新组件118可以针对诸如序列中每N个图像520不时地(例如每100个图像一次，或者每15分钟一次)更换在与图像520中的被分类为背景534的所有像素528a、528b、528c相关联的背景样本的集合540a、540b、540c中具有特定位置或索引的背景样本。这里示出了分别与像素528a、528b、528c相关联的集合540a、540b、540c。为了简化，仅绘制三个像素和集合。然而，这适用于图像520中已经被分类为背景534的所有像素。在集合540a、540b、540c的相同位置(这里为第二位置)处的背景样本被选择，并且分别由像素528a、528b、528c的图像数据更换。集合540a、540b、540c中的位置可以被随机地选择，或者可以被确定性地选择。例如，可以以第一间隔选择集合中的第一位置，可以以第二间隔选择集合中的第二位置，等等。以此方式，所有背景样本迟早将被更换。
根据实施例，前景分类器组件114可以进一步利用具有不同时间范围的若干背景模型来操作。以这种方式，可以以改善的方式处理长期变化和短期变化两者。例如，可存在以上描述的类型的第一背景模型(每个像素具有背景样本的集合)，以及以上描述的类型的第二背景模型。可以从图像序列中与诸如最后两秒之类的第一时间间隔相对应的图像中收集第一背景模型的背景样本。可以从图像序列中与诸如最后30秒之类的第二时间间隔相对应的图像中收集第二背景模型的背景样本。
当前景分类器组件114利用若干背景模型进行操作时，其例如以上面关于公式(1)讨论的方式对像素的图像数据与每一个背景模型中的背景样本进行比较。如果(当一起看时所有背景模型中的)与像素的强度值之间的差别小于阈值的背景样本的数量低于预定义数量，则确定该像素是前景。换句话说，公式(2)中的总和或公式(3)中的并集超出所有背景模型中的背景样本。
可以按照上面已经描述的内容来更新所有背景模型。具体地，随着图像序列被接收，装置110可以可交换地更新不同的背景模型。换句话说，装置110可以按接收的图像来(最多)更新背景模型之一。为了允许背景模型具有不同的时间范围，可以以不同的频率来更新不同的背景模型——时间范围较长，更新频率越低。在以上示例中，在两种背景模型的情况下，第二背景模型的时间范围是第一背景模型的时间范围的长度的15倍。第二背景模型的更新频率因此应当比第一背景模型的更新频率低15的因子。在特定示例中，第一背景模型和第二背景模型可以均具有每像素十个背景样本。可以每秒接收五次图像序列的图像。可以每隔15个图像来更新第二背景模型。可以关于所有其他图像来更新第一背景模型。
将理解的是，本领域技术人员可以以许多方式修改以上所描述的实施例并且仍然使用在以上实施例中示出的本发明的优点。因而，本发明不应当被限制于示出的实施例，而应当仅通过所附权利要求物来限定。另外地，如本领域技术人员所理解的，可以将示出的实施例组合。

Claims (8)

1.一种在装置(110)中执行的用于更新背景模型的方法，所述背景模型用于图像(220)的背景减除，所述方法包括：
接收(S02)作为图像序列的一部分的图像(220)，
通过使用背景模型执行背景减除来将图像(220)中的每个像素分类(S04)为前景(232)或背景(234)，所述背景模型包含针对图像中的每个像素的背景样本的集合，其中与所述像素相关联的所述背景样本的集合被索引，
针对图像中被分类为背景的每个像素，通过下列操作来更新(S06)所述背景模型：
选择(S06a)与该像素相关联的所述背景样本的集合中满足相似度条件的背景样本，就一背景样本而言，如果该背景样本与该像素中的图像数据之间的差别小于相似度阈值，则满足所述相似度条件，
利用该像素的图像数据更换(S06b)满足所述相似度条件的所述背景样本，
其中选择(S06a)的步骤包括：通过逐一地比较该像素的所述图像数据和与该像素相关联的所述背景样本的集合中的所述背景样本，来迭代搜索所述背景样本的集合，直到找到满足所述相似度条件的背景样本，
其中所述迭代搜索在所述背景样本的集合中的索引(244)处开始，所述索引(244)在用于相对于所述图像序列中的先前图像中的像素开始迭代搜索的索引之后。
2.根据权利要求1所述的方法，其中如果所述背景样本的集合中没有背景样本满足所述相似度条件，则不满足所述相似度条件的背景样本被更换。
3.根据权利要求1所述的方法，进一步包括，针对图像(220)中的每个像素：
保持追踪每个背景样本在与该每个像素相关联的所述背景样本的集合中多长时间，
其中选择(S06a)和更换(S06b)的步骤是在没有背景样本在所述背景样本的集合中的时间长于预定时间限制的条件下进行的，并且
其中如果背景样本在所述集合中的时间长于所述预定时间限制，则利用该每个像素的图像数据更换在所述背景样本的集合中的时间长于所述预定时间限制的背景样本。
4.根据权利要求1所述的方法，进一步包括：
接收图像序列，并且针对所述图像序列中的除了所述图像序列中的每第N个图像(520)之外的每个图像重复分类(S04)和更新(S06)的步骤，其中N>2，而对于所述每第N个图像(520)，所述背景模型的更新通过针对所述每第N个图像(520)中的被分类为背景的每个像素进行下列操作来进行：
利用该像素的图像数据更换与该像素相关联的所述背景样本的集合中的背景样本，其中对于所述每第N个图像(520)中的全部像素，被更换的背景样本在所述背景样本的集合中具有相同的索引。
5.根据权利要求1所述的方法，其中将图像中的每个像素分类(S04)为前景(232)或背景(234)的步骤包括，针对图像中的每个像素：
比较该像素的图像数据和与该像素相关联的所述背景样本的集合中的每个背景样本，以及
如果与该像素的所述图像数据之间的差别小于分类阈值的背景样本的数量小于预定义数量，则确定该像素为前景(232)。
6.根据权利要求5所述的方法，其中所述预定义数量等于1，并且其中确定该像素为前景(232)的步骤包括：
通过执行逻辑“或”运算来检查与该像素相关联的所述背景样本中的至少一个与该像素的所述图像数据之间的差别是否小于分类阈值，如果否，则确定与该像素的所述图像数据之间的差别小于阈值的背景样本的数量小于所述预定义数量，由此确定所述像素为前景。
7.一种计算机可读介质，所述计算机可读介质上存储有计算机代码指令，所述计算机代码指令当由具有处理能力的设备执行时用于实施权利要求1-6中的任一项权利要求所述的方法。
8.一种用于更新背景模型的装置(110)，所述背景模型用于图像(220)的背景减除，所述装置(110)包括：
接收器(112)，被配置为接收作为图像序列的一部分的图像(220)，
分类组件(114)，被配置为通过使用背景模型执行背景减除来将图像(220)中的每个像素分类为前景(232)或背景(234)，所述背景模型包含针对图像(220)中的每个像素的背景样本的集合，其中与所述像素相关联的所述背景样本的集合被索引，
背景更新组件(118)，被配置为针对图像中的被分类为背景的每个像素，通过下列操作来更新所述背景模型：
选择与该像素相关联的所述背景样本的集合中满足相似度条件的背景样本，就一背景样本而言，如果该背景样本与该像素中的图像数据之间的差别小于相似度阈值，则满足所述相似度条件，
利用该像素的图像数据更换满足所述相似度条件的所述背景样本，
其中选择背景样本的步骤包括：通过逐一地比较该像素的所述图像数据和与该像素相关联的所述背景样本的集合中的所述背景样本，来迭代搜索所述背景样本的集合，直到找到满足所述相似度条件的背景样本，
其中所述迭代搜索在所述背景样本的集合中的索引(244)处开始，所述索引(244)在用于相对于所述图像序列中的先前图像中的像素开始迭代搜索的索引之后。
CN201710407697.8A 2016-06-08 2017-06-02 用于更新背景模型的方法和装置 Active CN107481256B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16173451.2A EP3255585B1 (en) 2016-06-08 2016-06-08 Method and apparatus for updating a background model
EP16173451.2 2016-06-08

Publications (2)

Publication Number Publication Date
CN107481256A CN107481256A (zh) 2017-12-15
CN107481256B true CN107481256B (zh) 2019-05-14

Family

ID=56117546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710407697.8A Active CN107481256B (zh) 2016-06-08 2017-06-02 用于更新背景模型的方法和装置

Country Status (6)

Country Link
US (1) US10489916B2 (zh)
EP (1) EP3255585B1 (zh)
JP (1) JP6474854B2 (zh)
KR (1) KR101891225B1 (zh)
CN (1) CN107481256B (zh)
TW (1) TWI660326B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204636B (zh) * 2016-06-27 2019-03-22 北京大学深圳研究生院 基于监控视频的视频前景提取方法
KR102629594B1 (ko) * 2018-04-09 2024-01-29 한화비전 주식회사 객체 및 배경 구분 방법
TWI668669B (zh) * 2018-05-31 2019-08-11 國立中央大學 物件追蹤系統及方法
EP3582181B1 (en) * 2018-06-14 2020-04-01 Axis AB Method, device and system for determining whether pixel positions in an image frame belong to a background or a foreground
EP3667557B1 (en) * 2018-12-13 2021-06-16 Axis AB Method and device for tracking an object
CN110018529B (zh) * 2019-02-22 2021-08-17 南方科技大学 降雨测量方法、装置、计算机设备和存储介质
EP3770809A4 (en) 2019-06-14 2022-03-09 Korea University Research and Business Foundation METHOD AND APPARATUS FOR ESTIMATING A USER'S POSE USING A VIRTUAL THREE-DIMENSIONAL SPACE MODEL
CN110864412B (zh) * 2019-08-12 2021-02-12 珠海格力电器股份有限公司 空调控制方法及系统
EP3800615A1 (en) * 2019-10-01 2021-04-07 Axis AB Method and device for image analysis
US11361574B2 (en) * 2019-10-23 2022-06-14 Bendix Commercial Vehicle Systems Llc System and method for monitoring for driver presence and position using a driver facing camera
CN111588384B (zh) * 2020-05-27 2023-08-22 京东方科技集团股份有限公司 获得血糖检测结果的方法、装置及设备
CN113827233A (zh) * 2020-06-24 2021-12-24 京东方科技集团股份有限公司 用户特征值检测方法及装置、存储介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1777912A (zh) * 2002-06-28 2006-05-24 皇家飞利浦电子股份有限公司 用于改进的背景－前景分割的使用目标分类的增强背景模型
CN103034991A (zh) * 2011-09-29 2013-04-10 联发科技（新加坡）私人有限公司 前景对象检测方法与装置及背景检测方法与装置
CN103262119A (zh) * 2010-12-08 2013-08-21 阿尔卡特朗讯公司 用于对图像进行分割的方法和系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002109546A (ja) * 2000-09-29 2002-04-12 Toshiba Corp 背景画像の取得方法および装置
ATE458231T1 (de) * 2007-07-08 2010-03-15 Univ Liege Extraktor für visuellen hintergrund
AU2008200966B2 (en) * 2008-02-28 2012-03-15 Canon Kabushiki Kaisha Stationary object detection using multi-mode background modelling
EP2517176B1 (en) 2009-12-21 2019-02-20 Telefonaktiebolaget LM Ericsson (publ) Method for regenerating the background of digital images of a video stream
JP2012033100A (ja) * 2010-08-02 2012-02-16 Canon Inc 画像処理装置、画像処理方法、及びコンピュータプログラム
JP5761954B2 (ja) * 2010-10-13 2015-08-12 セコム株式会社 画像センサ
AU2011265429B2 (en) * 2011-12-21 2015-08-13 Canon Kabushiki Kaisha Method and system for robust scene modelling in an image sequence
US20130308856A1 (en) * 2012-01-12 2013-11-21 Google Inc. Background Detection As An Optimization For Gesture Recognition
US10073543B2 (en) * 2014-03-07 2018-09-11 Htc Corporation Image segmentation device and image segmentation method
TWI518603B (zh) * 2014-05-22 2016-01-21 宏達國際電子股份有限公司 影像編輯方法與電子裝置
KR101643917B1 (ko) * 2014-09-15 2016-08-01 (주)인더스웰 실사 영상 기반의 스마트 피팅장치
US9471844B2 (en) * 2014-10-29 2016-10-18 Behavioral Recognition Systems, Inc. Dynamic absorption window for foreground background detector
EP3246874B1 (en) * 2016-05-16 2018-03-14 Axis AB Method and apparatus for updating a background model used for background subtraction of an image
TWI615806B (zh) * 2016-10-11 2018-02-21 威聯通科技股份有限公司 影像背景學習方法及電子裝置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1777912A (zh) * 2002-06-28 2006-05-24 皇家飞利浦电子股份有限公司 用于改进的背景－前景分割的使用目标分类的增强背景模型
CN103262119A (zh) * 2010-12-08 2013-08-21 阿尔卡特朗讯公司 用于对图像进行分割的方法和系统
CN103034991A (zh) * 2011-09-29 2013-04-10 联发科技（新加坡）私人有限公司 前景对象检测方法与装置及背景检测方法与装置

Also Published As

Publication number Publication date
US20170358093A1 (en) 2017-12-14
JP6474854B2 (ja) 2019-02-27
US10489916B2 (en) 2019-11-26
KR20170138938A (ko) 2017-12-18
TWI660326B (zh) 2019-05-21
EP3255585B1 (en) 2018-05-09
EP3255585A1 (en) 2017-12-13
CN107481256A (zh) 2017-12-15
TW201810186A (zh) 2018-03-16
JP2018022475A (ja) 2018-02-08
KR101891225B1 (ko) 2018-08-24

Similar Documents

Publication Publication Date Title
CN107481256B (zh) 用于更新背景模型的方法和装置
CN107392932B (zh) 更新用于图像的背景减除的背景模型的方法和装置
Blum et al. Fishyscapes: A benchmark for safe semantic segmentation in autonomous driving
St-Charles et al. Universal background subtraction using word consensus models
Elhabian et al. Moving object detection in spatial domain using background removal techniques-state-of-art
Brutzer et al. Evaluation of background subtraction techniques for video surveillance
US9247155B2 (en) Method and system for robust scene modelling in an image sequence
EP1835462A1 (en) Tracing device, and tracing method
JP6931203B2 (ja) 映像解析装置、映像解析方法、および映像解析プログラム
JP2015201209A (ja) デジタル画像における関心点の検出方法
KR20190028103A (ko) 비관심 객체에 대한 마스크 처리 방법 및 그 장치
Ho et al. Sme-net: Sparse motion estimation for parametric video prediction through reinforcement learning
CN112132130A (zh) 一种面向全场景的实时性车牌检测方法及系统
US20240111835A1 (en) Object detection systems and methods including an object detection model using a tailored training dataset
Singh et al. Unusual activity detection for video surveillance
KR101137110B1 (ko) 영상 내 물체 감시 방법 및 장치
JP2014110020A (ja) 画像処理装置、画像処理方法および画像処理プログラム
GB2553105B (en) Method and system for determining a relationship between two regions of a scene
CN111428589A (zh) 一种渐变转场的识别方法及系统
JP5241687B2 (ja) 物体検出装置及び物体検出プログラム
Luo et al. Real-time and robust background updating for video surveillance and monitoring
Bou et al. Reviewing ViBe, a popular background subtraction algorithm for real-time applications
Kostadinov Synopsis of video files using neural networks
JP3763279B2 (ja) 物体抽出システム、物体抽出方法および物体抽出プログラム
US20120250932A2 (en) Device and Method for Processing Images to Determine a Signature of a Film

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant