CN109598741A - 图像处理装置和方法及监控系统 - Google Patents

图像处理装置和方法及监控系统 Download PDF

Info

Publication number
CN109598741A
CN109598741A CN201710915056.3A CN201710915056A CN109598741A CN 109598741 A CN109598741 A CN 109598741A CN 201710915056 A CN201710915056 A CN 201710915056A CN 109598741 A CN109598741 A CN 109598741A
Authority
CN
China
Prior art keywords
visual element
image
background
similarity measurement
present image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710915056.3A
Other languages
English (en)
Inventor
阳琴
陈则玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to CN201710915056.3A priority Critical patent/CN109598741A/zh
Priority to JP2018141611A priority patent/JP6598943B2/ja
Priority to US16/140,279 priority patent/US11354808B2/en
Publication of CN109598741A publication Critical patent/CN109598741A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20052—Discrete cosine transform [DCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Abstract

本发明公开了一种图像处理装置和方法及监控系统。所述图像处理装置包括：被配置为获取输入视频中的当前图像并且获取包括背景图像和视觉元素的前景/背景分类信息的背景模型的单元；被配置为确定所述当前图像中的视觉元素与所述背景模型中的视觉元素之间的第一相似性度量的单元；以及被配置为根据所述当前图像、所述背景模型中的所述背景图像及所述第一相似性度量将所述当前图像中的所述视觉元素分类为前景或背景的单元。其中，所述背景模型中的所述视觉元素是分类信息为背景并且与所述当前图像中的所述视觉元素的对应部分相邻的视觉元素。根据本发明，前景检测的准确性将得到改善。

Description

图像处理装置和方法及监控系统
技术领域
本发明涉及图像处理，尤其涉及例如前景检测和监控。
背景技术
在图像处理中，一方面，图像(例如，视频中的一个图像)通常由若干视觉元素构成，所述视觉元素是对图像的表现有贡献的可视特性。其中，一个视觉元素例如可以是一个像素、表示一组像素的离散余弦变换(DCT)块或表示具有相似属性(例如，相似纹理、相似颜色、相似亮度)的一组像素的超像素。另一方面，尤其是在前景检测中，现有的背景减除(background subtraction)技术通常被用于通过将视频中的当前图像与基于视频中的当前图像之前的某一持续时间内的图像获得的背景图像进行比较而将当前图像中的视觉元素分类为“前景”或“背景”。其中，“前景”是指在视频上捕获的场景中出现的瞬态对象。此类瞬态对象可包括例如运动的人或运动的汽车。场景中的其余部分被视为“背景”。
然而，在某些情形下，会出现假前景检测。例如，在一种情形下，如果当前图像中的水波或随风而动的树叶的视觉元素与背景图像中的对应视觉元素相比具有某些变化，则会将实际上为背景的水波或树叶错误地检测为前景。例如，在另一种情形下，如果使用准确性较低的图像分割算法来获得超像素(即，视觉元素)，即从当前图像中获得的视觉元素可能无法与从当前图像的先前图像中获得的对应视觉元素保持恒定不变，则当前图像中的视觉元素与背景图像中的对应视觉元素相比也将具有某些变化，因而也将导致假前景检测。
因此，为了尽可能多地消除上述假前景检测，“Moving Objects Detection andSegmentation Based on Background Subtraction and Image Over-Segmentation”(Yun-fang Zhu,<Journal of Software>VOL.6,NO.7,July,2011)中公开了一种示例性技术。对于当前图像中的一个视觉元素，该示例性技术根据该视觉元素的背景置信度将该视觉元素检测为前景或背景。更具体而言，在该视觉元素的背景置信度大于阈值的情况下，将该视觉元素检测为背景。其中，该视觉元素的背景置信度为第一数量与第二数量的比值，所述第一数量表示当前图像中与该视觉元素相邻并且与该视觉元素具有相同颜色的视觉元素的数量，而所述第二数量表示当前图像中与该视觉元素相邻并且被检测为前景的视觉元素的数量。
然而，在与一个待检测视觉元素相邻的一组视觉元素被错误地检测为前景的情况下，上述第一数量和上述第二数量都将变大，从而将使得该待检测视觉元素的背景置信度变小并且小于阈值。因此，不能尽可能多地消除上述假前景检测，从而导致不能尽可能好地改善前景检测。
发明内容
因此，鉴于上面的背景技术中的记载，本公开内容旨在解决上述问题中的至少一点。
根据本发明的一个方面，提供一种图像处理装置，所述图像处理装置包括：获取单元，被配置为获取输入视频中的当前图像并且获取包括背景图像和视觉元素的分类信息的背景模型，其中，所述视觉元素的分类信息包括前景和背景；相似性度量确定单元，被配置为确定所述当前图像中的视觉元素与所述背景模型中的视觉元素之间的第一相似性度量；以及分类单元，被配置为根据所述当前图像、所述背景模型中的所述背景图像及所述相似性度量确定单元确定的所述第一相似性度量，将所述当前图像中的所述视觉元素分类为前景或背景。其中，所述背景模型中的所述视觉元素是分类信息为背景的视觉元素，并且，其中所述背景模型中的所述视觉元素是与所述当前图像中的所述视觉元素的对应部分相邻的视觉元素。
其中，所述背景模型中的所述背景图像是根据所述当前图像的至少一个先前图像获得的。并且，所述背景模型中的所述视觉元素的分类信息是根据所述当前图像的至少一个先前图像中被分类为前景或背景的视觉元素获得的。
利用本发明，前景检测的准确性将得到改善。
根据以下参照附图的描述，本发明的其他特性特征和优点将显而易见。
附图说明
包含在说明书中并构成本说明书的一部分的附图例示本发明的实施例，并与文字描述一起用于解释本发明的原理。
图1是示意性地示出可实现根据本发明实施例的技术的硬件配置的框图。
图2是例示根据本发明实施例的图像处理装置的配置的框图。
图3A至图3H示意性地示出根据本发明的当前图像的先前图像中的视觉元素的前景/背景分类结果及背景模型中的视觉元素的前景/背景分类信息。
图4示意性地示出根据本发明实施例的图像处理的流程图。
图5A至图5B示意性地示出根据本发明的当前图像及背景模型中的视觉元素的前景/背景分类信息。
图6示意性地示出根据本发明的如图2中所示的分类单元230的子单元。
图7示意性地示出根据本发明的如图4中所示的步骤S430的流程图。
图8例示根据本发明的示例性监控器的布置。
具体实施方式
下面将参照附图详细描述本发明的示例性实施例。应注意，下面的描述实质上仅为说明性和示例性的，并且决不意图限制本发明及其应用或用途。除非另有具体说明，否则实施例中阐述的组件和步骤的相对布置、数值表达式和数值并不限制本发明的范围。另外，本领域技术人员已知的技术、方法和设备可能不会被详细地讨论，但在适当的情形中其应当是本说明书的一部分。
请注意，相似的附图标记和字母指代附图中相似的项目，因此，一旦一个项目在一个附图中被定义，则不必在下面的附图中对其进行讨论。
一般而言，在视频上捕获的场景中，一个真对象(即，前景)不可能在视频中突然出现或消失。也就是说，真对象在视频中将具有一个运动轨迹。因此，在视频的当前图像中的一个视觉元素为背景的情况下，通常，当前图像的至少一个先前图像中的与该视觉元素的对应部分相邻的视觉元素也将为背景。因此，发明人发现，在前景检测中，对于一个视频的当前图像中的一个视觉元素，可将所述当前图像的先前图像中被分类为背景且与该视觉元素的对应部分相邻的视觉元素作为一个参照，来确定将该视觉元素分类为前景还是背景。
因此，在本发明中，对于一个视频的当前图像中的一个视觉元素，除了该视觉元素与先前图像中的对应视觉元素之间的差异(即，变化)，还将考虑该视觉元素与先前图像中被分类为背景且与该视觉元素的对应部分相邻的视觉元素之间的相似性。例如，在该视觉元素与先前图像中被分类为背景且与该视觉元素的对应部分相邻的视觉元素相似的情况下，诸如这些视觉元素的纹理/颜色/亮度相似，该视觉元素为背景的概率较高。
因此，根据本发明，即使在视频的某些图像中背景包括运动(例如，水波或随风而动的树叶)或者即使使用准确性较低的图形分割算法来获得用于前景检测的视觉元素，但是由于将使用在先前处理中获得的前景/背景分类结果作为参照来进行后续处理，因此可有效地消除假前景检测。因此，前景检测的准确性将得到改善。
(硬件配置)
首先将参照图1描述可实现下文中描述的技术的硬件配置。
硬件配置100例如包括中央处理单元(CPU)110、随机存取存储器(RAM)120、只读存储器(ROM)130、硬盘140、输入设备150、输出设备160、网络接口170和系统总线180。此外，在一种实现方式中，硬件配置100可由电脑实现，诸如平板电脑、笔记本电脑、台式电脑或其他合适的电子设备。在另一种实现方式中，硬件配置100可由监控器实现，诸如数码相机、摄像机、网络相机或其他合适的电子设备。其中，在硬件配置100由监控器实现的情况下，硬件配置100还包括例如光学系统190。
在一种实现方式中，根据本发明的图像处理由硬件或固件配置并且用作硬件配置100的模块或组件。例如，将在下文参照图2详细描述的图像处理装置200用作硬件配置100的模块或组件。在另一种实现方式中，根据本发明的图像处理由存储在ROM 130或硬盘140中且由CPU 110执行的软件配置。例如，将在下文参照图4详细描述的过程400用作存储在ROM 130或硬盘140中的程序。
CPU 110是任意合适的可编程控制设备(诸如，处理器)，并且可通过执行存储在ROM 130或硬盘140(诸如，存储器)中的各种应用程序来执行下文中要描述的各种功能。RAM120用于临时存储从ROM 130或硬盘140加载的程序或数据，并且也被用作CPU 110在其中执行各种过程(诸如，实施将在下文参照图4详细描述的技术)以及其他可用功能的空间。硬盘140存储诸如操作系统(OS)、各种应用、控制程序、视频、视频的每一个图像的处理结果和/或预定义数据(例如，阈值(THs))等多种信息。
在一种实现方式中，输入设备150用于允许用户与硬件配置100交互。在一个实例中，用户可通过输入设备150输入图像/视频/数据。在另一实例中，用户可通过输入设备150触发本发明的对应处理。此外，输入设备150可采用多种形式，诸如按钮、键盘或触摸屏。在另一种实现方式中，输入设备150用于接收从诸如数码相机、摄像机和/或网络相机等专门电子设备输出的图像/视频。另外，在硬件配置100由监控器实现的情况下，硬件配置100中的光学系统190将直接捕获监控位置的图像/视频。
在一种实现方式中，输出设备160用于向用户显示处理结果(诸如，前景)。而且，输出设备160可采用诸如阴极射线管(CRT)或液晶显示器等各种形式。在另一种实现方式中，输出设备160用于将处理结果输出到后续处理，诸如监控分析是否向用户发出警报等。
网络接口170提供用于将硬件配置100连接到网络的接口。例如，硬件配置100可经由网络接口170与经由网络连接的其他电子设备进行数据通信。可选地，可以为硬件配置100提供无线接口以进行无线数据通信。系统总线180可以提供用于在CPU 110、RAM 120、ROM 130、硬盘140、输入设备150、输出设备160和网络接口170等之间相互传输数据的数据传输路径。虽然被称为总线，但是系统总线180并不限于任何特定的数据传输技术。
上述硬件配置100仅仅是说明性的，并且决不意图限制本发明、其应用或用途。而且，为了简明起见，图1中只示出一个硬件配置。但是，根据需要也可以使用多个硬件配置。
(图像处理)
接下来将参照图2至图7描述根据本发明的图像处理。
图2是例示根据本发明实施例的图像处理装置200的配置的框图。其中，图2中所示的一些或全部模块可由专用硬件实现。如图2所示，图像处理装置200包括获取单元210、相似性度量确定单元220和分类单元230。
另外，图2中所示的存储设备240存储视频及视频的每一个图像的处理结果(即，视觉元素的前景/背景分类结果)。例如，视频由用户输入或从专门电子设备(例如，相机)输出或由图1中所述的光学系统捕获。可选地，视频和处理结果可存储在不同的存储设备中。在一种实现方式中，存储设备240为图1中所示的ROM 130或硬盘140。在另一种实现方式中，存储设备240是经由网络(未示出)与图像处理装置200连接的服务器或外部存储设备。
首先，在一种实现方式中，例如，在图1中所示的硬件配置100由电脑实现的情况下，输入设备150接收从专门电子设备(例如，相机)输出或由用户输入的视频。接着，输入设备150经由系统总线180将所接收视频传输到图像处理装置200。在另一种实现方式中，例如，在硬件配置100由监控器实现的情况下，图像处理装置200直接接收由光学系统190捕获的视频。
然后，如图2中所示，一方面，获取单元210从所接收视频(即，输入视频)中获取当前图像。例如，当前图像为第t个图像，其中，t为自然数且2≤t≤T，T为输入视频的图像总数。另一方面，获取单元210从存储设备240中获取背景模型。其中，背景模型包括背景图像及视觉元素的分类信息。其中，视觉元素的分类信息包括前景和背景。在下文中，“视觉元素的分类信息”将被视为“视觉元素的前景/背景分类信息”。
背景模型中的背景图像是根据第t个图像的至少一个先前图像获得的。即，背景图像是根据视频中的第t个图像之前的某一持续时间内的至少一个图像获得的，并且所述某一持续时间不受限制并且基于实验统计和/或经验设置。在一个实例中，背景图像是第t个图像的先前图像的平均图像。在另一实例中，背景图像是第t个图像的先前图像中的任何一个。在又一实例中，背景图像是根据基于例如高斯模型(Gaussian Model)为每一个像素生成的模型实时获得的。然而，显然不必局限于此。
背景模型中的视觉元素的前景/背景分类信息是根据第t个图像的至少一个先前图像中被分类为前景或背景的视觉元素获得的。在一个实例中，视觉元素的前景/背景分类信息是通过对第t个图像的先前图像中的视觉元素的前景/背景分类结果求平均值获得的。在另一实例中，视觉元素的前景/背景分类信息是第t个图像的先前图像中的任何一个图像中的视觉元素的前景/背景分类结果。在又一实例中，视觉元素的前景/背景分类信息是根据基于例如高斯模型为每一个视觉元素生成的模型实时获得的。然而，显然不必局限于此。
例如，假设视觉元素为超像素，并且假设背景模型中的视觉元素的前景/背景分类信息是根据第t个图像的三个先前图像中的视觉元素的前景/背景分类结果获得的，其中，所述第t个图像的所述三个先前图像例如为图3A中所示的第(t-3)个图像、图3B中所示的第(t-2)个图像和图3C中所示的第(t-1)个图像，其中图3A至图3C中所示的图像中的一个块代表一个视觉元素，其中每一个块中的“B”或“F”代表该视觉元素被分类为“背景”或“前景”，因此，在执行求平均值运算的情况下，所获得的背景模型中的视觉元素的前景/背景分类信息例如如图3D中所示。同样地，例如，在视觉元素为DCT块的情况下，图3E至图3G显示第t个图像的三个先前图像，并且图3H显示在执行求平均值运算的情况下，所获得的背景模型中的视觉元素的前景/背景分类信息。另外，在视觉元素为像素的情况下，背景模型中的视觉元素的前景/背景分类信息可以相同方式获得。
另外，在选择第t个图像的先前图像中的一个作为背景模型中的背景图像的情况下，且在选择第t个图像的先前图像中的一个图像中的视觉元素的前景/背景分类结果作为背景模型中的视觉元素的前景/背景分类信息的情况下，这两个先前图像可以是相同图像或不同图像。
返回至图2，在获取单元210获取第t个图像和背景模型之后，相似性度量确定单元220确定第一相似性度量，其中所述第一相似性度量是第t个图像中的视觉元素与背景模型中的视觉元素之间的相似性度量。其中，背景模型中的视觉元素是分类信息为背景的视觉元素，并且，其中背景模型中的视觉元素是与第t个图像中的视觉元素的对应部分相邻的视觉元素。其中，对于第t个图像中的任何一个视觉元素，该视觉元素的对应部分为在背景模型中的位置与该视觉元素在第t个图像中的位置相同的部分。其中，对于第t个图像中的任何一个视觉元素，与该视觉元素对应的第一相似性度量越大，该视觉元素为背景的概率就越高。
然后，分类单元230根据当前图像、背景模型中的背景图像及所确定的第一相似性度量，将第t个图像中的视觉元素分类为前景或背景。
最后，在分类单元230对第t个图像中的视觉元素进行分类之后，一方面，分类单元230将第t个图像中的视觉元素的前景/背景分类结果传输到存储设备240，从而可更新存储在存储设备240中的对应信息并且可根据所更新的信息获取用于下一图像(例如，第(t+1)个图像)的背景模型。另一方面，分类单元230经由系统总线180将第t个图像中的视觉元素的前景/背景分类结果传输到图1中所示的输出设备160以向用户显示第t个图像中的前景，或将第t个图像中的前景输出到后续处理，诸如监控分析等。
另外，通常在前景检测中将输入视频的第1个图像中的视觉元素默认为背景。
图4中所示的流程图400是图2中所示的图像处理装置200的对应过程。
如图4中所示，在获取步骤S410中，获取单元210从输入视频中获取第t个图像并且从存储设备240中获取包括背景图像和视觉元素的前景/背景分类信息的背景模型。其中，2≤t≤T。
在相似性度量确定步骤S420中，相似性度量确定单元220确定与第t个图像中的视觉元素对应的第一相似性度量。
以图5A中所示的第t个图像及图5B中所示的背景模型中的视觉元素的前景/背景分类信息为例，其中所述视觉元素例如为超像素，以第t个图像中的视觉元素510为例，相似性度量确定单元220如下确定与视觉元素510对应的第一相似性度量。其中，对于第t个图像中的视觉元素510，视觉元素510的对应部分是图5B中所示的视觉元素520，并且背景模型中分类信息为背景且与视觉元素520相邻的视觉元素为例如图5B中所示的视觉元素530-580。
因此，首先，对于视觉元素530-580中的每一个，以视觉元素530为例，相似性度量确定单元220根据视觉元素510及视觉元素530的特征值确定这两个视觉元素之间的相似性度量。例如，这两个视觉元素的特征值之间的绝对差被视为对应的相似性度量。显然不必局限于此。其中，一个图像中的一个视觉元素的特征值可根据图像中该视觉元素的通道特征确定。例如，在图像处于YCbCr色彩空间的情况下，一个视觉元素包括Y(亮度)通道特征、Cb(蓝色)通道特征和Cr(红色)通道特征。在图像处于RGB色彩空间的情况下，一个视觉元素包括红色通道特征、绿色通道特征和蓝色通道特征。因此，视觉元素510的特征值根据其在第t个图像中的通道特征确定。视觉元素530的特征值根据第t个图像的先前图像中的视觉元素的特征值确定，其中，先前图像中的这些视觉元素的位置与视觉元素530的位置相同并且使用这些视觉元素的前景/背景分类结果来确定视觉元素530的前景/背景分类信息。
然后，在相似性度量确定单元220确定视觉元素510与视觉元素530之间的相似性度量(例如，称为Sim1)、视觉元素510与视觉元素540之间的相似性度量(例如，称为Sim2)、……、视觉元素510与视觉元素580之间的相似性度量(例如，称为Sim6)之后，相似性度量确定单元220根据所确定的相似性度量(即，Sim1、Sim2、……、Sim6)确定与视觉元素510对应的第一相似性度量。在一个实例中，将Sim1至Sim6的平均值确定为与视觉元素510对应的第一相似性度量。在另一实例中，将Sim1至Sim6中值最大的一个相似性度量确定为与视觉元素510对应的第一相似性度量。然而，显然不必局限于此。
返回至图4，在分类步骤S430中，分类单元230根据第t个图像、背景模型中的背景图像及在步骤S420中确定的第一相似性度量，将第t个图像中的视觉元素分类为前景或背景。在一种实现方式中，分类单元230根据第二相似性度量将第t个图像中的视觉元素分类为前景或背景，所述第二相似性度量根据在步骤S420中确定的第一相似性度量调整，其中，所述第二相似性度量是第t个图像中的视觉元素与背景图像中的对应视觉元素之间的相似性度量。在下文中，第t个图像中的视觉元素与背景图像中的对应视觉元素之间的相似性度量(即，第二相似性度量)将被视为“第t个图像中的视觉元素与背景图像中的对应视觉元素之间的视觉距离(visual distance)”。其中，对于第t个图像中的任何一个视觉元素，对应的视觉距离越大，该视觉元素与背景图像中的对应视觉元素之间的差异(即，变化)越大，即，该视觉元素为前景的概率越高。
更具体而言，分类单元230参照图6和图7将第t个图像中的视觉元素分类为前景或背景。一方面，如图6中所示，分类单元230包括计算单元231、调整单元232和确定单元233。另一方面，如图7中所示，图6中所示的对应单元如下执行对应操作。
在步骤S431中，对于第t个图像中每一个视觉元素，计算单元231计算该视觉元素与背景图像中的对应视觉元素之间的视觉距离。其中，对应视觉元素为在背景图像中的位置与该视觉元素在第t个图像中的位置相同的视觉元素。在一种实现方式中，根据该视觉元素及背景图像中的对应视觉元素的特征值来计算这两个视觉元素之间的视觉距离。例如，这两个视觉元素的特征值之间的绝对差被视为对应的视觉距离。然而，显然不必局限于此。
在步骤S432中，调整单元232根据图4中所示的相似性度量确定步骤S420中确定的第一相似性度量来调整在步骤S431中计算的视觉距离。
在一种实现方式中，可将第t个图像中的每一个视觉元素视为处理部分。从而，对于第t个图像中的每一个视觉元素，调整单元232根据预定义的第一阈值(例如，TH1)和在相似性度量确定步骤S420中确定的与该视觉元素对应的第一相似性度量，来调整在步骤S431中计算的对应视觉距离。如上所述，对于第t个图像中的任何一个视觉元素，与该视觉元素对应的第一相似性度量越大，该视觉元素为背景的概率就越高。并且，对于第t个图像中的任何一个视觉元素，对应的视觉距离越大，该视觉元素为前景的概率就越高。因此，例如，在与该视觉元素对应的第一相似性度量大于TH1的情况下，意味着该视觉元素为背景的概率较高，调整单元232通过减去一个值或乘以[0,1]之间的一个系数或直接将对应的视觉距离设置为0，来减小对应的视觉距离。换言之，对于第t个图像中的每一个视觉元素，调整单元232如下调整对应的视觉距离：
在另一种实现方式中，为提高准确性，还可将第t个图像中的每一个视觉元素组视为处理部分。其中，可根据诸如用户设置的方式、通过对视觉元素进行聚类而确定的方式等任何方式来确定第t个图像中的组。因此，对于第t个图像中的每一个组中的视觉元素，调整单元232根据预定义的第二阈值(例如，TH2)和针对该组的概率度量，来调整在步骤S431中计算的对应的视觉距离。其中，针对该组的概率度量表示将该组中的视觉元素分类为背景的概率。以第t个图像中的一个组为例，调整单元232如下调整对应的视觉距离。
首先，对于该组中的每一个视觉元素，调整单元232根据在相似性度量确定步骤S420中确定的与该视觉元素对应的第一相似性度量，通过使用例如高斯分布(Gaussiandistribution)或贝叶斯分布(Bayesian distribution)来确定针对该视觉元素的概率度量。其中，针对该视觉元素的概率度量表示将该视觉元素分类为背景的概率。
然后，调整单元232根据该组中的针对视觉元素的概率度量，通过使用数学计算来确定针对该组的概率度量。例如，针对该组的概率度量为该组中的针对视觉元素的概率度量的乘积。
然后，由于针对该组的概率度量越大，该组中的视觉元素为背景的概率就越高。因此，例如，在针对该组的概率度量大于TH2的情况下，意味着该组中的视觉元素为背景的概率较高，对于该组中的每一个视觉元素，调整单元232通过减去一个值或乘以[0,1]之间的一个系数或直接将对应的视觉距离设置为0，来减小在步骤S431中计算的对应的视觉距离。换言之，对于该组中的每一个视觉元素，调整单元232如下调整对应的视觉距离：
返回至图7，在步骤S433中，确定单元233根据预定义阈值(例如，TH3)和从步骤S432中获得的调整后的视觉距离，将第t个图像中的视觉元素确定为前景或背景。以第t个图像中的一个视觉元素为例，在步骤S432中调整的对应视觉距离大于TH3的情况下，确定单元233将该视觉元素确定为前景。否则，将该视觉元素确定为背景。
返回至图4，在分类单元230在分类步骤S430中对第t个图像中的视觉元素进行分类之后，一方面，分类单元230将第t个图像中的视觉元素的前景/背景分类结果传输至图2中所示的存储设备240或图1中所示的输出设备160。另一方面，在步骤S440中，图像处理装置200判断是否已处理了输入视频中的所有图像。即，判断t是否大于T。如果否，在步骤S450中，图像处理装置200设置t＝t+1并且重复上述步骤S410-S440。否则，图4中所示的过程将结束。
根据本发明，由于将使用在先前处理中获得的前景/背景分类结果作为参照来进行后续处理，因此可有效地消除假前景检测。因此，前景检测的准确性将得到改善。
(监控系统)
如上所述，本发明可由电脑(例如，平板电脑、笔记本电脑或台式电脑)实现或可由监控器(例如，数码相机、摄像机或网络相机)实现。以本发明由网络相机实现为例，在网络相机被触发本发明的对应处理后，网络相机可将对应处理结果(即，前景)输出到后续处理，诸如监控分析是否向用户发出警报。因此，作为本发明的示例性应用，接下来将参照图8描述示例性监控器(例如，网络相机)。图8例示根据本发明的示例性监控器800的布置。如图8中所示，监控器800包括光学系统810和上述图像处理装置200。
另外，图8中所示的存储设备820存储所捕获的视频及所捕获的视频的每一个图像的处理结果(即，视觉元素的前景/背景分类结果)。在一种实现方式中，存储设备820是监控器800的内部存储设备。在另一种实现方式中，存储设备820是经由网络(未示出)与监控器800连接的服务器或外部存储设备。
如图8中所示，首先，光学系统810连续捕获监控位置(例如，违章停车区域)的视频并且将所捕获的视频存储至存储设备820。
然后，图像处理装置200参照图2至图7将所捕获视频的图像中的视觉元素分类为前景或背景，并且将所述视觉元素的前景/背景分类结果存储至存储设备820。
以监控器800向用于执行监控分析的处理器输出检测到的前景为例，假设监控位置为违章停车区域并且预定义警报规则为在汽车或其他对象停放在违章停车区域的情况下向用户发出警报，也就是说，违章停车区域为背景并且违章停车区域中出现的汽车或其他对象为前景。因此，监控器800将连续捕获违章停车区域的视频并且参照图8对所捕获的视频执行前景检测。并且，在检测到汽车的情况下，监控器800将向处理器输出汽车，从而处理器可向用户发出警报。如上所述，在违章停车区域中有树木并且在某一时间段内树叶随风而动的情况下，监控器800不会错误地将运动的树叶检测为前景，因此，处理器将不会向用户发出错误警报。
上述所有单元都是用于实现本公开中所述处理的示例性和/或优选模块。这些单元可以是硬件单元(诸如，现场可编程门阵列(FPGA)、数字信号处理器、专用集成电路等)和/或软件模块(诸如，计算机可读程序)。上面没有详尽地描述用于实现各步骤的单元。然而，当存在执行某一过程的步骤的情况下，可以存在用于实现该同一过程的对应功能模块或单元(通过硬件和/或软件实现)。通过描述的步骤和对应于这些步骤的单元的所有组合的技术方案包括在本申请的公开内容中，只要它们所构成的技术方案是完整的、适用的即可。
可以以多种方式来实施本发明的方法和装置。例如，可以通过软件、硬件、固件或其任何组合来实施本发明的方法和装置。除非另有具体说明，否则上述方法的步骤顺序仅旨在是说明性的，并且本发明的方法的步骤不局限于上述具体描述的顺序。此外，在一些实施例中，本发明还可以被实施为在记录介质中记录的程序，包括用于实现根据本发明的方法的机器可读指令。因此，本发明也涵盖存储用于实现根据本发明的方法的程序的记录介质。
虽然已经通过示例详细展示了本发明的一些具体实施例，但是本领域的技术人员应该理解，上述示例仅旨在是说明性的，并不限制本发明的范围。本领域的技术人员应该理解，上述实施例可以在不脱离本发明的范围和精神的情况下被修改。本发明的范围由所附权利要求约束。

Claims (12)

1.一种图像处理装置，所述图像处理装置包括：
获取单元，被配置为获取输入视频中的当前图像并且获取包括背景图像和视觉元素的分类信息的背景模型，其中所述视觉元素的分类信息包括前景和背景；
相似性度量确定单元，被配置为确定所述当前图像中的视觉元素与所述背景模型中的视觉元素之间的第一相似性度量，其中所述背景模型中的所述视觉元素是分类信息为背景的视觉元素，并且，其中所述背景模型中的所述视觉元素是与所述当前图像中的所述视觉元素的对应部分相邻的视觉元素；以及
分类单元，被配置为根据所述当前图像、所述背景模型中的所述背景图像及所述相似性度量确定单元确定的所述第一相似性度量，将所述当前图像中的所述视觉元素分类为前景或背景。
2.根据权利要求1所述的图像处理装置，
其中，所述背景模型中的所述背景图像是根据所述当前图像的至少一个先前图像获得的；
其中，所述背景模型中的所述视觉元素的分类信息是根据所述当前图像的至少一个先前图像中被分类为前景或背景的视觉元素获得的。
3.根据权利要求1所述的图像处理装置，其中，对于所述当前图像中的任何一个所述视觉元素，所述相似性度量确定单元通过确定该视觉元素与所述背景模型中的部分视觉元素之间的相似性度量，确定与该视觉元素对应的所述第一相似性度量；
其中，所述背景模型中的所述部分视觉元素是分类信息为背景的视觉元素，并且其中所述背景模型中的所述部分视觉元素是与所述当前图像中的该视觉元素的对应部分相邻的视觉元素。
4.根据权利要求3所述的图像处理装置，其中，对于所述当前图像中的任何一个所述视觉元素，该视觉元素的对应部分为在所述背景模型中的位置与该视觉元素在所述当前图像中的位置相同的部分。
5.根据权利要求1所述的图像处理装置，其中，所述分类单元根据第二相似性度量将所述当前图像中的所述视觉元素分类为前景或背景，所述第二相似性度量根据所述相似性度量确定单元确定的所述第一相似性度量调整；
其中，所述第二相似性度量为所述当前图像中的所述视觉元素与所述背景图像中的对应视觉元素之间的相似性度量。
6.根据权利要求5所述的图像处理装置，其中，所述分类单元单元包括：
计算单元，被配置为对于所述当前图像中的每一个所述视觉元素，计算与该视觉元素对应的所述第二相似性度量；
调整单元，被配置为根据所述相似性度量确定单元确定的所述第一相似性度量，调整所述计算单元计算的所述第二相似性度量；以及
确定单元，被配置为根据所述调整单元调整的所述第二相似性度量，将所述当前图像中的所述视觉元素确定为前景或背景。
7.根据权利要求6所述的图像处理装置，其中，对于所述当前图像中的每一个所述视觉元素，所述调整单元根据预定义第一阈值及所述相似性度量确定单元确定的与该视觉元素对应的所述第一相似性度量，调整所述计算单元计算的与该视觉元素对应的所述第二相似性度量。
8.根据权利要求6所述的图像处理装置，其中，对于所述当前图像中的每一个组中的视觉元素，所述调整单元根据预定义第二阈值及针对该组的概率度量，调整所述计算单元计算的与该组中的所述视觉元素对应的所述第二相似性度量；
其中，所述针对该组的概率度量表示将该组中的所述视觉元素分类为背景的概率。
9.根据权利要求8所述的图像处理装置，其中，对于所述当前图像中的每一个组中的所述视觉元素，根据针对该组中的所述视觉元素的概率度量确定所述针对该组的概率度量；
其中，对于该组中的每一个所述视觉元素，针对该视觉元素的概率度量根据所述相似性度量确定单元确定的与该视觉元素对应的所述第一相似性度量确定。
10.一种图像处理方法，所述图像处理方法包括：
获取步骤，用于获取输入视频中的当前图像并且获取包括背景图像和视觉元素的分类信息的背景模型，其中所述视觉元素的分类信息包括前景和背景；
相似性度量确定步骤，用于确定所述当前图像中的视觉元素与所述背景模型中的视觉元素之间的第一相似性度量，其中所述背景模型中的所述视觉元素是分类信息为背景的视觉元素，并且，其中所述背景模型中的所述视觉元素是与所述当前图像中的所述视觉元素的对应部分相邻的视觉元素；以及
分类步骤，用于根据所述当前图像、所述背景模型中的所述背景图像及所述相似性度量确定步骤确定的所述第一相似性度量，将所述当前图像中的所述视觉元素分类为前景或背景。
11.根据权利要求10所述的图像处理方法，其中，在所述分类步骤中，根据第二相似性度量将所述当前图像中的所述视觉元素分类为前景或背景，所述第二相似性度量根据在所述相似性度量确定步骤中确定的所述第一相似性度量调整；
其中，所述第二相似性度量为所述当前图像中的所述视觉元素与所述背景图像中的对应视觉元素之间的相似性度量。
12.一种监控系统，所述监控系统包括：
获取设备，被配置为获取视频；
图像处理装置，被配置为根据权利要求1至9中的任一项，将所述获取视频的图像中的视觉元素分类为前景或背景；以及
存储设备，被配置为存储所述获取视频及所述图像处理装置确定的处理结果。
CN201710915056.3A 2017-09-30 2017-09-30 图像处理装置和方法及监控系统 Pending CN109598741A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710915056.3A CN109598741A (zh) 2017-09-30 2017-09-30 图像处理装置和方法及监控系统
JP2018141611A JP6598943B2 (ja) 2017-09-30 2018-07-27 画像処理装置および方法並びに監視システム
US16/140,279 US11354808B2 (en) 2017-09-30 2018-09-24 Image processing apparatus and method and monitoring system for classifying visual elements as foreground or background

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710915056.3A CN109598741A (zh) 2017-09-30 2017-09-30 图像处理装置和方法及监控系统

Publications (1)

Publication Number Publication Date
CN109598741A true CN109598741A (zh) 2019-04-09

Family

ID=65897834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710915056.3A Pending CN109598741A (zh) 2017-09-30 2017-09-30 图像处理装置和方法及监控系统

Country Status (3)

Country Link
US (1) US11354808B2 (zh)
JP (1) JP6598943B2 (zh)
CN (1) CN109598741A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120106856A1 (en) * 2010-10-29 2012-05-03 Canon Kabushiki Kaisha Method for Video Object Detection
US20120106837A1 (en) * 2010-10-29 2012-05-03 Canon Kabushiki Kaisha Foreground background separation in a scene with unstable textures
US20120197642A1 (en) * 2009-10-15 2012-08-02 Huawei Technologies Co., Ltd. Signal processing method, device, and system
CN102917159A (zh) * 2011-06-30 2013-02-06 佳能株式会社 用于改进的多模式背景去除的模式移除
US20130162867A1 (en) * 2011-12-21 2013-06-27 Canon Kabushiki Kaisha Method and system for robust scene modelling in an image sequence
CN105205830A (zh) * 2014-06-17 2015-12-30 佳能株式会社 用于更新场景模型和视频监视的方法和设备
US20160125245A1 (en) * 2014-10-29 2016-05-05 Behavioral Recognition Systems, Inc. Foreground detector for video analytics system
US20160155024A1 (en) * 2014-12-02 2016-06-02 Canon Kabushiki Kaisha Video segmentation method
US20160189388A1 (en) * 2014-12-24 2016-06-30 Canon Kabushiki Kaisha Video segmentation method
CN106611417A (zh) * 2015-10-20 2017-05-03 佳能株式会社 将视觉元素分类为前景或背景的方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101299237B1 (ko) * 2011-11-23 2013-08-22 서울대학교산학협력단 팬틸트줌 카메라를 이용한 물체 탐지 장치 및 방법
US9681125B2 (en) * 2011-12-29 2017-06-13 Pelco, Inc Method and system for video coding with noise filtering
US9317908B2 (en) * 2012-06-29 2016-04-19 Behavioral Recognition System, Inc. Automatic gain control filter in a video analysis system
US9275289B2 (en) * 2014-03-27 2016-03-01 Xerox Corporation Feature- and classifier-based vehicle headlight/shadow removal in video
JP6445775B2 (ja) * 2014-04-01 2018-12-26 キヤノン株式会社 画像処理装置、画像処理方法
US9483838B2 (en) * 2014-04-24 2016-11-01 Xerox Corporation Method and system for automated sequencing of vehicles in side-by-side drive-thru configurations via appearance-based classification
US9471844B2 (en) * 2014-10-29 2016-10-18 Behavioral Recognition Systems, Inc. Dynamic absorption window for foreground background detector
US9460522B2 (en) * 2014-10-29 2016-10-04 Behavioral Recognition Systems, Inc. Incremental update for background model thresholds
CN106408554B (zh) * 2015-07-31 2019-07-09 富士通株式会社 遗留物检测装置、方法和系统
CN109598276A (zh) * 2017-09-30 2019-04-09 佳能株式会社 图像处理装置和方法及监控系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120197642A1 (en) * 2009-10-15 2012-08-02 Huawei Technologies Co., Ltd. Signal processing method, device, and system
US20120106856A1 (en) * 2010-10-29 2012-05-03 Canon Kabushiki Kaisha Method for Video Object Detection
US20120106837A1 (en) * 2010-10-29 2012-05-03 Canon Kabushiki Kaisha Foreground background separation in a scene with unstable textures
CN102592109A (zh) * 2010-10-29 2012-07-18 佳能株式会社 用于视频对象检测的方法和系统
CN102917159A (zh) * 2011-06-30 2013-02-06 佳能株式会社 用于改进的多模式背景去除的模式移除
US20130162867A1 (en) * 2011-12-21 2013-06-27 Canon Kabushiki Kaisha Method and system for robust scene modelling in an image sequence
CN105205830A (zh) * 2014-06-17 2015-12-30 佳能株式会社 用于更新场景模型和视频监视的方法和设备
US20160125245A1 (en) * 2014-10-29 2016-05-05 Behavioral Recognition Systems, Inc. Foreground detector for video analytics system
US20160155024A1 (en) * 2014-12-02 2016-06-02 Canon Kabushiki Kaisha Video segmentation method
US20160189388A1 (en) * 2014-12-24 2016-06-30 Canon Kabushiki Kaisha Video segmentation method
CN106611417A (zh) * 2015-10-20 2017-05-03 佳能株式会社 将视觉元素分类为前景或背景的方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘仁砚等: "基于视频监控场景的用户视觉注意力模型", 《大众科技》 *
王斌等: "采用时空条件信息的动态场景运动目标检测", 《计算机辅助设计与图形学学报》 *

Also Published As

Publication number Publication date
JP6598943B2 (ja) 2019-10-30
US11354808B2 (en) 2022-06-07
JP2019067369A (ja) 2019-04-25
US20190102887A1 (en) 2019-04-04

Similar Documents

Publication Publication Date Title
US8897560B2 (en) Determining the estimated clutter of digital images
US10445590B2 (en) Image processing apparatus and method and monitoring system
Cuevas et al. Improved background modeling for real-time spatio-temporal non-parametric moving object detection strategies
JP2018180619A (ja) 情報処理装置、情報処理方法及びプログラム
US20210082127A1 (en) Image analysis apparatus, image analysis method, and storage medium to display information representing flow quantity
CN110826496B (zh) 一种人群密度估计方法、装置、设备及存储介质
WO2018179361A1 (ja) 画像処理装置、画像処理方法、および記録媒体
JP7207957B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2009048240A (ja) 動画像における移動物体の検出方法、検出装置、監視方法および監視システム
US9330340B1 (en) Noise estimation for images using polynomial relationship for pixel values of image features
US20200005492A1 (en) Image processing device, image processing method, and recording medium
CN109598276A (zh) 图像处理装置和方法及监控系统
US20140086487A1 (en) Estimating the clutter of digital images
CN113793366A (zh) 图像处理方法、装置、设备及存储介质
US11393091B2 (en) Video image processing and motion detection
WO2018179119A1 (ja) 映像解析装置、映像解析方法および記録媒体
CN103961108A (zh) 跌倒侦测方法
CN109598741A (zh) 图像处理装置和方法及监控系统
EP3543902A1 (en) Image processing apparatus and method and storage medium storing instructions
Chondro et al. Detecting abnormal massive crowd flows: Characterizing fleeing en masse by analyzing the acceleration of object vectors
KR101893677B1 (ko) 컬러 영상 내의 변화영역을 검출하는 방법 및 그 장치
Sebastian et al. Parametric Tracking Across Multiple Cameras with Spatial Estimation
JP5599228B2 (ja) 繁忙検知システム及び繁忙検知プログラム
Song et al. No-reference quality assessment of night-time images via the analysis of local and global features
CN112434671B (zh) 一种行人快照优选方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190409