CN110300253B - 图像处理装置和方法及存储指令的存储介质 - Google Patents

Abstract

本发明公开了一种图像处理装置和方法及存储指令的存储介质。所述图像处理装置包括：基于输入视频获取当前视频帧和场景模型的单元；基于当前视频帧中的视觉元素，将场景模型中的视觉元素模型确定为需要修正的视觉元素模型和无需修正的视觉元素模型的单元；及基于参照视觉元素模型修正需要修正的视觉元素模型的单元，其中，参照视觉元素模型是场景模型中的、基于当前视频帧及其先前视频帧均被确定为无需修正的视觉元素模型的视觉元素模型，参照视觉元素模型与需要修正的视觉元素模型在先前视频帧中的表观特征之间的相似性满足预定条件。

Description

图像处理装置和方法及存储指令的存储介质

技术领域

本发明涉及图像处理装置和图像处理方法。

背景技术

在图像处理中，一方面，图像(例如，视频中的一个视频帧)通常由若干视觉元素构成，视觉元素是对图像的表现有贡献的可视元素。其中，一个视觉元素例如可以是一个像素、表示一组像素的离散余弦变换(DCT)块、或表示具有相似属性(例如，相似纹理、相似颜色、相似亮度)的一组像素的超像素。另一方面，尤其是在视频监控中，现有的背景减除(background subtraction)技术通常被用于通过将视频中的某一视频帧与基于视频中的该视频帧之前的某一持续时间内的视频帧获得的场景模型进行比较而将该视频帧中的视觉元素检测为前景或背景。其中，前景是指在视频上捕获的场景中出现的瞬态对象。此类瞬态对象可包括例如运动的人或物。场景中的其余部分被视为背景。在实际的应用中，由于环境亮度的变化，一些实际为背景的视觉元素会被错误地检测为前景，这将影响前景检测的精度。

为了减少环境亮度的变化所带来的影响，美国专利US8818108B2示例性地公开了一种修正视觉元素的方法。其主要包括：对于视频中某一视频帧中的一个关注视觉元素，先从该视频帧中确定一个包括该关注视觉元素的待处理样式(pattern)，其中该待处理样式还包括与该关注视觉元素最相关的其它视觉元素；其次从该视频帧的先前视频帧中确定一个与该待处理样式相似的参照样式，其中该参照样式包括先前视频帧中与该关注视觉元素对应的视觉元素及与该视觉元素最相关的其它视觉元素；然后将该待处理样式与该参照样式的像素值相加以修正该关注视觉元素的像素值。从而，例如在前景检测中，根据修正的视觉元素，可以减少环境亮度的变化对前景检测所带来的影响。

然而，在某些情形下，当环境亮度发生变化时，根据上述的示例性方法不能很好地减少该环境亮度的变化所带来的影响。例如，对于视频帧中某一实际为背景的视觉元素，在其被前景物体(例如，人、物乃至于从空中投射下来的阴影等)遮挡后又重新显露时，该视觉元素会被错误地检测为前景。一方面是由于在该视觉元素重新显露时所在的视频帧的邻近视频帧中很难找到相似的能用于修正该视觉元素的参照样式。另一方面是即使能在某一先前视频帧中找到相似的参照样式，但由于该先前视频帧与该视觉元素重新显露时所在的视频帧的时间间隔太长，导致该参照样式不能很好地起到修正该视觉元素的作用。

发明内容

鉴于上面的背景技术中的记载，本发明旨在解决上述问题中的至少一点。

根据本发明的一个方面，提供一种图像处理装置，所述图像处理装置包括：获取单元，基于输入视频获取当前视频帧和场景模型，其中所述场景模型包括至少代表视觉元素在所述当前视频帧及其先前视频帧中的表观特征的视觉元素模型；确定单元，基于所述当前视频帧中的视觉元素，将所述场景模型中的视觉元素模型确定为需要修正的视觉元素模型和无需修正的视觉元素模型；及修正单元，基于参照视觉元素模型修正所述需要修正的视觉元素模型，其中，所述参照视觉元素模型是所述场景模型中的、基于所述当前视频帧及其先前视频帧均被确定为无需修正的视觉元素模型的视觉元素模型，其中，所述参照视觉元素模型与所述需要修正的视觉元素模型在所述先前视频帧中的表观特征之间的相似性满足预定条件。

根据本发明的另一个方面，提供一种图像处理方法，所述图像处理方法包括：获取步骤，基于输入视频获取当前视频帧和场景模型，其中所述场景模型包括至少代表视觉元素在所述当前视频帧及其先前视频帧中的表观特征的视觉元素模型；确定步骤，基于所述当前视频帧中的视觉元素，将所述场景模型中的视觉元素模型确定为需要修正的视觉元素模型和无需修正的视觉元素模型；及修正步骤，基于参照视觉元素模型修正所述需要修正的视觉元素模型，其中，所述参照视觉元素模型是所述场景模型中的、基于所述当前视频帧及其先前视频帧均被确定为无需修正的视觉元素模型的视觉元素模型，其中，所述参照视觉元素模型与所述需要修正的视觉元素模型在所述先前视频帧中的表观特征之间的相似性满足预定条件。

根据本发明的又一方面，提供一种存储指令的存储介质，该指令在由处理器执行时能使得执行如上所述的图像处理方法。

其中，视觉元素在视频帧中的表观特征包括颜色特征、纹理特征、亮度特征中的任何一种。

利用本发明，可修正场景模型中不正确或不可信的视觉元素模型。

通过以下参考附图对典型实施例的说明，本发明的其它特征和优点将变得明显。

附图说明

并入说明书中并构成说明书的一部分的附图例示本发明的实施例，并且与实施例的描述一起用于解释本发明的原理。

图1是示意性地示出可实现根据本发明实施例的技术的硬件构造的框图。

图2是例示根据本发明实施例的图像处理装置的构造的框图。

图3示意性地示出根据本发明实施例的图像处理的流程图。

图4示意性地示出了当前视频帧、场景模型及场景模型中所包含的视觉元素模型的样本。

图5示意性地示出根据本发明实施例的如图3中所示的步骤S340的流程图。

图6示意性地示出一个示例性的利用本发明的应用场景。

图7是例示根据本发明实施例的用于前景检测的图像处理装置的构造的框图。

图8示出根据本发明的示例性应用系统的布置。

具体实施方式

下面将参照附图详细地描述本发明的示例性实施例。应注意，下面的描述实质上仅为说明性和示例性的，并且决不意图限制本发明及其应用或用途。除非另有具体说明，否则实施例中阐述的组件和步骤的相对布置、数值表达式和数值并不限制本发明的范围。另外，本领域技术人员已知的技术、方法和设备可能不会被详细地讨论，但在适当的情形中其应当是本说明书的一部分。

请注意，相似的附图标记和字母指代附图中相似的项目，因此，一旦一个项目在一个附图中被定义，则不必在下面的附图中对其进行讨论。

发明人认为，在视频中，无论环境亮度如何变化，也无论视频中的某些视觉元素是否被前景物体(例如，人、物乃至从空中投射下来的阴影等)遮挡，在一段连续的视频帧中，始终存在一些能紧随环境亮度变化而变化的视觉元素。也就是说，在一段连续的视频帧中，无论其中的环境亮度如何变化，始终存在一些能紧随环境亮度的变化而变化的视觉元素，从而，使得场景模型中的与这些视觉元素对应的视觉元素模型也能始终紧随环境亮度的变化而变化，其中这样的视觉元素模型可被认为是正确或可信的视觉元素模型。而对于场景模型中的无法紧随环境亮度的变化而变化的视觉元素模型(例如，视频中的与其对应的视觉元素被前景物体遮挡)，其中这样的视觉元素模型可被认为是因环境变化而变得不正确或不可信的视觉元素模型，如果可以从上述那些能紧随环境亮度的变化而变化的视觉元素模型中找到相关联的视觉元素模型(在下文中称之为“参照视觉元素模型”)来修正这些不正确或不可信的视觉元素模型，则可有效地减少环境亮度的变化对后续操作(例如，前景检测)所带来的影响，从而改善后续操作(例如，前景检测)的处理精度。

下面将参照附图详细描述本发明的示例性实施例。

(硬件构造)

首先将参照图1描述可实现下文中描述的技术的硬件构造。

硬件构造100例如包括中央处理单元(CPU)110、随机存取存储器(RAM)120、只读存储器(ROM)130、硬盘140、输入设备150、输出设备160、网络接口170和系统总线180。此外，在一种实现方式中，硬件构造100可由计算机实现，诸如平板电脑、笔记本电脑、台式电脑、客户端服务器或其他合适的电子设备。在另一种实现方式中，硬件构造100可由监控器实现，诸如数码相机、摄像机、网络相机或其他合适的电子设备。其中，在硬件构造100由监控器实现的情况下，硬件构造100还包括例如光学系统190。

在一种实现方式中，根据本发明的图像处理装置由硬件或固件构造并且用作硬件构造100的模块或组件。例如，将在下文参照图2详细描述的图像处理装置200及将在下文参照图6详细描述的图像处理装置600用作硬件构造100的模块或组件。在另一种实现方式中，根据本发明的图像处理装置由存储在ROM 130或硬盘140中且由CPU 110执行的软件构造。例如，将在下文参照图3详细描述的过程300用作存储在ROM 130或硬盘140中的程序。

CPU 110是任意合适的可编程控制设备(诸如，处理器)，并且可通过执行存储在ROM 130或硬盘140(诸如，存储器)中的各种应用程序来执行下文中要描述的各种功能。RAM120用于临时存储从ROM 130或硬盘140加载的程序或数据，并且也被用作CPU 110在其中执行各种过程(诸如，实施将在下文参照图3至图5详细描述的技术)以及其他可用功能的空间。硬盘140存储诸如操作系统(OS)、各种应用、控制程序、视频、场景模型、视频的每一个视频帧的处理结果和/或预定义数据(例如，阈值(THs))等多种信息。

在一种实现方式中，输入设备150用于允许用户与硬件构造100交互。在一个实例中，用户可通过输入设备150输入图像/视频/数据。在另一实例中，用户可通过输入设备150触发本发明的对应处理。此外，输入设备150可采用多种形式，诸如按钮、键盘或触摸屏。在另一种实现方式中，输入设备150用于接收从诸如数码相机、摄像机和/或网络相机等专门电子设备输出的图像/视频。另外，在硬件构造100由监控器实现的情况下，硬件构造100中的光学系统190将直接捕获监控位置的图像/视频。

在一种实现方式中，输出设备160用于向用户显示处理结果(诸如，前景)。而且，输出设备160可采用诸如阴极射线管(CRT)或液晶显示器等各种形式。

网络接口170提供用于将硬件构造100连接到网络的接口。例如，硬件构造100可经由网络接口170与经由网络连接的其他电子设备进行数据通信。可选地，可以为硬件构造100提供无线接口以进行无线数据通信。系统总线180可以提供用于在CPU 110、RAM 120、ROM 130、硬盘140、输入设备150、输出设备160、网络接口170和光学系统190等之间相互传输数据的数据传输路径。虽然被称为总线，但是系统总线180并不限于任何特定的数据传输技术。

上述硬件构造100仅仅是说明性的，并且决不意图限制本发明、其应用或用途。而且，为了简明起见，图1中只示出一个硬件构造。但是，根据需要也可以使用多个硬件构造。

(图像处理)

接下来将参照图2至图6描述根据本发明的图像处理。

图2是例示根据本发明实施例的图像处理装置200的构造的框图。其中，图2中所示的一些或全部模块可由专用硬件实现。如图2中所示，图像处理装置200包括获取单元210、确定单元220和修正单元230。

另外，图2中所示的存储设备240例如存储从视频中获取的视频帧及对每一个视频帧的处理结果(例如，被修正的场景模型、前景检测结果)。例如，视频由用户输入或从专门电子设备(例如，相机)输出或由图1中所述的光学系统190捕获。可选地，获取的视频帧和处理结果可存储在不同的存储设备中。在一种实现方式中，存储设备240为图1中所示的ROM130或硬盘140。在另一种实现方式中，存储设备240是经由网络(未示出)与图像处理装置200连接的服务器或外部存储设备。

首先，在一种实现方式中，例如，在图1中所示的硬件构造100由计算机实现的情况下，输入设备150接收从专门电子设备(例如，网络相机)输出或由用户输入的视频。接着，输入设备150经由系统总线180将所接收视频传输到图像处理装置200。在另一种实现方式中，例如，在硬件构造100由监控器实现的情况下，图像处理装置200直接接收由光学系统190捕获的视频。

然后，如图2中所示，一方面，获取单元210从所接收到的视频(即，输入视频)中获取当前视频帧并将其存储在存储设备240中。例如，当前视频帧为第t个视频帧，其中，t为自然数且t≥2。其中，如上所述，每个视频帧均由若干视觉元素构成。另一方面，获取单元210从存储设备240中获取场景模型。其中所述场景模型包括至少代表视觉元素在当前视频帧及该当前视频帧的先前视频帧中的表观特征的视觉元素模型。换句话说，所述场景模型基于当前视频帧及该当前视频帧的先前视频帧而得到。其中所述场景模型中的基于当前视频帧的先前视频帧而得到的视觉元素模型有可能被修正单元230修正。其中视觉元素在视频帧中的表观特征包括颜色特征、纹理特征、亮度特征中的任何一种。其中，对于一个视觉元素而言，场景模型中包含多个与该视觉元素对应的视觉元素模型。例如，假设当前视频帧为第t个视频帧，则对于其中的一个视觉元素而言，场景模型中可包含有1～t个与该视觉元素对应的视觉元素模型，其中一个视觉元素模型至少代表该视觉元素在1～t个视频帧中的一个视频帧中同一位置处的表观特征。然而，显然不必局限于此。对于第t个视频帧中的一个视觉元素而言，场景模型中也可包含少于t个的与该视觉元素对应的视觉元素模型。

在获得当前视频帧和场景模型后，确定单元220基于当前视频帧中的视觉元素，将场景模型中的视觉元素模型确定为需要修正的视觉元素模型和无需修正的视觉元素模型。从而，基于确定单元220的判断结果，所述场景模型中的视觉元素模型可进一步地代表视觉元素在当前视频帧及其先前视频帧中的附加特征，其中该附加特征例如包括场景模型中的视觉元素模型基于每一个视频帧而被确定为需要修改的视觉元素模型和无需修改的视觉元素模型的历史记录。

然后，修正单元230基于参照视觉元素模型修正所述需要修正的视觉元素模型。其中，所述参照视觉元素模型是所述场景模型中的、基于当前视频帧及其先前视频帧均被确定为无需修正的视觉元素模型的视觉元素模型，其中，所述参照视觉元素模型与所述需要修正的视觉元素模型在当前视频帧的先前视频帧中的表观特征之间的相似性满足预定条件。

最后，在修正完场景模型中需要修正的视觉元素模型后，修正单元230将修正的场景模型传输到存储设备240，从而可更新存储在存储设备240中的场景模型以用于后续的场景模型的修正和/或用于后续处理(例如，当前视频帧中的前景的检测)。

此外，在当前视频帧为输入视频的第1个视频帧的情况下，通常不会对场景模型进行修正。

图3中所示的流程图300是图2中所示的图像处理装置200的对应过程。

如图3中所示，在步骤S310中，获取单元210从所接收到的视频(即，输入视频)中获取第t个视频帧并将第t个视频帧存储到存储设备240中，其中t≥2。

在步骤S320中，获取单元210从存储设备240中获取场景模型。

在步骤S330中，确定单元220基于第t个视频帧中的视觉元素，将场景模型中的视觉元素模型确定为需要修正的视觉元素模型和无需修正的视觉元素模型。假设每个视频帧由N个视觉元素构成，其中N为自然数，则如上所述，对于第t个视频帧中的第n个视觉元素而言，在场景模型中包含有1～t个与之对应的视觉元素模型。下面，参照图4，以第t个视频帧中的第n个视觉元素(如图4中所示的视觉元素410)为例说明确定单元220将场景模型中与其对应的1～t个视觉元素模型(如图4中所示的420，其中420包含421中所示的1～t个视觉元素模型)确定为需要修正的视觉元素模型和无需修正的视觉元素模型的一种实现方式。

首先，对于421中所示的视觉元素模型中的每一个，以视觉元素模型2为例，确定单元220确定视觉元素模型2的表观特征与视觉元素410的表观特征之间的差异。在一种实现中，所述差异例如是视觉元素模型2的纹理特征/颜色特征/亮度特征与视觉元素410的纹理特征/颜色特征/亮度特征之间的相似度。其中，例如通过现有的匹配方法来获得上述的相似度。

然后，对于1～t个视觉元素模型中的每一个，以视觉元素模型2为例，确定单元220基于确定的差异(例如，确定的相似度)来将视觉元素模型2确定为需要修正的视觉元素模型或是无需修正的视觉元素模型。在一种实现中，将确定的相似度与预定义的阈值(例如，TH1)进行比较，在确定的相似度例如大于或等于TH1的情况下，视觉元素模型2被认为与视觉元素410相似，从而确定视觉元素模型2为不需要修正的视觉元素模型，换句话说，相对于视觉元素410，视觉元素模型2属于正确或可信的视觉元素模型。也就是说，视觉元素模型2属于能紧随环境变化而变化的视觉元素模型。反之，在确定的相似度例如小于TH1的情况下，视觉元素模型2被认为与视觉元素410不相似，从而确定视觉元素模型2为需要修正的视觉元素模型，换句话说，相对于视觉元素410，视觉元素模型2属于因环境变化而变得不正确或不可信的视觉元素模型。

返回图3，对于由确定单元220确定的需要修正的视觉元素模型，在步骤S340中，修正单元230基于参照视觉元素模型修正这些需要修正的视觉元素模型。如上所述，对于第t个视频帧中的第n个视觉元素，假设场景模型中与其对应的1～t个视觉元素模型中共有M个视觉元素模型被确定为需要修正的视觉元素模型，其中M为自然数且1≤M≤t，则对于这M个需要修正的视觉元素模型中的每一个，以第m个需要修正的视觉元素模型为例，在一种实现方式中，修正单元230参照图5修正该需要修正的视觉元素模型。

如图5中所示，在步骤S341中，修正单元230从场景模型中确定与第m个需要修正的视觉元素模型相关联的参照视觉元素模型。在一种实现中，修正单元230通过如下方式确定参照视觉元素模型。

首先，修正单元230从第m个需要修正的视觉元素模型周围的视觉元素模型中寻找不仅基于第t个视频帧而且基于第t个视频帧的先前视频帧(例如，第t-1个视频帧、第t个视频帧之前的若干帧)均被确定为是无需修改的视觉元素模型的视觉元素模型。换句话说，寻找得到的视觉元素模型实际为能紧随环境变化而变化(即，正确或可信)的视觉元素模型。如上所述，场景模型中的视觉元素模型可代表视觉元素在当前视频帧及其先前视频帧中的附加特征。因此，修正单元230例如可以基于第m个需要修正的视觉元素模型周围的视觉元素模型的附加特征，来寻找满足要求的视觉元素模型。

其次，对于寻找得到的视觉元素模型中的每一个，修正单元230确定该视觉元素模型的表观特征(例如，纹理特征、颜色特征、亮度特征)与该第m个需要修正的视觉元素模型的表观特征之间的相似度。

然后，修正单元230基于预定条件及确定的相似度从寻找得到的视觉元素模型中确定可以作为与第m个需要修正的视觉元素模型相关联的参照视觉元素模型。在一种实现中，修正单元230从寻找得到的视觉元素模型中选择相似度最高的一个视觉元素模型作为与第m个需要修正的视觉元素模型相关联的参照视觉元素模型。在另一种实现中，修正单元230从相似度例如大于或等于预定义的阈值(例如，TH2)的寻找得到的视觉元素模型中任选一个作为与第m个需要修正的视觉元素模型相关联的参照视觉元素模型。

返回图5，在与第m个需要修正的视觉元素模型相关联的参照视觉元素模型确定后，在步骤S342中，修正单元230基于确定的参照视觉元素模型在第t个视频帧中的表观特征及在第t个视频帧的先前视频帧中的表观特征之间的差异来修正第m个需要修正的视觉元素模型。在一种实现中，修正单元230通过如下方式修正第m个需要修正的视觉元素模型。

首先，修正单元230计算该参照视觉元素模型在第t个视频帧中的纹理特征/颜色特征/亮度特征及在该参照视觉元素模型所在的视频帧中的纹理特征/颜色特征/亮度特征之间的特征差。然后，修正单元230通过直接叠加或加权叠加的方式将计算得到的特征差叠加到第m个需要修正的视觉元素模型的纹理特征/颜色特征/亮度特征上以达到修正视觉元素模型的目的。

返回图3，在基于第t个视频帧修正完场景模型中需要修正的视觉元素模型后，一方面，修正单元230将修正后的场景模型存储到存储设备240中以用于后续处理，例如，后续的场景模型的修正、第t个视频帧中前景的检测。另一方面，在步骤S350中，修正单元230判断获取单元210是否可获取到新的视频帧。在不能获得新的视频帧的情况下，流程图300的过程结束。在可获得新的视频帧的情况下，在步骤S360中，设置t＝t+1，并重复执行从步骤S310至步骤S350的对应操作。

如上所述，根据本发明，可以寻找到能紧随环境变化而变化(即，正确或可信)的视觉元素模型，因此可修正场景模型中因环境变化而变得不正确或不可信的视觉元素模型。

下面，参照图6以一个人路过一街道为例，如图6中所示，视频帧631示出人610正在朝区域620移动，视频帧641示出人610已到达区域620，视频帧651示出人610已离开区域620。针对在区域620内的及周围的视觉元素，632、642和652例如示出了场景模型中的与其对应的视觉元素模型，其中，视觉元素模型661和663例如为对应于区域620的视觉元素模型。

假设视频帧631为先前视频帧，且在该先前视频帧中，视觉元素模型被确定为是背景视觉元素模型(也即，632中的“BG₀”～“BG₈”)。

假设视频帧641为当前视频帧，并且假设有2个视觉元素模型(也即，661和663)与区域620对应。其中，在当前视频帧中，视觉元素模型661被确定为是需要修正的视觉元素模型，视觉元素模型663被确定为是不需要修正的视觉元素模型。假设视觉元素模型662在当前视频帧和在先前视频帧中均被确定为是不需要修正的视觉元素模型。针对视觉元素模型661，假设视觉元素模型662是与视觉元素模型661相关联的参照视觉元素模型，从而，视觉元素模型661可根据本发明经由视觉元素模型662而被修正。

在视频帧651中，由于视觉元素模型661已根据本发明被修正，因此在人610离开区域620后，视觉元素模型661将被确定为是背景视觉元素模型而非被错误地确定为是前景视觉元素模型。其中，如果在该场景中应用背景技术中提到的方法而非应用本发明，在人610离开区域620后，视觉元素模型661将被错误地确定为是前景视觉元素模型。

如上所述，根据本发明修正的场景模型可用于前景检测，因此作为本发明的示例性应用，图7是例示根据本发明实施例的用于前景检测的图像处理装置700的构造的框图。其中，图7中所示的一些或全部模块可由专用硬件实现。如图7中所示，图像处理装置700包括获取单元210、确定单元220、修正单元230和前景检测单元710。

一方面，由于图7中所示的获取单元210、确定单元220、修正单元230和存储设备240与图2中所示的对应部分相同，因此这里将不再重复这些部分的详细描述。

另一方面，如图7所示，在修正单元230基于获取单元210获取的第t个视频帧对场景模型修正完后，前景检测单元710基于修正的场景模型，例如通过使用现有的背景减除技术，从第t个视频帧中检测前景。

进一步地，为了能进一步地改善前景检测的处理精度，除了可以修正场景模型中需要修正的视觉元素模型外，也可以进一步更新场景模型中无需修正的视觉元素模型。因此，图7所示的图像处理装置700可进一步地包括更新单元720。更新单元720基于第t个视频帧更新修正后的场景模型中无需修正的视觉元素模型。例如，直接用第t个视频帧中与无需修正的视觉元素模型对应的视觉元素的表观特征替换无需修正的视觉元素模型的表观特征。

在更新单元720更新完修正后的场景模型后，一方面，前景检测单元710基于更新的场景模型从第t个视频帧中检测前景。另一方面，更新单元720将更新的场景模型存储到存储设备240中以用于后续处理，例如，后续的场景模型的修正。

如上所述，根据本发明，可修正场景模型中因环境变化而变得不正确或不可信的视觉元素模型，从而也可有效地减少环境变化前景检测所带来的影响，因此可改善前景检测的处理精度。

此外，本发明可由计算机(例如，客户端服务器)实现或由监控器(例如，网络相机)实现。作为一种应用，针对如图7中所示的图像处理装置700，以其由客户端服务器实现为例，图8示出图像处理装置700的示例性应用系统800的布置。如图8中所示，系统800包括至少一个相机(例如，网络相机)810和图像处理装置700，其中所述至少一个相机810和图像处理装置700经由网络820相互连接。

如图8中所示，首先，相机810持续地捕获感兴趣的地方的视频并将捕获的视频经由网络820传输到图像处理装置700。

之后，图像处理装置700参照图2至图7修正场景模型并从捕获的视频中的视频帧检测出前景。

上述的所有单元都是用于实现本公开中所述处理的示例性和/或优选模块。这些单元可以是硬件单元(诸如，现场可编程门阵列(FPGA)、数字信号处理器、专用集成电路等)和/或软件模块(诸如，计算机可读程序)。上面没有详尽地描述用于实现各步骤的单元。然而，当存在执行特定过程的步骤的情况下，可以存在用于实现该同一过程的对应功能模块或单元(通过硬件和/或软件实现)。通过描述的步骤和对应于这些步骤的单元的所有组合的技术方案包括在本申请的公开内容中，只要它们所构成的技术方案是完整的、适用的即可。

可以以多种方式来实施本发明的方法和装置。例如，可以通过软件、硬件、固件或其任何组合来实施本发明的方法和装置。除非另有具体说明，否则本方法的步骤的上述顺序仅旨在是说明性的，并且本发明的方法的步骤不局限于上述具体描述的顺序。此外，在一些实施例中，本发明还可以被实施为在记录介质中记录的程序，其包括用于实现根据本发明的方法的机器可读指令。因此，本发明也覆盖存储用于实现根据本发明的方法的程序的记录介质。

虽然已经通过示例详细地展示了本发明的一些具体实施例，但是本领域的技术人员应该理解，上述示例仅旨在是说明性的，并不限制本发明的范围。本领域的技术人员应该理解，上述实施例可以在不脱离本发明的范围和精神的情况下被修改。本发明的范围由所附权利要求约束。

Claims (10)

1.一种图像处理装置，所述图像处理装置包括：

获取单元，基于输入视频获取当前视频帧和场景模型，其中所述场景模型包括至少代表视觉元素在所述当前视频帧及其先前视频帧中的表观特征的视觉元素模型；

确定单元，基于所述当前视频帧中的视觉元素，将所述场景模型中的视觉元素模型确定为需要修正的视觉元素模型和无需修正的视觉元素模型；及

修正单元，基于参照视觉元素模型修正所述需要修正的视觉元素模型；

其中，所述参照视觉元素模型是所述场景模型中在所述需要修正的视觉元素模型周围的、基于所述当前视频帧及其先前视频帧均被确定为无需修正的视觉元素模型的视觉元素模型，

其中，所述参照视觉元素模型与所述需要修正的视觉元素模型在所述先前视频帧中的表观特征之间的相似性满足预定条件。

2.根据权利要求1所述的图像处理装置，其中，对于所述当前视频帧中的任何一个视觉元素，基于该视觉元素的表观特征与所述场景模型中与该视觉元素对应的视觉元素模型的表观特征之间的差异，所述确定单元将所述与该视觉元素对应的视觉元素模型确定为所述需要修正的视觉元素模型或所述无需修正的视觉元素模型。

3.根据权利要求1所述的图像处理装置，其中，对于所述需要修正的视觉元素模型中的任何一个，所述修正单元基于与该需要修正的视觉元素模型相关联的参照视觉元素模型在所述当前视频帧中的表观特征和在所述先前视频帧中的表观特征之间的差异来修正该需要修正的视觉元素模型的表观特征。

4.根据权利要求1所述的图像处理装置，其中所述表观特征包括纹理特征、颜色特征、亮度特征中的任何一个。

5.根据权利要求1所述的图像处理装置，所述图像处理装置进一步包括：

前景检测单元，基于修正的场景模型，从所述当前视频帧中检测前景。

6.根据权利要求5所述的图像处理装置，所述图像处理装置进一步包括：

更新单元，基于所述当前视频帧更新所述修正的场景模型中无需修正的视觉元素模型；

其中，所述前景检测单元基于更新的场景模型从所述当前视频帧中检测所述前景。

7.一种图像处理方法，所述图像处理方法包括：

获取步骤，基于输入视频获取当前视频帧和场景模型，其中所述场景模型包括至少代表视觉元素在所述当前视频帧及其先前视频帧中的表观特征的视觉元素模型；

确定步骤，基于所述当前视频帧中的视觉元素，将所述场景模型中的视觉元素模型确定为需要修正的视觉元素模型和无需修正的视觉元素模型；及

修正步骤，基于参照视觉元素模型修正所述需要修正的视觉元素模型；

其中，所述参照视觉元素模型是所述场景模型中在所述需要修正的视觉元素模型周围的、基于所述当前视频帧及其先前视频帧均被确定为无需修正的视觉元素模型的视觉元素模型，

其中，所述参照视觉元素模型与所述需要修正的视觉元素模型在所述先前视频帧中的表观特征之间的相似性满足预定条件。

8.根据权利要求7所述的图像处理方法，其中，在所述确定步骤中，对于所述当前视频帧中的任何一个视觉元素，基于该视觉元素的表观特征与所述场景模型中与该视觉元素对应的视觉元素模型的表观特征之间的差异，所述与该视觉元素对应的视觉元素模型被确定为所述需要修正的视觉元素模型或所述无需修正的视觉元素模型。

9.根据权利要求7所述的图像处理方法，其中，在所述修正步骤中，对于所述需要修正的视觉元素模型中的任何一个，基于与该需要修正的视觉元素模型相关联的参照视觉元素模型在所述当前视频帧中的表观特征和在所述先前视频帧中的表观特征之间的差异来修正该需要修正的视觉元素模型的表观特征。

10.一种存储指令的存储介质，该指令在由处理器执行时能使得执行根据权利要求7-9中任一项所述的图像处理方法。

Images