CN104980622A - 图像处理装置及图像处理方法 - Google Patents

Abstract

本发明提供了一种图像处理装置及图像处理方法。所述图像处理装置包括：视频输入单元；区域分割单元，其被构造为将所述视频输入单元获取的图像分割为各自包括相似属性的像素的多个区域；特征提取单元，其被构造为从各个分割区域提取特征；背景模型存储单元，其被构造为预先存储由背景的特征生成的背景模型；以及特征比较单元，其被构造为将所提取的特征与所述背景模型中的特征进行比较，并且针对所述多个区域中的各个区域确定所述区域是否为背景。

Description

图像处理装置及图像处理方法

技术领域

本发明涉及图像处理装置及图像处理方法，具体地，涉及从运动图像中检测物体的技术。

背景技术

作为从照相机拍摄的图像中检测物体的技术，公开了背景差分法。在背景差分法中，固定的照相机来预先拍摄不具有任何被摄体的背景图像，并且将该图像的特征存储为背景模型。之后，获得背景模型中的特征与从照相机输入的图像中的特征之间的差分，并且不同的区域被检测为前景(物体)。

例如，在专利文献1(特许第2950267号)中，使用像素值作为特征生成背景模型，并且以像素单位计算差分，从而检测物体。当以像素单位生成背景模型时，存储器消耗和处理成本随着分辨率上升而增加。为了防止这种情况，在专利文献2(特许第4653155号)中，输入图像被分割为8×8像素块，并且作为DCT(离散余弦变换)的编码结果的DCT系数被用作特征。

然而，在背景差分法中，因为假定照相机要被固定，所以在照相机由于振动等而移动的情况下出现以下问题。即，在即使在图像中没有任何物体，照相机的运动也使输入图像偏移的情况下，同一坐标处的图像内容在专利文献1的方法中时间上连续的输入图像之间改变。例如，在红门与蓝墙之间的边界附近的像素中，像素值从红色突然地改变为蓝色。另外，在专利文献2的方法中，在包括红门与蓝墙之间的边界的块中，块中包括的红色像素与蓝色像素的比率改变。结果，在专利文献1的方法和专利文献2的方法两者中，在背景中包括强边缘的边界附近发生检测错误。

在专利文献1的方法中，因为仅同一像素值的像素的坐标偏移，所以能够通过向比较对象添加邻近像素来防止检测错误。然而，这种方法无法解决存储器容量和处理成本的问题。专利文献2的方法能够抑制存储器容量和处理成本。然而，因为块的特征本身改变，所以无法解决检测错误的问题。因此，在不增加存储器消耗和处理成本的情况下，传统技术无法避免由于照相机的运动引起输入图像的偏移而产生的检测错误。

发明内容

鉴于上述问题作出了本发明，本发明提供了用于在不增加存储器消耗和处理成本的情况下实现避免由于摄像设备的运动引起输入图像的偏移而发生的检测错误的技术。

根据本发明的第一方面，提供一种图像处理装置，所述图像处理装置包括：视频输入单元；区域分割单元，其被构造为将所述视频输入单元获取的图像分割为各自包括相似属性的像素的多个区域；特征提取单元，其被构造为从所述区域分割单元分割的各个区域中提取特征；背景模型存储单元，其被构造为预先存储由背景的特征生成的背景模型；以及特征比较单元，其被构造为将所述特征提取单元提取的特征与所述背景模型中的特征进行比较，并且针对所述多个区域中的各个区域确定所述区域是否为背景。

根据本发明的第二方面，提供一种图像处理装置进行的图像处理方法，所述图像处理方法包括：区域分割步骤，将获取的图像分割为各自包括相似属性的像素的多个区域；特征提取步骤，从在所述区域分割步骤中分割的各个区域中提取特征；以及特征比较步骤，将在所述特征提取步骤中提取的特征与由背景的特征生成的背景模型中的特征进行比较，并且针对所述多个区域中的各个区域确定所述区域是否为背景。

根据以下(参照附图)对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是示出计算机的硬件结构的示例的框图；

图2是示出图像处理装置的功能结构的示例的框图；

图3是图像处理装置进行的处理的流程图；

图4是示出选择邻近区域的处理的详情的流程图；以及

图5A至图5C是用于说明根据稳定性获得阈值的方法以及根据稳定性获得阈值的意义的图。

具体实施方式

现在将参照附图描述本发明的实施例。注意，以下要描述的实施例是本发明的具体实施方式的示例或者是所附权利要求中描述的结构的具体示例。

[第一实施例]

在本实施例中，将描述依次获得运动图像的各帧的图像并从所所获取的图像中检测包括物体的区域的图像处理装置的模式。首先，将参照图2的框图说明根据本实施例的图像处理装置的功能结构的示例。注意，图2中所示的结构仅为示例，可以采用实现等于或大于图2中的功能的任何其他结构。

视频输入单元201依次获取运动图像的各帧的图像(帧图像)，并且将所获取的帧图像发送到后段的区域分割单元202。可以从摄像机依次发送各帧的图像，或者通过诸如流的技术从外部装置依次传送各帧的图像。

区域分割单元202将从视频输入单元201接收到的各帧图像分割为相似图像特征(属性)的区域。特征提取单元203进行从区域分割单元202分割的各区域提取图像特征的处理。邻近区域选择单元205从背景模型存储单元204中存储的区域的信息中，读出区域分割单元202分割的各区域的邻近区域的信息，并且将读出信息发送到特征比较单元206。

针对区域分割单元202分割的各区域，特征比较单元206将从该区域提取的图像特征，与邻近区域选择单元205从背景模型存储单元204读出的关于该区域的信息，进行比较。

根据特征比较单元206的比较结果，物体区域输出单元207在针对帧图像分割的区域当中指定包括物体的区域，并且输出关于所指定的区域的信息。

特征更新单元208和稳定性计算单元209更新背景模型存储单元204中存储的背景模型。

接下来，将参照示出了根据本实施例的图像处理装置进行的从帧图像提取包括物体的区域的处理的流程图的图3描述该处理。

在步骤S301中，视频输入单元201获取与一帧相对应的帧图像，并且将所获取的帧图像发送到后段的区域分割单元202。

在步骤S302中，区域分割单元202将从视频输入单元201接收到的帧图像分割为相似图像特征的区域。近年来，提出了将图像分割为子区域(称为超像素(Superpixel))的方法，各子区域由具有相似图像特征(诸如亮度或颜色)的像素组形成(例如，参照非专利文献1(RadhakrishnaAchanta,Appu Shaji,Kevin Smith,Aurelien Lucchi,Pascal Fua,and SabineSusstrunk,"SLIC Superpixels",EPFL Technical Report 149300,June 2010)和非特许文献2(Felzenszwalb,P.,Huttenlocher,D.,"Efficient graph-basedimage segmentation",International Journal of Computer Vision,2004))。

虽然超像素的大小几乎恒定(非专利文献1)或者主要依据图像的内容而改变(非专利文献2)，但是图像分割方法具有以下共同特性。即，在超像素分割中，由于具有相似亮度或颜色的像素被放在一起，因此图像在亮度或颜色大改变的强边缘部分被分割。在图像中包括的物体的边界处观察到强边缘。因此，物体的边界附近的超像素的边界与物体的边界匹配。在本实施例中，使用这种超像素的特性。

在将帧图像分割为相似图像特征的区域(即，超像素)之后，区域分割单元202将像素所属的超像素固有的标签编号分配给帧图像的各像素，并且将该区域在帧图像中的重心位置登记在图像处理装置管理的存储器中。

在步骤S303中，特征提取单元203从区域分割单元202分割的各超像素中提取图像特征。当以超像素为单位提取图像特征时，即使当伴随用于拍摄运动图像的摄像设备的运动，帧图像中发生偏移时，图像特征也不改变。在上述红门与蓝墙之间的边界的示例中，即使当帧图像中发生偏移时，超像素的边界也总存在于红门与蓝墙之间的边界处。为此，不从红色和蓝色混合的超像素中提取图像特征。因此，可以提取甚至在物体边界附近的帧图像之间的恒定特征。

在本实施例中，作为要从超像素提取的图像特征，使用作为超像素中的各像素的颜色分量的平均像素值(例如，针对R、G和B分量中的各个分量的平均像素值)的颜色特征。可以以颜色分量为单位分割RGB颜色空间等，并且可以生成超像素中的各像素的颜色值的直方图。颜色空间并非特别限定于RGB颜色空间，可以使用YCbCr或CIE LAB颜色空间。当然，一些其他值也可以用作颜色特征。

在本实施例中，作为要从超像素提取的图像特征，也使用作为定义超像素的形状的信息的形状特征。“定义超像素的形状的信息”可以是例如超像素的边界上的像素的像素位置、超像素中的各像素的像素位置、或者超像素中的像素数(超像素的面积)。

作为另选方案，可以使用在具有预定边缘强度以上的区域边界上的像素数与周长的比率，作为图像特征。如稍后所述，由强边缘包围的超像素被认为是稳定的，因此，该边缘可以被视为具有超像素的形状的特征。当各像素的像素位置被表达为(x，y)时的x坐标的二次矩和y坐标的二次矩为xy矩，或者可以使用边界线的傅里叶描述子。

使用分配给帧图像的各像素的标签编号，特征提取单元203指定分配了同一标签编号的像素组的区域，即超像素，并且从所指定的超像素中提取图像特征(颜色特征和形状特征)。针对帧图像的各超像素，特征提取单元203将从超像素中提取的n(n是整数，n≥2)个图像特征登记在上述存储器中，作为n维特征向量(在以上示例中，由超像素中的各像素的颜色分量的平均像素值形成的4维向量和定义超像素的形状的信息(在这种情况下为面积))。

在步骤S304的处理的说明之前，将描述背景模型存储单元204保持的信息。在背景模型存储单元204中，各超像素的图像特征的时间统计(包括稳定性)与超像素的标签编号和重心位置一起被登记作为背景模型。

“稳定性”是表示超像素在时间上的稳定性的程度的量。在运动图像中，照明、白平衡、噪声等改变。因此，即使位于帧图像之间的同一位置处的像素也具有不同的亮度和颜色。当运动图像的各帧图像被分割为超像素时，各超像素如下。如上所述，由于具有强边缘的物体边界与超像素的边界匹配，因此在帧图像之间，即使当超像素的颜色特征改变时，形状特征也几乎不改变。然而，在没有亮度或颜色适度变化的强边缘的区域(例如，不均匀照明的地毯地板)中，在帧图像之间，超像素的形状特征容易改变。这是因为各像素的亮度或颜色的轻微变化也影响超像素分割结果。结果，超像素中包括的颜色的比率也改变。即，当超像素变得不稳定，容易生成图像特征之间的差异，并且由于照明的变化可能发生检测错误。因此，稳定性由当暂时观察到超像素的图像特征时的变化程度表示。在本实施例中，将描述通过高斯模型近似计算与特定区域相对应的超像素中的图像特征的各元素的概率分布的方法，作为稳定性的获得方法。注意，为了便于描述，这里将关注一个超像素(超像素X)，并且以同样的方式处理所有超像素。令F_t(n维)为第t帧的超像素X的特征向量，则概率密度函数η由下式给出。

$\mathrm{\η}(F_t,{\mathrm{\μ}}_t,{\mathrm{\Σ}}_t)\frac{1}{{\left(2\mathrm{\π}\right)}^{\frac{n}{2}}{\left|{\mathrm{\Σ}}_t\right|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}}{(F_t-{\mathrm{\μ}}_t)}^T{{\mathrm{\Σ}}_t}^{-1}(F_t-{\mathrm{\μ}}_t)...\left(1\right)$

注意，n是特征向量的维数，μ_t是直到第t帧的帧中的超像素X的特征向量的平均向量(n维)，Σ_t是平均向量的协方差矩阵(n×n维)。下标t表示第t帧。如稍后所述，以帧为单位更新μ_t和Σ_t。注意，在本实施例中，由四维元素(即，超像素中作为颜色特征的RGB各分量的平均值和作为形状特征的面积)构成特征向量F_t。为了便于操作，假定特征向量F_t的各维数互相独立，颜色特征取同一值σ_c,t作为所有分量中的标准偏差，并且形状特征的标准偏差为σ_s,t。

${\mathrm{\Σ}}_t=\left(\begin{array}{cccc}{\mathrm{\σ}}_{c,t}^2& 0& 0& 0\\ 0& {\mathrm{\σ}}_{c,t}^2& 0& 0\\ 0& 0& {\mathrm{\σ}}_{c,t}^2& 0\\ 0& 0& 0& {\mathrm{\σ}}_{s,t}^2\end{array}\right)...\left(2\right)$

σ_c,t和σ_s,t越小，超像素越稳定。因此，这些值被用作稳定性。在本实施例中，假定各超像素的背景模型包括超像素的平均向量μ_t、超像素中的图像特征的标准偏差σ_c,t和σ_s,t(稳定性)、以及超像素的标签编号和重心坐标。

将参照图4的流程图描述基于上述假定由邻近区域选择单元205进行的邻近区域的选择处理。注意，图4的流程图示出了帧图像中的一个超像素(关注超像素)的处理。实际上，针对帧图像中的各超像素执行根据图4的流程图的处理。

在步骤S401中，读出尚未从背景模型存储单元204中读出的超像素的重心位置。如上所述，各超像素的重心位置被登记在背景模型存储单元204中。因此，在该步骤中，读出尚未读出的重心位置。在图4的流程图中，每次执行步骤S401的处理时，例如以标签编号的升序读出一个相应的重心位置。

在步骤S402中，获得关注超像素与步骤S401中读出的重心位置之间的距离。这里，获得重心位置之间的欧几里得(Euclidean)距离。然而，例如，可以获得两个超像素的交叠面积与该两个超像素中的一个的面积的比率。

在步骤S403中，从背景模型存储单元204读出与在与步骤S401中读出的重心位置相同的背景模型中包括的稳定性。例如，当在步骤S401中读出具有标签编号＝1的超像素的重心位置时，在步骤S403中读出具有标签编号＝1的超像素的稳定性。

在步骤S404中，根据在步骤S403中读出的稳定性获得阈值。注意，稍后将描述根据稳定性获得阈值的方法和根据稳定性获得阈值的意义。

在步骤S405中，将在步骤S402中获得的距离与在步骤S404中获得的阈值进行比较。作为比较的结果，如果在步骤S402中获得的距离小于在步骤S404中获得的阈值，则处理前进到步骤S406。如果在步骤S402中获得的距离大于在步骤S404中获得的阈值，则处理前进到步骤S407。

在步骤S406中，将与在步骤S401中读出的重心位置相同的背景模型中包括的标签编号登记在图像处理装置的存储器(未示出)中。例如，当在步骤S401中读出具有标签编号＝1的超像素的重心位置时，在步骤S406中将标签编号＝1登记在存储器中。

这里，将参照图5A至图5C描述根据稳定性获得阈值的方法和根据稳定性获得阈值的意义。如果阈值与稳定性无关是固定的，则发生以下问题。假定具有重心位置503的超像素501和具有重心位置504的超像素502位于如图5A所示。超像素501在水平方向上具有非常短的宽度。假定在从图5A所示的状态偏移的摄像位置和方向处拍摄的帧图像是图5B所示的帧图像。此时，超像素501改变为超像素505，重心位置507从重心位置503稍微偏移。此外，超像素502改变为超像素506，重心位置508从重心位置504稍微偏移。

图5C示出了图5A和图5B交叠的状态。如果阈值固定，则能够设置具有重心位置503作为圆心和阈值作为半径的圆509以及具有重心位置504作为圆心和阈值作为半径的圆510。当选择超像素505作为关注超像素时，重心位置507位于圆510中，即位于距重心位置504阈值的距离以内。此时，在步骤S406中，将超像素502的标签编号登记在存储器中，作为接近于超像素505的超像素的标签编号。然而，将超像素501的标签编号登记在存储器中是原本正确的。如上所述，针对具有比阈值小的宽度的超像素，可能无法选择正确的超像素。

为了应付这种情况，使阈值变大，从更宽范围中选择与关注超像素相对应的超像素。然而，如果超像素不稳定，则与背景模型不对应的超像素可能偶然具有相似形状，从而导致检测错误。因此，使用形状特征的稳定性(标准偏差)σ_s,t，通过下式决定阈值T1。

$T1=S+\mathrm{\α}\·\frac{1}{{\mathrm{\σ}}_{s,t}^2}...\left(3\right)$

这里，S为重心位置的平均间隔，α为预定阈值。令N为图像的总像素数，K为从一个图像分割的超像素数，通过S＝√(N/K)能够获得S。超像素的形状越稳定，所提取的特征量越稳定。为此，即使当选择超像素时，特征比较单元206和物体区域输出单元207也能够进行正确确定。因此，稳定性越高，能够进行选择的范围越宽。在式(3)中形状越稳定，σ_s,t越小。为此，阈值变大，能够将更宽范围处理为邻近。然而，根据稳定性获得阈值的方法不限于以上方法，只要能够获得具有这种特性的阈值即可。

返回参照图4，在步骤S407中，确定背景模型存储单元204中存储的所有超像素的背景模型是否经历了步骤S401至步骤S406的处理。在确定在背景模型存储单元204中存储的所有超像素的背景模型经历了步骤S401至步骤S406的处理时，处理前进到步骤S305。另一方面，如果尚未经历步骤S401至步骤S406的处理的背景模型保留在背景模型存储单元204中存储的所有超像素的背景模型中，则处理返回到步骤S401。

当执行根据图4的流程图的处理时，能够将背景模型存储单元204中存储的超像素的背景模型当中的、位于关注超像素的邻近的超像素的背景模型中的标签编号登记在存储器中。

返回参照图3，接下来，在步骤S305中，特征比较单元206将从帧图像的各超像素获取的特征向量与和关于超像素的存储器中登记的标签编号相同的背景模型中包括的平均向量进行比较。

具体而言，如果针对帧图像中的关注超像素，同时满足以下式(4)和式(5)，则确定关注超像素为背景。

对于颜色特征(i＝1到3)，

|F_t，i-μ_t，i|＜k·σ_c，t    ...(4)

对于形状特征(i＝4)，

|F_t，i-μ_t，i|＜l·σ_s，t    ...(5)

在不等式(4)和(5)中，F_t是帧图像的关注超像素的特征向量，μ_t是与关于关注超像素的存储器中登记的标签编号相同的背景模型中包括的平均向量。另外，i表示n维向量的第i维，k和l是预定常数。

如上所述，超像素越不稳定(σ_c,t和σ_s,t越大)，越容易生成特征之间的差分。因此，如不等式(4)和(5)所示，根据σ_c,t和σ_s,t来获得阈值，以使得允许大的差分。这能够防止不稳定超像素引起的检测错误。

在本实施例中，将颜色特征和形状特征两者用作特征。如果仅使用颜色特征，并且具有类似于要检测的物体的超像素的颜色的超像素存在于背景上，则发生检测错误。例如，如果穿红色衬衫的人在红色花瓶的前面经过，则尽管形状明显不同，但是具有相似颜色的超像素被确定为背景。各超像素的形状反映物体的形状。因此，能够通过使用形状特征防止检测错误。注意，关于关注超像素，如果在存储器中登记了多个标签编号，则在多个标签编号当中，采用相同的背景模型中包括的标签编号，被作为距关注超像素的重心位置最小距离的重心位置。

当针对帧图像中的各超像素进行这种处理时，能够确定超像素是否为背景。

在步骤S306中，物体区域输出单元207生成并输出表示在帧图像的超像素中未被确定为背景的超像素的信息，即，被确定为包括物体的超像素。例如，针对帧图像的各像素，如果像素属于被确定为背景的超像素，则分配值“0”。如果像素属于未被确定为背景的超像素，则分配值“1”。根据分配给帧图像的像素的值形成的图像被输出作为掩模图像。在该掩模图像中，由分配了值“1”的像素形成的区域是尚未被确定为背景的超像素，即，被确定为包括物体的区域的超像素。

在步骤S307中，在背景模型存储单元204中登记的超像素的平均向量μ_t当中，特征更新单元208更新用于与帧图像中的被确定为背景的超像素的特征向量进行比较的平均向量μ_t。根据下式进行该更新。

μ_t＝(1-ρ)μ_t-1+ρF_t    ...(6)

式(1)的计算结果η的值用作ρ。例如，假定，关于被确定为帧图像的背景的超像素A，在步骤S304中，超像素P和超像素Q的标签编号被登记在存储器中，并且与超像素P的重心位置相比，超像素Q的重心位置更接近于超像素A的重心位置。在这种情况下，使用超像素A的特征向量来更新超像素Q的平均向量。注意，作为μ_t的初始值μ_t，从第一次输入的帧图像获取的特征向量被直接用作μ_t。

在步骤S308中，稳定性计算单元209以超像素为单位计算表示图像特征相对于时间轴是否稳定的值作为稳定性。稳定性被计算作为以高斯模型表达的标准偏差σ，如上所述。在启动时赋予稳定性适当的初始值，并且根据下式(7)和(8)更新各帧的稳定性。

针对颜色特征(i＝1到3)，

${\mathrm{\σ}}_{c,t}^2=(1-\mathrm{\ρ}){\mathrm{\σ}}_{c,t-1}^2+\mathrm{\ρ}{(F_t-{\mathrm{\μ}}_t)}^T(F_t-{\mathrm{\μ}}_t)...\left(7\right)$

针对形状特征(i＝4)，

${\mathrm{\σ}}_{s,t}^2=(1-\mathrm{\ρ}){\mathrm{\σ}}_{s,t-1}^2+\mathrm{\ρ}{(F_t-{\mathrm{\μ}}_t)}^T(F_t-{\mathrm{\μ}}_t)...\left(8\right)$

注意，通过式(6)的更新结果用作μ_t。在第t帧中特征向量F_t与平均向量μ_t之间的差分(F_t-μ_t)是表示特征向量的稳定性的程度的量。即，如果小的差分继续，则特征向量被视为稳定。这反映在根据直到第(t-1)帧的特征向量计算出的σ_t-1上，从而获得在时间方向上表示特征向量的稳定性的σ_c,t和σ_s,t。式(1)的计算结果用作ρ。注意，σ_c,t和σ_s,t的初始值被设置为σ_c,t＝0和σ_s,t＝0。

如上所述，在本实施例中，视频输入获取的图像被分割为各自包括相似属性的像素的多个子区域(区域分割)。基于该属性从各分割的子区域提取特征(特征提取)。另一方面，预先存储根据所提取的特征形成的背景模型(背景模型存储)。将通过特征提取提取的特征与背景模型中的特征进行比较，从而针对各子区域确定所述子区域是否为背景(特征比较)。

利用这种结构，能够解决传统技术中由照相机的运动引起的问题。分割图像以抑制存储器消耗和处理成本。进行这种分割使得不是形状或颜色而是诸如包括的像素的颜色的属性在分割区域中为均一的(超像素分割)。因为基于同一属性提取特征量，即使发生画面偏移，物体边界附近的特征也不改变，所以能够避免检测错误。

另外，使用超像素边界处的形状特征，从而即使当超像素中的颜色特征在背景模型与输入图像之间相似时，也能够防止检测错误。通过引入超像素的稳定性并且根据稳定性在特征量比较时改变阈值或者改变邻近区域选择的范围，也能够解决由超像素的不稳定性引起的问题。

[第二实施例]

图2所示的功能单元可以被容纳在一个图像处理装置中。然而，一个或更多个功能单元也可以被包括在外部设备中。在这种情况下，图像处理装置需要经由网络连接到外部设备以可进行数据通信。当然，图2所示的功能单元可以被一起放在一个芯片上。

另外，如果图2所示的结构为包括用作背景模型存储单元204的存储器和处理器、以及能够执行使得处理器执行图2中的背景模型存储单元204以外的功能单元的功能的计算机程序的处理器的计算机，则其能够被用作具有图2所示的结构的图像处理装置。将参照图1的框图描述这种计算机的硬件结构的示例。注意，图1所示的结构仅为适用于第一实施例中描述的图像处理装置的计算机的示例，可以采用实施等于或大于第一实施例中描述的图像形成装置的功能的功能的任何其他结构。

CPU 101使用ROM 102或RAM 103中存储的计算机程序和数据，执行各种处理，从而控制计算机的操作。CPU 101还执行被说明作为第一实施例中描述的图像处理装置要执行的处理的各处理。

ROM 102存储计算机的设置数据、引导程序等。RAM 103包括存储从二次存储设备104加载的计算机程序和数据、从图像输入设备105输入的各帧的图像、以及经由网络I/F(接口)108从外部接收到的数据的区域。RAM 103还包括CPU 101用来执行各种处理的工作区域。即，RAM103能够适当地提供各种区域。

二次存储设备104是以硬盘驱动器为代表的大容量信息存储设备。二次存储设备104存储OS(操作系统)、计算机程序和数据，该计算机程序和数据被构造为使CPU 101实现图2中的背景模型存储单元204以外的功能单元的功能。该数据还包括在以上描述中被处理作为已知信息的信息。在CPU 101的控制下，二次存储设备104中存储的计算机程序和数据被适当地加载到RAM 103并且由CPU 101处理。注意，诸如在第一实施例中被描述为存储器的背景模型存储单元204的单元能够由RAM103或二次存储设备104构成。

图像输入设备105是被构造为将运动图像的各帧的图像输入到计算机的设备(例如，摄影机)。

输入设备106由键盘或鼠标构成，并且能够在计算机的用户操作时向CPU 101输入各种指令。

显示设备107由CRT或液晶画面构成，并且能够显示CPU 101的处理结果(例如图像或字符)。例如，能够显示图像输入设备105向计算机输入的各帧的图像或图像中的物体检测的结果。

网络I/F 108用于将计算机连接到诸如LAN或因特网的网络。计算机能够经由网络I/F 108与外部设备进行数据通信。当然，可以通过诸如流的技术从外部设备向计算机发送被说明作为图像输入设备105输入的图像的各帧的图像。在这种情况下，经由网络I/F 108将各帧的图像输入到计算机。所有上述单元连接到总线109。

其他实施例

本发明的实施例还可以通过读出并执行记录在存储介质(还可以全称为“非暂时性计算机可读存储介质”)上的用于执行一个或更多个上述实施例的功能的计算机可执行指令(例如，一个或更多个程序)、和/或包括用于执行一个或更多个上述实施例的功能的一个或更多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机来实现，以及通过由系统或装置的计算机通过例如从存储介质读出并执行用于执行一个或更多个上述实施例的功能的计算机可执行指令、和/或控制一个或更多个电路来执行一个或更多个上述实施例的功能来执行的方法来实现。计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括读出并执行计算机可执行指令的独立的计算机或独立的计算机处理器的网络。计算机可执行指令可以例如从网络或存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)^TM)、闪存设备、存储卡等中的一个或更多个。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然参照示例性实施例已经对本发明进行了描述，但是应当理解，本发明不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (11)

1.一种图像处理装置，所述图像处理装置包括：

视频输入单元；

区域分割单元，其被构造为将所述视频输入单元获取的图像分割为各自包括相似属性的像素的多个区域；

特征提取单元，其被构造为从所述区域分割单元分割的各个区域中提取特征；

背景模型存储单元，其被构造为预先存储由背景的特征生成的背景模型；以及

特征比较单元，其被构造为将所述特征提取单元提取的特征与所述背景模型中的特征进行比较，并且针对所述多个区域中的各个区域确定所述区域是否为背景。

2.根据权利要求1所述的图像处理装置，其中，所述属性包括颜色和亮度中的至少一者。

3.根据权利要求1所述的图像处理装置，其中，所述特征提取单元提取的特征包括所述区域的形状特征。

4.根据权利要求3所述的图像处理装置，其中，所述形状特征为具有不小于预定值的边缘强度的区域边界的长度与所述区域的边界的周长的比率。

5.根据权利要求3所述的图像处理装置，其中，所述形状特征包括所述区域的边界上的像素的像素位置、所述区域中的各个像素的像素位置、所述区域中的像素数以及所述区域的面积中的至少一者。

6.根据权利要求1所述的图像处理装置，其中，所述背景模型包括所述特征提取单元从背景的区域提取的特征的时间统计。

7.根据权利要求6所述的图像处理装置，所述图像处理装置还包括：

稳定性计算单元，其被构造为计算表示从所述区域提取的特征在时间上稳定的稳定性，

其中，所述背景模型的时间统计包括所述稳定性，并且

所述特征比较单元基于所述稳定性确定所述区域是否为物体区域。

8.根据权利要求7所述的图像处理装置，所述图像处理装置还包括：

选择单元，其被构造为基于所述稳定性，从所述视频输入单元获取的图像的区域的邻近，选择所述特征比较单元要比较的、所述背景模型中的区域。

9.根据权利要求8所述的图像处理装置，其中，所述选择单元基于所述稳定性设置所获取的图像的区域的邻近。

10.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：

输出单元，其被构造为基于所述特征比较单元的确定结果输出物体区域。

11.一种图像处理装置进行的图像处理方法，所述图像处理方法包括：

区域分割步骤，将获取的图像分割为各自包括相似属性的像素的多个区域；

特征提取步骤，从在所述区域分割步骤中分割的各个区域中提取特征；以及

特征比较步骤，将在所述特征提取步骤中提取的特征与由背景的特征生成的背景模型中的特征进行比较，并且针对所述多个区域中的各个区域确定所述区域是否为背景。