CN101620734B - 运动检测方法及装置、背景模型建立方法及装置 - Google Patents

Abstract

本发明公开了一种运动检测方法，包括：将训练用的背景图像序列的当前训练区域序列表示为一个高阶张量；对所述张量进行高阶奇异值分解，得到所述张量的张量子空间；利用所述张量子空间对当前待检图像的对应待检区域进行运动检测。此外，本发明还公开了一种运动检测装置、以及背景模型建立方法和装置。本发明所公开的技术方案能够提高运动检测的准确性。

Description

运动检测方法及装置、背景模型建立方法及装置

技术领域

本发明涉及运动检测技术，尤其涉及一种运动检测方法和装置、以及背景模型建立方法和装置。

背景技术

运动检测（Motion Detection）是计算机视觉（Computer Vision）研究的重要领域，在视频监控和智能交通等领域有着广泛的应用。目前的运动检测方法主要包括基于像素点的检测方法和基于区域的检测方法。

现有技术中，基于像素点的检测方法，如混合高斯运动检测方法（MoG），仅仅独立考虑每个像素点的信息而忽略了图像区域中的各个像素点之间的相关性，丢失了很多有价值的信息；并且通常对所有像素点都进行处理，运算量大，不利于实时应用。基于区域的检测方法，如特征背景方法（EigenBackground），先收集训练背景图像，然后使用主分量分析（也称主成分分析，PCA）技术提取背景图像的特征来描述背景，但PCA技术忽略了训练背景图像序列的时间特性，因此训练得到的背景模型失去了背景图像序列时间上的特征，进而影响了运动检测的准确性。

发明内容

有鉴于此，本发明中一方面提供一种运动检测方法和装置，另一方面提供一种背景模型建立方法和装置，以提高运动检测的准确性。

本发明所提供的运动检测方法，包括：

A、将训练用的背景图像序列的当前训练区域序列表示为一个高阶张量；

B、对所述张量进行高阶奇异值分解，得到所述张量的张量子空间；

C、利用所述张量子空间对当前待检图像的对应待检区域进行运动检测；

所述步骤C包括：

从所述训练用的背景图像序列的当前训练区域序列中选取一个训练区域作为当前基准区域，或将所述当前训练区域序列中对应像素点的均值所构成的均值图像区域作为基准区域；

计算所述基准区域在所述张量子空间上的投影，得到第一投影；

计算当前待检图像的对应待检区域在所述张量子空间上的投影，得到第二投影；

计算所述第一投影和第二投影之间的距离值，将所述距离值与设定的条件进行匹配，根据匹配结果确定运动目标是否出现。

本发明所提供的运动检测装置，包括：

张量子空间计算单元，用于将训练用的背景图像序列的当前训练区域序列表示为一个高阶张量，对所述张量进行高阶奇异值分解，得到所述张量的张量子空间；

运动检测单元，用于利用所述张量子空间对当前待检图像的对应待检区域进行运动检测；

所述运动检测单元包括：

基准区域确定单元，用于从所述训练用的背景图像序列的当前训练区域序列中选取一个训练区域作为基准区域，或将所述当前训练区域序列中对应像素点的均值所构成的均值图像作为基准区域；

投影计算单元，用于计算所述基准区域在所述张量子空间上的投影，得到第一投影；计算当前待检图像的对应待检区域在所述张量子空间上的投影，得到第二投影；

第一结果确定单元，用于计算所述第一投影和第二投影之间的距离值，将所述第一投影和第二投影之间的距离值与设定的条件进行匹配，根据匹配结果确定运动目标是否出现。

从上述方案可以看出，本发明中基于张量分析的方法，将收集的背景图像序列或其划分为图像块之后的每个图像块序列表示为一个高阶张量，并计算该张量的张量子空间，利用该张量子空间对当前待检图像或其划分为图像块之后的对应待检图像块进行运动检测。由于高阶张量包含有背景图像序列时间上的特性，因此基于这种张量分析的运动检测不仅提取了背景图像的空间特性，还提取了背景图像的时间特性，由于充分考虑了背景图像的时空特性，因此基于这种张量分析的运动检测提高了运动检测的准确性。

附图说明

图1为本发明实施例中运动检测方法的示例性流程图；

图2为本发明实施例中张量A的示意图；

图3为本发明实施例中张量A的各模式示意图；

图4为本发明实施例中张量A的各模式展开示意图；

图5为本发明实施例中运动检测装置的示例性结构图；

图6a和图6b为图5所示装置中运动检测单元的结构示意图；

图7为本发明实施例中背景模型的建立装置的示例性结构图。

具体实施方式

为了将背景图像序列时间上的特性考虑进来，本发明实施例中引入了数学领域中的张量（Tensor）的概念，张量可以视为一种高维的矩阵，用高阶张量表示背景图像序列时，不仅可以体现背景图像序列的空间特性，还可以体现背景图像序列的时间特性。因此，具体实现时，可将训练用的背景图像序列表示为一个高阶张量，然后计算该张量的张量子空间，利用该张量子空间对当前待检图像进行运动检测。

上述过程中，运动检测是以整个图像为单位进行的，为了降低运算复杂度，本发明实施例中还可首先将训练用的背景图像序列分成多个图像块序列（如多个大小相等的图像块序列），相应地，将当前待检图像也划分为与每个背景图像对应大小和数量的多个待检图像块，之后以图像块为单位进行运动检测，即对背景图像序列的每个图像块序列，将其表示为一个高阶张量，然后计算该张量的张量子空间，利用该张量子空间对当前待检图像的对应待检图像块进行运动检测。

具体实现时，以整个图像为单位进行处理或以图像的每个图像块为单位进行处理均是可以的。

为描述方便，下面将以整个图像为单位时的背景图像或以图像的每个图像块为单位时的背景图像块统称为背景图像的训练区域，并将以整个图像为单位时的待检图像或以图像的每个图像块为单位时的对应待检图像块统称为待检图像的对应待检区域。

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明进一步详细说明。

图1为本发明实施例中运动检测方法的示例性流程图。如图1所示，该流程包括如下步骤：

步骤101，将训练用的背景图像序列的当前训练区域序列表示为一个高阶张量。

下面以训练区域对应整个图像，并且高阶张量为三阶张量的情况为例进行描述。

首先收集训练用的背景图像序列，假设该背景图像序列包括I₃幅背景图像，每幅背景图像包括I₁行、I₂列像素点，则可将该背景图像序列表示为如图2所示的一个三阶张量A，（图中的虚线仅表示多个的意思，并非表示图中示出的三个）。该张量的维数记为I₁×I₂×I₃，其中的任意一个元素可以表示为

。

步骤102，对所述张量进行高阶奇异值分解，得到所述张量的张量子空间。

本步骤中，以图2所示张量A为例，由于该张量A是个三阶张量，因此张量A共有3种模式，如图3所示（图中的虚线仅表示多个的意思，并非表示图中示出的三个），则对张量A进行高阶奇异值分解，得到张量子空间的方法可以是：分别计算张量A三个模式的展开，得到如图4所示（图中的虚线仅表示多个的意思，并非表示图中示出的三个）的A₍₁₎、A₍₂₎和A₍₃₎，分别计算A₍₁₎、A₍₂₎和A₍₃₎的奇异值分解A_(n)＝U⁽ⁿ⁾ΣV^T，n=1,2,3，得到三个正交矩阵U⁽¹⁾,U⁽²⁾,U⁽³⁾。U⁽¹⁾,U⁽²⁾,U⁽³⁾即为张量A的张量子空间，构成张量A的每幅背景图像均可以用该张量子空间来唯一的表示。具体实现过程可如下所示：

for n=1到3

1、计算A的n模式展开A_(n)；

2、计算A_(n)的奇异值分解（SVD）：A_(n)＝U⁽ⁿ⁾ΣV^T；

3、提取U⁽ⁿ⁾。

end

其中，U⁽¹⁾是一个维数为J₁×I₁的矩阵，U⁽²⁾是一个维数为J₂×I₂的矩阵，U⁽³⁾是一个维数为J₃×I₃的矩阵，J₁,J₂,J₃分别表示矩阵U⁽¹⁾，U⁽²⁾，U⁽³⁾的秩，可以根据张量A的维数确定。

对于N阶张量，则本步骤中，可首先计算张量各模式的展开A_(n)，然后计算A_(n)的奇异值分解A_(n)＝U⁽ⁿ⁾ΣV^T，得到正交矩阵U⁽ⁿ⁾，其中，n=1,2,…,N。其中，N是大于1的自然数。

步骤103，利用所述张量子空间对当前待检图像的对应待检区域进行运动检测。

对于任意一幅待检测图像，可以将其表示为一个维数为I₁×I₂×1的三阶张量A_t，A_t在张量子空间U⁽¹⁾,U⁽²⁾,U⁽³⁾中的投影为：

(1)

其中，

分别表示矩阵U⁽¹⁾,U⁽²⁾,U⁽³⁾的转置，B_t也是一个张量，其维数为J₁×J₂×1，×表示张量与矩阵的乘积运算，其详细定义可以参考相关数学手册。如参考文献1：“M.A.O.Vasilescu and D.Terzopoulos,”“Multi-linearSubspace Analysis of Image Ensembles，in Proc.CVPR’03,Vol.2,pp.93-99,June2003”。

由于B_t可以很好的描述A_t的本质特征，即使拍摄场景中出现了一些变化其仍能保持很好的稳定性，例如，如果出现了比如光照变化、树叶摇动之类的监控场景的变化，在B_t中则没有什么大的变化，只有出现明显的运动目标的情况下，才会产生显著的变化。

基于这一特性，本实施例中实现运动检测的方法可有多种，下面列举其中两种：

第一种：

从训练用的背景图像序列的当前训练区域序列中选取一个训练区域作为当前基准区域，或将当前训练区域序列中对应像素点的均值所构成的均值图像区域作为基准区域；计算该基准区域在张量子空间上的投影，得到第一投影；计算当前待检图像的对应待检区域在所述张量子空间上的投影，得到第二投影；如果待检图像与背景图像相同，则第一投影与第二投影应该是高度相似的，因此可计算第一投影和第二投影之间的距离值d，将所述距离值与设定的条件进行匹配，根据匹配结果确定运动目标是否出现。对于训练区域对应整个图像的情况，则该过程对应为：从训练用的背景图像序列中选取一幅背景图像作为基准背景图像，或将所述训练用的背景图像序列对应像素点的均值所构成的均值图像作为基准背景图像；计算所述基准背景图像在所述张量子空间上的投影，得到第一投影；计算当前待检图像在所述张量子空间上的投影，得到第二投影；计算所述第一投影和第二投影之间的距离值，将所述距离值与设定的条件进行匹配，根据匹配结果确定运动目标是否出现。

其中，设定的条件可以是单个阈值T1，该阈值T1可以根据实际需要进行设置，其取值可以是根据经验给出，或根据其它方法确定。则匹配过程可以是：判断距离值d是否小于阈值T1，如果是，则确定没有出现运动目标；否则，确定出现运动目标。

此外，设定的条件也可以是一个阈值区间，该阈值区间可以根据实际需要进行设置，其取值可以是根据经验给出，或根据其它方法确定。例如，可分别计算当前训练区域序列中每个训练区域在所述张量子空间上的投影，得到对应的一组投影（对于训练区域对应整个图像的情况，则该过程对应为：分别计算背景图像序列中每幅背景图像在所述张量子空间上的投影，得到对应的一组投影），分别计算该组投影中每个投影与所述第一投影之间的距离，得到对应的一组距离值；估计该组距离值的均值μ和均方差σ，将阈值区间(μ-3σ,μ+3σ)作为所述条件。具体匹配过程可以是：判断距离值d是否位于所述区间(μ-3σ,μ+3σ)之内，如果是，则确定没有出现运动目标；否则，确定出现运动目标。

第二种：

计算当前待检图像的对应待检区域在所述张量子空间上的投影，利用得到的投影进行图像重建，得到当前待检图像的对应待检区域的重建区域；如果待检图像与背景图像相同，则重建区域与实际待检区域的差距应该很小，为此可计算当前待检图像的对应待检区域与其重建区域之间的距离值，将所述距离值与设定的条件进行匹配，根据匹配结果确定运动目标是否出现。其中，设定的条件可以是单个阈值T2，也可以是阈值区间，具体阈值可以根据实际需要进行设置，其取值可以是根据经验给出，或根据其它方法确定。以单个阈值T2的情况为例，其匹配过程可以是：判断距离值是否小于阈值T2，如果是，则确定没有出现运动目标；否则，确定出现运动目标。

仍以训练区域对应整个图像的情况为例，则前述待检测图像A_t的重建图像

可以表示为： ${\tilde{A}}_t=B_t{\×}_1{U}^{\left(1\right)}{\×}_2{U}^{\left(2\right)}---\left(2\right)$

当前待检图像_At与其重建图像

之间的距离值，可以直接利用像素值相减得到，也可以采用其它方法计算得到，此处不再详述。之后，将该距离值与设定的条件进行匹配，根据匹配结果确定运动目标是否出现。

上述流程中，无论是以整个图像为单位进行运动检测，还是以图像的每个图像块为单位进行运动检测，其检测结果都可以用两种取值相差较远的像素值表示，即可将待检区域的像素点根据检测结果设置为预定的运动或背景对应的像素值。例如，可用255的像素值表示运动，用0的像素值表示静止，则存在运动目标的待检区域的像素点的像素值可设置为255，不存在运动目标的待检区域的像素点的像素值可设置为0。

此外，当以图像的每个图像块为单位进行运动检测时，可将步骤103中检测完成后的各个待检区域的检测结果直接作为待检图像的检测结果；或者也可在对当前待检图像的每个待检区域完成运动检测后，将设置了运动或背景像素值的当前待检图像的每个待检区域进行拼接，将拼接结果作为当前待检图像的运动检测结果。

具体应用图1所示方法时，还可以首先对所有图像进行预处理，如平滑、滤波去噪、光照补偿等。则在执行步骤101之前，可进一步对训练用的背景图像序列中的每幅背景图像进行预处理；在执行步骤C之前，可进一步对当前待检图像进行预处理。最后，还可以对完成运动检测的图像进行适当的后处理，例如去噪、平滑等处理。并可将处理后的图像输出。

此外，在完成步骤101和步骤102之后，还可以利用所述张量子空间表示每幅背景图像，从而得到训练后的背景模型。这种方式得到的背景模型除了应用于上述运动检测外，还可以应用于其它场景中，此处不做限定。

以上对本发明实施例中的运动检测方法和背景模型的建立方法进行了详细描述，下面再对本发明实施例中的运动检测装置和背景模型的建立装置进行详细描述。

图5为本发明实施例中运动检测装置的示例性结构图。如图5所示，该装置包括：张量子空间计算单元和运动检测单元。

其中，张量子空间计算单元用于将训练用的背景图像序列的当前训练区域序列表示为一个高阶张量，对所述张量进行高阶奇异值分解，得到所述张量的张量子空间。张量子空间计算单元的具体操作过程可与图1所示步骤101-步骤102中的操作过程一致。

运动检测单元用于利用所述张量子空间对当前待检图像的对应待检区域进行运动检测。运动检测单元的具体操作过程可与图1所示步骤103中的操作过程一致。具体实现时，运动检测单元的内部结构可有多种具体实现形式，图6a和图6b分别示出了其中一种。

如图6a所示，该运动检测单元包括：基准区域确定单元、投影计算单元和第一结果确定单元。

其中，基准区域确定单元用于从所述训练用的背景图像序列的当前训练区域序列中选取一个训练区域作为基准区域，或将所述当前训练区域序列中对应像素点的均值所构成的均值图像作为基准区域。

投影计算单元用于计算所述基准区域在所述张量子空间上的投影，得到第一投影；计算当前待检图像的对应待检区域在所述张量子空间上的投影，得到第二投影。

第一结果确定单元用于计算所述第一投影和第二投影之间的距离值，将所述第一投影和第二投影之间的距离值与设定的条件进行匹配，根据匹配结果确定运动目标是否出现。

其中，当设定的条件为单个阈值T1时，第一结果确定单元判断所述距离值是否小于所述阈值T1，如果是，则确定没有出现运动目标；否则，确定出现运动目标。当设定的条件为阈值门限时，投影计算单元进一步分别计算当前训练区域序列中每个训练区域在所述张量子空间上的投影，得到对应的一组投影；第一结果确定单元，进一步分别计算该组投影中每个投影与所述第一投影之间的距离，得到对应的一组距离值，估计该组距离值的均值μ和均方差σ，将(μ-3σ,μ+3σ)作为所述条件，判断所述第一投影和第二投影之间的距离值是否位于所述(μ-3σ,μ+3σ)之内，如果是，则确定没有出现运动目标；否则，确定出现运动目标。

如图6b所示，该运动检测单元包括：图像重建单元和第二结果确定单元。

其中，图像重建单元用于计算当前待检图像的对应待检区域在所述张量子空间上的投影，利用得到的投影进行图像重建，得到当前待检图像的对应待检区域的重建区域。

第二结果确定单元用于计算当前待检图像的对应待检区域与其重建区域之间的距离值，将所述距离值与设定的条件进行匹配，根据匹配结果确定运动目标是否出现。

其中，当设定的条件为单个阈值T2时，第二结果确定单元判断所述距离值是否小于所述阈值T2，如果是，则确定没有出现运动目标；否则，确定出现运动目标。

图7示出了本发明实施例中背景模型建立装置的示例性结构图。如图7所示，该装置包括：张量子空间计算单元和背景模型构造单元。

其中，张量子空间计算单元用于将训练用的背景图像序列的当前训练区域序列表示为一个高阶张量，对所述张量进行奇异值分解，得到所述张量的张量子空间。张量子空间计算单元的具体操作过程可与图1所示步骤101-步骤102中的操作过程一致。

背景模型构造单元用于利用所述张量子空间表示每个训练区域，得到训练后的对应区域背景模型。

由上述描述可见，本发明实施例中使用了基于区域的运动检测方法，充分考虑考虑了像素点之间的邻域信息，而且避免了对所有像素点都进行处理，运算量比较小。此外，使用了张量分析的方法提取背景特征，相对于PCA方法，充分考虑了训练背景图像序列的时间序列特性，通过提取背景图像的时空（Spatio-temporal）特征，可以更好的表示背景图像的特性，因而性能更好，可以应用的场合就更加广泛。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种运动检测方法，其特征在于，该方法包括：

A、将训练用的背景图像序列的当前训练区域序列表示为一个高阶张量；

B、对所述张量进行高阶奇异值分解，得到所述张量的张量子空间；

C、利用所述张量子空间对当前待检图像的对应待检区域进行运动检测；

所述步骤C包括：

从所述训练用的背景图像序列的当前训练区域序列中选取一个训练区域作为当前基准区域，或将所述当前训练区域序列中对应像素点的均值所构成的均值图像区域作为基准区域；

计算所述基准区域在所述张量子空间上的投影，得到第一投影；

计算当前待检图像的对应待检区域在所述张量子空间上的投影，得到第二投影；

计算所述第一投影和第二投影之间的距离值，将所述距离值与设定的条件进行匹配，根据匹配结果确定运动目标是否出现。

2.如权利要求1所述的方法，其特征在于，确定所述条件的方法包括：

分别计算当前训练区域序列中每个训练区域在所述张量子空间上的投影，得到对应的一组投影；

分别计算该组投影中每个投影与所述第一投影之间的距离，得到对应的一组距离值；

估计该组距离值的均值μ和均方差σ，将(μ-3σ,μ+3σ)作为所述条件；

所述将距离值与设定的条件进行匹配，根据匹配结果确定运动目标是否出现包括：判断所述距离值是否位于所述(μ-3σ,μ+3σ)之内，如果是，则确定没有出现运动目标；否则，确定出现运动目标。

3.如权利要求1所述的方法，其特征在于，所述条件为阈值T1；

所述将距离值与设定的条件进行匹配，根据匹配结果确定运动目标是否出现包括：判断所述距离值是否小于所述阈值T1，如果是，则确定没有出现运动目标；否则，确定出现运动目标。

4.如权利要求1至3中任一项所述的方法，其特征在于，所述当前训练区域为：整个背景图像区域，或将背景图像划分为多个图像块之后当前图像块所对应的图像区域；

所述对应待检区域为：与当前训练区域相对应的整个当前待检图像，或将当前待检图像划分为多个待检图像块之后与当前训练区域相对应的当前待检图像块所对应的图像区域。

5.如权利要求4所述的方法，其特征在于，所述步骤A之前，进一步包括：对训练用的背景图像序列中的每幅背景图像进行预处理；

所述步骤C之前，进一步包括：对当前待检图像进行预处理。

6.如权利要求4所述的方法，其特征在于，所述当前训练区域为：将背景图像划分为多个图像块之后当前图像块所对应的区域；

所述对应待检区域为：将当前待检图像划分为多个待检图像块之后与当前训练区域相对应的当前待检图像块所对应的区域；

所述步骤C之后，进一步包括：

将所述待检区域的像素点根据检测结果设置为预定的运动或背景对应的像素值；

在对当前待检图像的每个待检区域完成运动检测后，将设置了运动或背景像素值的当前待检图像的每个待检区域进行拼接，将拼接结果作为当前待检图像的运动检测结果。

7.一种运动检测装置，其特征在于，该装置包括：

张量子空间计算单元，用于将训练用的背景图像序列的当前训练区域序列表示为一个高阶张量，对所述张量进行高阶奇异值分解，得到所述张量的张量子空间；

运动检测单元，用于利用所述张量子空间对当前待检图像的对应待检区域进行运动检测；

所述运动检测单元包括：

基准区域确定单元，用于从所述训练用的背景图像序列的当前训练区域序列中选取一个训练区域作为基准区域，或将所述当前训练区域序列中对应像素点的均值所构成的均值图像作为基准区域；

投影计算单元，用于计算所述基准区域在所述张量子空间上的投影，得到第一投影；计算当前待检图像的对应待检区域在所述张量子空间上的投影，得到第二投影；

第一结果确定单元，用于计算所述第一投影和第二投影之间的距离值，将所述第一投影和第二投影之间的距离值与设定的条件进行匹配，根据匹配结果确定运动目标是否出现。

Images