CN111105438A - 基于动态模式分解的运动检测方法、终端设备及计算机可读存储介质 - Google Patents

Abstract

本发明提出了一种基于动态模式分解的运动检测方法、终端设备及计算机可读存储介质，所述方法包括如下步骤：步骤S10，根据获取的视频流信息，将视频流信息转换成相应的输入矩阵X和观察矩阵Y；步骤S20，通过DMD算法实现视频矩阵的动态模型分解，得到基于DMD算法的多个模型；步骤S30，根据分解计算各模型在整个时间序列贡献度和频率特性，选择前若干个物理频率为零的主模型来构造背景信息；步骤S40，通过视频图像和背景信息的差值来检测运动目标。本发明的方法为基于DMD主模型的运动检测算法，能够准确、有效地对视频中的运动物体进行检测和提取，并且有较好的抗噪声能力和鲁棒性。

Description

基于动态模式分解的运动检测方法、终端设备及计算机可读 存储介质

技术领域

本发明涉及视频处理技术领域，尤其涉及一种基于动态模式分解的运动检测方法、终端设备及计算机可读存储介质。

背景技术

随着互联网技术的飞速发展，大量的监控终端设备接入到网络，从而产生了大量的视频数据。因此基于视频的各类应用得到社会的广泛关注，例如智能监控、安防检测、行为分析等。而运动检测是这些应用的基础，也是计算机视觉和人工智能领域的重要研究课题之一。基于视频的运动目标检测是对图像序列中的运动物体进行检测和提取，为目标的识别和分析提供基础数据。目前常见的运动检测算法有帧差法、光流法、混合高斯模型(GMM)算法和Vibe算法等。然而这些算法均存在各自局限性，并对噪声和光线的抗干扰性较差。

其中，帧差法是对时间序列的视频信息进行相邻的两帧或三帧图像信息进行差分处理，通过判断差值的绝对值的大小来实现前景和后景的分离，进而实现运动目标的检测。该算法对光线叫暗或者噪声较大的情况下，帧间的差值会较小，无法准确区分前后景信息，严重影响运动目标的检测率。由于慢运动物体的临近帧之间的差分值较小，通过帧差法无法准确该类目标。

光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。该方法容易受光照因素的影响，对应用场景要求过高。

GMM算法是一种经典的自适应背景建模方法，该方法假设每个像素在时域上符合正态分布，在一定阈值范围内的像素判定为背景，并用来更新模型，不符合该分布的像素即为前景，再根据形态学处理提取运动目标。该方法建模需要一定的时间，若背景变化过大，会导致背景模型重建时间过长，影响检测效果。

ViBe背景建模算法是随机选取邻域20个样本为每个像素点建立一个基于样本的背景模型，随后，利用一个二次抽样因子φ，使有限的样本基数能近似表示无限的时间窗口，即在较少样本前提下，保证算法的准确性，最后，并采用一种领域传播机制保证算法的空间一致性实现背景的更新。该方法建模思想简单，但是当背景模型的初始帧存在运动目标或者背景模型的更新速贷无法与背景速率同步，会出现鬼影现象；此外由于ViBe样本模型受限于样本个数，容易产生运动目标的不完整性。

鉴于上述原因，有必要提出一种新的运动检测算法。

发明内容

本发明的主要目的在于提供一种基于动态模式分解的运动检测方法、终端设备及计算机可读存储介质，旨在提供一种能够准确、有效地对视频中的运动物体进行检测和提取的方法。

为实现上述目的，本发明提供的一种基于动态模式分解的运动检测方法，所述方法包括如下步骤：

步骤S10，根据获取的视频流信息，将视频流信息转换成相应的矩阵形式；

步骤S20，通过DMD算法实现视频矩阵的动态模型分解，得到基于DMD算法的多个模型；

步骤S30，根据分解计算各模型在整个时间序列贡献度和频率特性，选择前若干个物理频率为零的主模型来构造背景信息；

步骤S40，通过视频图像和背景信息的差值来检测运动目标。

优选地，所述步骤S10为：

根据获取的视频流信息，将视频流信息转换成相应的输入矩阵X 和观察矩阵Y。

优选地，所述步骤S10包括：

设定获取的视频流信息的视频数据为V_n，其中

n为帧数，对于第j帧视频数据V_j为m*n*3的矩阵，其中m和n分别表示视频的横纵的像素数，3代表该视频数据为彩色视频；

首先将V_j转换成灰度图像，再转换成m*n的一维矩阵I_j的形式；

定义输入矩阵X和观察矩阵Y为如下形式：

X＝[I₁,I₂,…I_N-1]；

Y＝[I₂,I₃,…I_N]；

若相邻的帧之间存在转换矩阵A，则存在如下形式：

I_n＝AI_n-1.

获取如下等式：

Y＝AX；

其中A为M*M的矩阵，M每帧视频的像素数。

优选地，所述步骤S20中的DMD的计算流程包括：

获取输入矩阵X和观察矩阵Y；

实现XSVD分解：X＝U∑V^H.，其中U和V分别为左右奇异向量构成的矩阵，且均为酉矩阵，∑为由奇异值组成的对角矩阵，V^H为V 的共轭转置矩阵；

计算

计算

的特征分解：

其中W为由特征向量构成的举证，N为由特征值构成的对角矩阵；

计算DMD模型：Φ＝YV∑^-1W；

计算幅值α＝Φ^-1x₁；

计算V_and。

优选地，所述步骤S20中的DMD的计算流程包括：

对于系统方程Y＝AX，通过X的SVD分解获取A的相似矩阵

X＝U∑V^H.

通过最小Y和AX的F-范数，来实现

的求解：

其中

获得下式

由相似矩阵的特性，得到A和

具有相同的特征值，则

的特征值分解为如下形式：

进而获得：

其中W是由

的特征向量w_j构成，N为A的特征值μ_j构成的对角矩阵。通过推导获得如下形式：

其中Φ是以动态模型为：φ_j＝Uw_j为列向量的矩阵，U可以表示为 U＝YV∑^-1，因此：

Φ＝YV∑^-1W

令α＝W^-1U^Hx₁＝Φ^-1x₁＝[α₁,α₂,…α_r]^T，所以：

由此可以获取如下系统描述：

X＝[x₁,x₂,…x_N-1]＝ΦD_αV_and

其中V_and为范德蒙矩阵，构成成员为A的特征值，D_α为α_i构成的对角线矩阵。

优选地，所述步骤S30包括：

首先计算各模型在整个时间序列的贡献度，对于任意帧数据均可表示成如下形式：

若φ_jμ_j ^i-1α_j越大，则φ_j对I_i的影响越大，因此，定义DMD的主模型排序条件为：

其中||φ_j||_F为φ_j的F-范数。

模型φ_j的频率信息通过特征值来求取：

ω_j＝lm(log(μ_j))/Δt

因此ω_j为零的模型为背景信息构建的主要成分；

通过上述方法筛选的模型

构建的背景信息为：

对应的前景信息为：

Fg＝abs(X＝Bg)

最后再通过硬阈值和中值滤波去除前景中存在的噪声成分。

此外，为实现上述目的，本发明还提出了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述方法的步骤。

此外，为实现上述目的，本发明还提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述方法的步骤。

本发明基于动态模式分解的运动检测方法包括如下步骤：步骤 S10，根据获取的视频流信息，将视频流信息转换成相应的输入矩阵 X和观察矩阵Y；步骤S20，通过DMD算法实现视频矩阵的动态模型分解，得到基于DMD算法的多个模型；步骤S30，根据分解计算各模型在整个时间序列贡献度和频率特性，选择前若干个物理频率为零的主模型来构造背景信息；步骤S40，通过视频图像和背景信息的差值来检测运动目标。本发明的方法为基于DMD主模型的运动检测算法，算法是基于矩阵特征分解的前后景分离算法，具有较强的自适应性和抗噪性，能够准确、有效地对视频中的运动物体进行检测和提取，并且有较好的噪声鲁棒性。

附图说明

附图作为本发明的一部分，用来提供对本发明的进一步的理解，本发明的示意性实施例及其说明用于解释本发明，但不构成对本发明的不当限定。显然，下面描述中的附图仅仅是一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。在附图中：

图1为本发明基于动态模式分解的运动检测方法的流程图；

图2a为本发明实施例实测视频的运动目标检测效果图中表示视频的底470帧的检测数据原始图片；

图2b为本发明实施例实测视频的运动目标检测效果图中提取出的背景信息；

图2c为本发明实施例实测视频的运动目标检测效果图中采用本发明方法获取的前景信息；

图2d为本发明实施例实测视频的运动目标检测效果图获取的前景信息经阈值和中值滤波后的效果；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面结合附图以及具体实施例对本发明实施例解决的技术问题、所采用的技术方案以及实现的技术效果进行清楚、完整的描述。显然，所描述的实施例仅仅是本申请的一部分实施例，并不是全部实施例。基于本申请中的实施例，本领域普通技术人员在不付出创造性劳动的前提下，所获得的所有其它等同或明显变型的实施例均落在本发明的保护范围内。本发明实施例可以按照权利要求中限定和涵盖的多种不同方式来具体化。

需要说明的是，在下面的描述中，为了方便理解，给出了许多具体细节。但是很明显，本发明的实现可以没有这些具体细节。

需要说明的是，在没有明确限定或不冲突的情况下，本发明中的各个实施例及其中的技术特征可以相互组合而形成技术方案。

本发明的主要目的在于提供一种基于动态模式分解的运动检测方法，旨在提供一种能够准确、有效地对视频中的运动物体进行检测和提取的方法。

在本实施例中，参照图1，所述方法包括如下步骤：

步骤S10，根据获取的视频流信息，将视频流信息转换成相应的输入矩阵X和观察矩阵Y；

步骤S20，通过DMD算法实现视频矩阵的动态模型分解，并根据分解进行计算；

步骤S30，根据分解计算个模型在整个时间序列贡献度和频率特性，选择前若干个物理频率为零的主模型来构造背景信息；

步骤S40，通过视频图像和背景信息的差值来检测运动目标。

本算法是基于矩阵特征分解的前后景分离算法，具有较强的自适应性和抗噪性。能够准确地检测时视频中的运动目标，并且有较好的噪声鲁棒性，该特性主要得益于通过对DMD的模型的能量和频谱分析，进行背景信息建模，该模型对噪声具有抑制效果。

本发明主要是将视频数据转换成时间序列的矩阵形式，并通过 DMD进行分解，以获取各类动态模型。通过分析各动态模型在视频数据中的贡献度，以及各模型的频谱特性，选取构成背景成分的动态模型，实现背景的准确建模。

具体地，上述方法的具体算法过程如下：

(1)输入矩阵和观察矩阵的生成：

对于存在的视频数据V_n，其中

为帧数。针对第j帧视频数据V_j为m*n*3的矩阵，其中m和n分别表示视频的横纵的像素数， 3代表该视频数据为彩色视频。本文首先将V_j转换成灰度图像，再转换成m*n的一维矩阵I_j的形式。

,定义输入矩阵观察矩阵X和观察矩阵Y为如下形式：

X＝[I₁,I₂,…I_N-1] (1)

Y＝[I₂,I₃,…I_N] (2)

若相邻的帧之间存在转换矩阵A，则存在如下形式：

I_n＝AI_n-1. (3)

则获取如下等式：

Y＝AX (4)

其中A为M*M的矩阵，M每帧视频的像素数。

(2)基于DMD的视频的动态模型分解：

DMD为一种数据驱动的降维算法，本发明通过DMD算法实现视频数据的动态模式分解。

对于系统方程Y＝AX，可以通过X的SVD分解获取A的相似矩阵

X＝U∑V^H. (5)

通过最小Y和AX的F-范数，来实现

的求解：

其中

获得下式

由相似矩阵的特性，知道A和

具有相同的特征值。

的特征值分解为如下形式：

进而获得：

其中W是由

的特征向量w_j构成，N为A的特征值μ_j构成的对角矩阵。通过推导获得如下形式：

其中Φ是以动态模型为：φ_j＝Uw_j为列向量的矩阵，U可以表示为 U＝YV∑^-1，因此：

Φ＝YV∑^-1W (11)

令α＝W^-1U^Hx₁＝Φ^-1x₁＝[α₁,α₂,…α_r]^T，所以：

由此可以获取如下系统描述：

X＝[x₁,x₂,…x_N-1]＝ΦD_αV_and

(12)

其中V_and为范德蒙矩阵，构成成员为A的特征值，D_α为α_i构成的对角线矩阵。

DMD计算流程如下：

获取X、Y；

实现XSVD分解：X＝U∑V^H.；其中U和V分别为左右奇异向量构成的矩阵，且均为酉矩阵，∑为由奇异值组成的对角矩阵，V^H为V的共轭转置矩阵；

计算

计算

的特征分解：

其中W为由特征向量构成的举证， N为由特征值构成的对角矩阵；

计算DMD模型：Φ＝YV∑^-1W；

计算幅值α＝Φ^-1x₁；

计算V_and；

(3)DMD主模型的筛选：

由上述方法求得DMD模型可以用于表达整个视频数据各时间序列的状态改变，但是各模型在视频种占据的比重是不同的，其中比重最大的因为背景信息，比重较小的应为运动物体。此外各模型据具有各自的频谱特性，随时间的推进，缓慢变换的因为成分应为背景信息，快递变换的应为运动物体。基于上述的两个条件，本发明提出了基于 DMD主模型的运动物体检测算法。

首先计算各模型在整个时间系列的贡献度。对于任意帧数据均可表示成如下形式：

若φ_jμ_j ^i-1α_j越大，则φ_j对I_i的影响越大。因此，本发明定义DMD的主模型排序条件为：

其中||φ_j||_F为φ_j的F-范数。

模型φ_j的频率信息通过特征值来求取：

ω_j＝lm(log(μ_j))/Δt (15)

因此ω_j为零的模型为背景信息构建的主要成分。

通过上述方法筛选的模型

构建的背景信息为：

对应的前景信息为：

Fg＝abs(X＝Bg) (17)

最后再通过硬阈值和中值滤波去除前景中存在的噪声成分。

为了验证本发明正确性和有效性的验证，参照图2a～图2d本发明使用运动检测网站(change-detection.net)提供的实测数据turnpike_0_5fps进行实验验证。该数据为高速公路中的车辆运行的检测视频。本实验展示视频的第470帧的检测效果如图2所示。从检测效果中可以看出本发明可以准确检测视频中的运动目标。

此外，为实现上述目的，本发明还提出了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述方法的步骤。

此外，为实现上述目的，本发明还提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述方法的步骤。

本发明的各个步骤可以用通用的计算装置来实现，例如，它们可以集中在单个的计算装置上，例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备或者多处理器装置，也可以分布在多个计算装置所组成的网络上，它们可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。因此，本发明不限于任何特定的硬件和软件或者其结合。

本发明提供的方法可以使用可编程逻辑器件来实现，也可以实施为计算机程序软件或程序模块(其包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件或数据结构等等)，例如根据本发明的实施例可以是一种计算机程序产品，运行该计算机程序产品使计算机执行用于所示范的方法。所述计算机程序产品包括计算机可读存储介质，该介质上包含计算机程序逻辑或代码部分，用于实现所述方法。所述计算机可读存储介质可以是被安装在计算机中的内置介质或者可以从计算机主体上拆卸下来的可移动介质(例如：采用热插拔技术的存储设备)。所述内置介质包括但不限于可重写的非易失性存储器，例如：RAM、ROM、快闪存储器和硬盘。所述可移动介质包括但不限于：光存储介质(例如：CD－ROM和DVD)、磁光存储介质(例如： MO)、磁存储介质(例如：磁带或移动硬盘)、具有内置的可重写非易失性存储器的媒体(例如：存储卡)和具有内置ROM的媒体(例如： ROM盒)。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于动态模式分解的运动检测方法，其特征在于，所述方法包括如下步骤：

步骤S10，根据获取的视频流信息，将视频流信息转换成相应的矩阵形式；

步骤S20，通过DMD算法实现视频矩阵的动态模型分解，得到基于DMD算法的多个模型；

步骤S30，根据分解计算各模型在整个时间序列贡献度和频率特性，选择前若干个物理频率为零的主模型来构造背景信息；

步骤S40，通过视频图像和背景信息的差值来检测运动目标。

2.根据权利要求1所述的基于动态模式分解的运动检测方法，其特征在于，所述步骤S10为：

根据获取的视频流信息，将视频流信息转换成相应的输入矩阵X和观察矩阵Y。

3.根据权利要求2所述的基于动态模式分解的运动检测方法，其特征在于，所述步骤S10包括：

设定获取的视频流信息的视频数据为V_n，其中

n为帧数，对于第j帧视频数据V_j为m*n*3的矩阵，其中m和n分别表示视频的横纵的像素数，3代表该视频数据为彩色视频；

首先将V_j转换成灰度图像，再转换成m*n的一维矩阵I_j的形式；

定义输入矩阵X和观察矩阵Y为如下形式：

X＝[I₁,I₂,…I_N-1]；

Y＝[I₂,I₃,…I_N]；

若相邻的帧之间存在转换矩阵A，则存在如下形式：

I_n＝AI_n-1.

获取如下等式：

Y＝AX；

其中A为M*M的矩阵，M每帧视频的像素数。

4.根据权利要求2所述的基于动态模式分解的运动检测方法，其特征在于，所述步骤S20中的DMD的计算流程包括：

获取输入矩阵X和观察矩阵Y；

实现XSVD分解：X＝U∑V^H.，其中U和V分别为左右奇异向量构成的矩阵，且均为酉矩阵，∑为由奇异值组成的对角矩阵，V^H为V的共轭转置矩阵；

计算

计算

的特征分解：

其中W为由特征向量构成的举证，N为由特征值构成的对角矩阵；

计算DMD模型：Φ＝YV∑^-1W；

计算幅值α＝Φ^-1x₁；

计算V_and。

5.根据权利要求4所述的基于动态模式分解的运动检测方法，其特征在于，所述步骤S20中的DMD的计算流程包括：

对于系统方程Y＝AX，通过X的SVD分解获取A的相似矩阵

X＝U∑V^H.

通过最小Y和AX的F-范数，来实现

的求解：

其中

获得下式

由相似矩阵的特性，得到A和

具有相同的特征值，则

的特征值分解为如下形式：

进而获得：

其中W是由

的特征向量w_j构成，N为A的特征值μ_j构成的对角矩阵。通过推导获得如下形式：

其中Φ是以动态模型为：φ_j＝Uw_j为列向量的矩阵，U可以表示为U＝YV∑^-1，因此：

Φ＝YV∑^-1W

令α＝W^-1U^Hx₁＝Φ^-1x₁＝[α₁,α₂,…α_r]^T，所以：

由此可以获取如下系统描述：

X＝[x₁,x₂,…x_N-1]＝ΦD_αV_and

其中V_and为范德蒙矩阵，构成成员为A的特征值，D_α为α_i构成的对角线矩阵。

6.根据权利要求1所述的基于动态模式分解的运动检测方法，其特征在于，所述步骤S30包括：

首先计算各模型在整个时间序列的贡献度，对于任意帧数据均可表示成如下形式：

若φ_jμ_j ^i-1α_j越大，则φ_j对I_i的影响越大，因此，定义DMD的主模型排序条件为：

其中||φ_j||_F为φ_j的F-范数。

模型φ_j的频率信息通过特征值来求取：

ω_j＝lm(log(μ_j))/Δt

因此ω_j为零的模型为背景信息构建的主要成分；

通过上述方法筛选的模型

构建的背景信息为：

对应的前景信息为：

Fg＝abs(X＝Bg)

最后再通过硬阈值和中值滤波去除前景中存在的噪声成分。

7.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。

8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。

Images