CN106250873A - 运动目标提取方法及装置 - Google Patents

Abstract

本发明提供了一种运动目标提取方法及装置，所述方法包括：获取连续的多帧图像，将所述多帧图像用三阶张量进行表示，图像的三阶张量中包括低秩部分和稀疏部分，所述稀疏部分包括第一稀疏部分和第二稀疏部分，所述第二稀疏部分的稀疏性大于所述第一稀疏部分；以分别对应所述图像的三阶张量中的低秩部分、稀疏部分、第一稀疏部分以及第二稀疏部分的四个未知三阶张量建立运动目标提取模型，所述运动目标提取模型为优化问题；利用交替方向乘子法对所述运动目标提取模型迭代求解，获得低秩部分、稀疏部分、第一稀疏部分以及第二稀疏部分的最优值；根据所述第一稀疏部分的最优值获得所述运动目标图像。

Description

运动目标提取方法及装置

技术领域

本发明涉及图像处理领域，具体而言，涉及一种运动目标提取方法及装置。

背景技术

目前对于基于稀疏和低秩理论的运动目标的提取主要是将获得的包括运动目标的多帧图像用一个矩阵表示，由于不同帧间静态背景的高度相似性，该矩阵中表示背景的部分具有低秩性，又由于相对于背景部分，代表车或行人等运动目标的前景部分通常只占每一帧图像像素的小部分，因此，前景部分可以看作是该矩阵中的稀疏误差。因此，现有技术中，通常提取矩阵中的低秩部分和稀疏部分，通过计算稀疏部分来获取图像中的运动目标。

但是，在实际情况中，由于背景部分和前景部分的外观会随着光照和视角的变化而变化，且很多应用场合中背景部分可能存在呈动态变化的部分，如摇晃的树叶、水面的波纹等。在该背景部分存在动态背景的情况下，现有技术中的运动目标提取方法，提取的稀疏部分中也包括了动态背景部分，使提取的运动目标结果不准确。

发明内容

有鉴于此，本发明实施例提供了一种运动目标提取方法及装置，在提取的稀疏部分的基础上，对稀疏部分进一步提取，提取出稀疏的运动目标以及更稀疏的动态背景，使获得的运动目标结果更为准确。

为了实现上述目的，本发明采用的技术方案如下：

一种运动目标提取方法，用于对具有动态背景的时间上连续的多帧图像中的运动目标进行提取，所述方法包括：获取连续的多帧图像，将所述多帧图像用三阶张量进行表示，所述三阶张量中包括表示所述多帧图像中静态背景的低秩部分和表示所述多帧图像中动态部分的稀疏部分，所述稀疏部分包括表示所述多帧图像中运动目标的第一稀疏部分和表示所述多帧图像中动态背景的第二稀疏部分，所述第二稀疏部分的稀疏性大于所述第一稀疏部分；以分别对应所述多帧图像的三阶张量中的低秩部分、稀疏部分、第一稀疏部分以及第二稀疏部分的四个未知三阶张量建立运动目标提取模型，所述运动目标提取模型为优化问题；利用交替方向乘子法对所述运动目标提取模型迭代求解，获得低秩部分、稀疏部分、第一稀疏部分以及第二稀疏部分的最优值；根据所述第一稀疏部分的最优值获得所述运动目标图像。

一种运动目标提取装置，用于对具有动态背景的时间上连续的多帧图像中的运动目标进行提取，所述装置包括：图像获取模块，用于获取连续的多帧图像，将所述多帧图像用三阶张量进行表示，图像的三阶张量中包括表示所述多帧图像中静态背景的低秩部分和表示所述多帧图像中动态部分的稀疏部分，所述稀疏部分包括表示所述多帧图像中运动目标的第一稀疏部分和表示所述多帧图像中动态背景的第二稀疏部分，所述第二稀疏部分的稀疏性大于所述第一稀疏部分；模型建立模块，用于以分别对应所述多帧图像的三阶张量中的低秩部分、稀疏部分、第一稀疏部分以及第二稀疏部分的四个未知三阶张量建立运动目标提取模型，所述运动目标提取模型为优化问题；计算模块，用于利用交替方向乘子法对所述运动目标提取模型迭代求解，获得低秩部分、稀疏部分、第一稀疏部分以及第二稀疏部分的最优值；运动目标图像获取模块，用于根据所述第一稀疏部分的最优值获得所述运动目标图像。

本发明实施例提供的运动目标提取方法及装置，在获取到连续的多帧图像并用三阶张量表示后，提取三阶张量中的低秩部分以及稀疏部分，并且对稀疏部分提取第一稀疏部分以及比第一稀疏部分稀疏性更大的第二系数部分，通过对低秩部分、稀疏部分、第一稀疏部分以及第二稀疏部分建立优化问题，并利用交替方向乘子法迭代求解，计算获得其中的低秩部分、稀疏部分、第一稀疏部分以及第二稀疏部分的值，由于多帧图像中的静态背景具有低秩性，运动目标部分具有稀疏性，故低秩部分表示静态背景，稀疏部分表示动态部分，而动态背景比运动目标的稀疏性更大，则第二稀疏部分表示动态背景，第一稀疏部分表示不包括动态背景的运动目标对应的张量，从而根据其中的第一稀疏部分获得更加精确的运动目标图像。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示出了本发明较佳实施例提供的计算机的方框示意图；

图2示出了本发明第一实施例提供的运动目标提取方法的一种流程图；

图3示出了本发明第一实施例提供的运动目标提取方法的另一种流程图；

图4示出了本发明第一实施例提供的运动目标提取方法与其他运动目标提取算法的提取效果对比图；

图5示出了本发明第二实施例提供的运动目标提取装置的结构框图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

如图1所示，是本发明较佳实施例提供的计算机100的方框示意图。所述计算机100包括运动目标提取装置200、存储器101、存储控制器102、处理器103、外设接口104、输入输出单元105及其他。

所述存储器101、存储控制器102、处理器103、外设接口104、输入输出单元105各元件相互之间直接或间接地电性连接，以实现坐标数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述运动目标提取装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器101中的软件功能模块。所述处理器103用于执行存储器101中存储的可执行模块，例如所述运动目标提取装置200包括的软件功能模块或计算机程序。

其中，存储器101可以是，但不限于，随机存取存储器101(Random Access Memory，RAM)，只读存储器101(Read Only Memory，ROM)，可编程只读存储器101(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器101(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器101(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。其中，存储器101用于存储程序，所述处理器103在接收到执行指令后，执行所述程序，本发明实施例任一实施例揭示的流过程定义的服务器/计算机所执行的方法可以应用于处理器103中，或者由处理器103实现。

处理器103可能是一种集成电路芯片，具有信号的处理能力。上述的处理器103可以是通用处理器103，包括中央处理器103(Central Processing Unit，简称CPU)、网络处理器103(Network Processor，简称NP)等；还可以是数字信号处理器103(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器103可以是微处理器103或者该处理器103也可以是任何常规的处理器103等。

所述外设接口104将各种输入/输出装置耦合至处理器103以及存储器101。在一些实施例中，外设接口104，处理器103以及存储控制器102可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

输入输出单元105提供给用户输入数据实现用户与计算机的交互，如用于输入多帧图像，以使对该多帧图像进行处理，并输出处理结果。所述输入输出单元可以是，但不限于，鼠标和键盘等。

第一实施例

图2示出了本发明第一实施例提供的运动目标提取方法，用于对时间上连续的多帧图像中的运动目标进行提取，通常，该连续的多帧图像可以是一段视频中的图像，在该视频中存在动态的运动目标以及动态背景。具体的，请参见图2，该方法包括：

步骤S110：获取连续的多帧图像，将所述多帧图像用三阶张量进行表示，所述三阶张量中包括表示所述多帧图像中静态背景的低秩部分和表示所述多帧图像中动态部分的稀疏部分，所述稀疏部分包括表示所述多帧图像中运动目标的第一稀疏部分和表示所述多帧图像中动态背景的第二稀疏部分，所述第二稀疏部分的稀疏性大于所述第一稀疏部分。

该连续的多帧图像为拍摄的具有需要提取的运动目标的图像，可以是从一段视频中进行获取。并且该多帧图像的帧数在本实施例中并不作为限定，多帧图像的帧数过多可能导致处理时间过长，帧数过少可能影响该方法的提取效果，故具体帧数可以根据实际需要确定，在本实施例中，可以是60至80中的任意数量帧。

将获取的连续多帧图像用三阶张量表示，如每一帧图像的大小为I₁×I₂，获取了I₃帧图像，则表示该多帧图像的三阶张量为由于在该多帧图像中包括背景部分以及运动目标部分，其中背景部分又包括静态背景部分以及动态背景部分，于是，在多帧图像中，可以包括静态背景部分以及动态部分，其中动态部分包括运动目标部分以及动态背景部分。而在三阶张量中，对应静态背景部分具有低秩性，对应运动目标部分以及动态背景形成的动态部分具有稀疏性，且动态背景部分的稀疏性大于运动目标部分的系数性，则在该三阶张量中，包括对应静态背景的低秩部分和包括对应动态部分的稀疏部分，其中稀疏部分包括对应运动目标的第一稀疏部分和对应动态背景的第二稀疏部分可以理解的，第二稀疏部分的稀疏性大于第一稀疏部分的稀疏性。

步骤S120：以分别对应所述多帧图像的三阶张量中的低秩部分、稀疏部分、第一稀疏部分以及第二稀疏部分的四个未知三阶张量建立运动目标提取模型，所述运动目标提取模型为优化问题。

在本实施例中，表示获取的多帧图像的三阶张量中的低秩部分第一稀疏部分以及第二稀疏部分的四个三阶张量均是未知的，需要对该四个未知的三阶张量进行计算。

首先，以该四个三阶张量建立运动目标提取模型，并通过优化问题实现该运动目标提取模型中未知张量的求解。具体的，该运动目标提取模型可以是为一个优化问题。其中，O表示所述多帧图像对应建立的三阶张量，B表示低秩部分对应的三阶张量，M表示稀疏部分对应的三阶张量，F表示第一稀疏部分对应的三阶张量，E表示第二稀疏部分对应的三阶张量。

由于B的低秩性，若B为二阶的矩阵，则在优化问题中，以B的秩rank(B)作为与B相关的函数，则可以理解的，当B为三阶张量，以B的核张量的值之和||B||_HOSVD作为优化问题中与B相关的函数，以使可以通过求解核张量优化问题来恢复三维张量表示的背景部分。

由于M以及E具有稀疏性，在优化问题中，可以以M的l₀范数||M||₀表示与M相关的函数，可以以E的l₀范数表示与E相关的函数。但是，又由于本实施中提取运动目标为一个典型的鲁棒性主成分分析(robust principal compo-nent analysis,RPCA)问题，为了使上式变成一个凸优化问题便于计算，则使用l₁代替l₀范数，即以||M||₁在运动目标提取模型表示与M相关的函数，以||E||₁在运动目标提取模型中表示与E相关的函数。

由于在多帧图像中，可能存在动态背景的不连续变化，故在该运动目标提取模型中，用TV范数约束运动目标F，以抑制由动态背景造成的不连续的变化，则在优化问题中，以F的全变分范数||F||_TV表示与F相关的函数。

并且，在该运动目标提取模型中，λ₁、λ₂、λ₃为式中对应部分所占的权重系数，即λ₁为M所占权重系数，λ₂为E所占权重系数，λ₃为F所占权重系数。λ₁、λ₂、λ₃的值为由用户根据实际情况确定预设值，其具体确定的方式可以是通过多次试验验证得到的最佳值，并且λ₁、λ₂、λ₃的值均大于0。

进一步的，在本实施例中，可以以第一稀疏部分F的同性全变分范数表示F的全变分范数||F||_TV，因此，可以以表示作为优化问题的运动目标提取模型。其中，||DF||_2,1表示F的同性全变分范数表示，D＝{D_h,D_v,D_t}为F的差分算子，F通过垂直h、水平v、时间t三个方向的差分算子计算后结果可分别表示为：

步骤S130：利用交替方向乘子法对所述运动目标提取模型迭代求解，获得低秩部分、稀疏部分、第一稀疏部分以及第二稀疏部分的最优值。

对于作为优化问题的运动目标提取模型，可以利用交替方向乘子法(ADMM)迭代求解，获得满足||B||_HOSVD+λ₁||M||₁+λ₂||E||₁+λ₃||F||_TV最小化的低秩部分、稀疏部分、第一稀疏部分以及第二稀疏部分的最优值。

具体的，如图3所示，该步骤130的利用交替方向乘子法对所述运动目标提取模型迭代求解包括：

步骤S131：根据所述运动目标提取模型构造增广拉格朗日函数，所述运动目标提取模型中的未知三阶张量以及拉格朗日乘子为所述增广拉格朗日函数中的多个变量。

在构造拉格朗日函数之前，在该模型中引入辅助变量K＝DF，则该运动目标提取模型表示为则构造增广拉格朗日函数为

$\begin{array}{c}L(B,M,E,F,K,X,Y,Z)=\left|\right|B|{|}_{HOSVD}+{\mathrm{\&lambda;}}_1|\left|M\right|{|}_1+{\mathrm{\&lambda;}}_2\left|\right|E|{|}_1+{\mathrm{\&lambda;}}_3|\left|K\right|{|}_{2,1}\\ +<X,O-B-M>+\frac{\mathrm{\&mu;}}{2}\left|\right|O-B-M|{|}_2^2+<Y,M-F-E>\\ +\frac{\mathrm{\&mu;}}{2}\left|\right|M-F-E|{|}_2^2+<Z,K-DF>+\frac{\mathrm{\&mu;}}{2}||K-DF|{|}_2^2\end{array},$

其中，X、Y、Z是拉格朗日乘子，μ>0是惩罚因子，所述运动目标提取模型中的未知三阶张量B,M,E,F,K以及拉格朗日乘子X、Y、Z为该增广拉格朗日函数中的多个变量。

步骤S132：以预定值作为所述多个变量的初始值，迭代求解所述增广拉格朗日函数中的变量直到满足所述收敛条件。

对该增广拉格朗日函数进行迭代求解，以获得满足运动目标提取模型的最优解，即获得使||B||_HOSVD+λ₁||M||₁+λ₂||E||₁+λ₃||K||₂，₁的值最小的解。在迭代求解过程中，由于该运动目标提取模型的约束条件为O＝B+M，则可以以低秩部分对应的三阶张量以及稀疏部分对应的三阶张量之和与所述图像的三阶张量的差值的绝对值小于或等于预设阈值作为收敛条件，在本实施例中，该预设阈值为一个极小的值，在本实施例中并不做限定，可以由用户根据实际情况确定，优选的，该预设阈值可以是10^-8。则第k+1次迭代的收敛条件可以为其中，B^k为第k次迭代得到的三阶张量B的值，M^k为第k次迭代得到的三阶张量M的值。当然，在本实施例中，还可以同时设置迭代次数达到预定次数作为收敛条件，以使在迭代到一定次数仍未达到前述的由O、B以及M决定的收敛条件时，停止迭代，避免过长时间的计算。

在迭代过程中，每次迭代分别计算每个变量，在计算其中一个变量时，固定其他变量。并且，在增广拉格朗日函数中，对多个变量B,M,E,F,K、X、Y、Z均设置初始值，在本实施例中，该多个变量的初始值均可以设置为0。当然，该多个变量的初始值的具体设定并不作为限定，也可以是其他。同时，对惩罚因子μ设置最大值，该最大值需满足μ_max>0，在本实施例中并不作为限制，可由用户根据实际需要及经验设置。同时，以该最大值作为该惩罚因子的初始值，并且，在迭代过程中，μ^k+1＝min(ρμ^k,μ_max)。其中，ρ为用户根据实际情况设定的值，需满足ρ＞1，在本实施例中，可以是1.1。

具体的，以每个设置的初始值作为相应量的第一次迭代的值，对每个量进行迭代求解。于第k+1次迭代，计算三阶张量B时，固定其它变量，计算B：

$\begin{array}{c}{B}^{k+1}=\arg \min L(B,M^k,E^k,F^k,K^k,X^k,Y^k,Z^k)\\ =\arg \min \left|\right|B|{|}_{HOSVD}+<X^k,O-B-M^k>+\frac{\mathrm{\&mu;}}{2}||O-B-M^k|{|}_2^2\\ =\arg \min \left|\right|B|{|}_{HOSVD}+\frac{{\mathrm{\&mu;}}^k}{2}||B-(O-M^k+\frac{X^k}{{\mathrm{\&mu;}}^k})|{|}_2^2\end{array}---\left(1\right).$

再根据该公式(1)计算三阶张量B。首先，求B的核张量S。为了简化书写，令则

(U⁽¹⁾∑⁽¹⁾V^(1)T)＝SVD(H₍₁₎) (2)

(U⁽²⁾∑⁽²⁾V^(2)T)＝SVD(H₍₂₎) (3)

(U⁽³⁾∑⁽³⁾V^(3)T)＝SVD(H₍₃₎) (4)

其中，H_(n)(n＝1,2,3)表示张量H的n-模式展开矩阵，U⁽ⁿ⁾∑⁽ⁿ⁾V^(n)T(n＝1,2,3)为矩阵H_(n)的奇异值分解。根据公式(2)、(3)、(4)以及HOSVD的原理可通过下式求出核张量S：

S＝H×₁U⁽¹⁾'×₂U⁽²⁾'×₃U⁽³⁾'

其中，U⁽ⁿ⁾'(n＝1,2,3)是U⁽ⁿ⁾的逆矩阵,符号×_n表示张量与矩阵的n-模式积。

再对S进行阈值收缩：

$\tilde{S}=T(S,\frac{1}{{\mathrm{\&mu;}}^k})$

$T(S,\frac{1}{{\mathrm{\&mu;}}^k})=\left\{\begin{array}{ccc}{s}_{i_1,i_2,i_3},& if& \left|s_{i_1,i_2,i_3}\right|\&GreaterEqual;\frac{1}{{\mathrm{\&mu;}}^k}\\ 0,& if& \left|s_{i_1,i_2,i_3}\right|<\frac{1}{{\mathrm{\&mu;}}^k}\end{array}\right.,$

其中，S_i1，i2，i3表示在多帧图像中的(i₁,i₂,i₃)处的像素值，其中，0≤i₁≤I₁，0≤i₂≤I₂，0≤i₃≤I₃。最后，可利用公式对B^k+1进行张量重建，得到第k+1次迭代获得的表示背景部分的三阶张量B的值B^k+1。

同样的，可得第k+1次迭代求稀疏部分对应的三阶张量M，固定其他变量，计算公式为：

$\begin{array}{c}{M}^{k+1}=\arg \min L(B^{k+1},M,E^k,F^k,K^k,X^k,Y^k,Z^k)\\ =\arg {\mathrm{min\&lambda;}}_1\left|\right|M|{|}_1+<X^k,O-B^{k+1}-M>+\frac{\mathrm{\&mu;}}{2}||O-B^{k+1}-M|{|}_2^2\\ +<Y^k,M-F^k-E^k>+\frac{\mathrm{\&mu;}}{2}\left|\right|M-F^k-E^k|{|}_2^2\\ =S_{\frac{{\mathrm{\&lambda;}}_1}{2{\mathrm{\&mu;}}^k}}(\frac{O-B^{k+1}+E^k+F^k}{2}+\frac{X^k-Y^k}{2{\mathrm{\&mu;}}^k})\end{array}$

在计算稀疏部分对应的三阶张量M时，软阈值收缩算子S_α(Z)的定义如下：

$S_{\mathrm{\&alpha;}}\left(Z\right)=\left\{\begin{array}{ccc}{z}_{i_1,i_2,\&CenterDot;i_3}-\mathrm{\&alpha;},& if& z_{i_1,i_2,\&CenterDot;i_3}>\mathrm{\&alpha;}\\ 0,& & otherwise\\ z_{i_1,i_2,i_3}+\mathrm{\&alpha;},& if& z_{i_1,i_2,i_3}<-\mathrm{\&alpha;}\end{array}\right..$

同样的，可得对于第k+1次迭代第二稀疏部分对应的三阶张量E的更新，公式为

$\begin{array}{c}{E}^{k+1}=\arg \min L(B^{k+1},M^{k+1},E,F^k,K^k,X^k,Y^k,Z^k)\\ =\arg {\mathrm{min\&lambda;}}_2\left|\right|E|{|}_1+<Y^k,M^{k+1}-F^k-E^k>+\frac{{\mathrm{\&mu;}}^k}{2}||M^{k+1}-F^k-E^k|{|}_2^2\\ =S_{\frac{{\mathrm{\&lambda;}}_2}{{\mathrm{\&mu;}}^k}}(M^{k+1}-F^k+\frac{Y^k}{{\mathrm{\&mu;}}^k})\end{array},$

对于第k+1次迭代第一稀疏部分对应的三阶张量F的更新，固定其他变量，更新公式为

$\begin{array}{c}{F}^{k+1}=\arg \min L(B^{k+1},M^{k+1},E^{k+1},F,K^k,X^k,Y^k,Z^k)\\ =\arg \min <Y^k,M^{k+1}-F-E^{k+1}>+\frac{{\mathrm{\&mu;}}^k}{2}\left|\right|M^{k+1}-F-E^{k+1}|{|}_2^2\\ +<Z^k,K^k-DF>+\frac{{\mathrm{\&mu;}}^k}{2}\left|\right|K^k-DF|{|}_2^2\\ =\arg \min \frac{{\mathrm{\&mu;}}^k}{2}\left|\right|M^{k+1}-F-E^{k+1}+\frac{Y^k}{{\mathrm{\&mu;}}^k}|{|}_2^2+\frac{{\mathrm{\&mu;}}^k}{2}||K^k-DF+\frac{Z^k}{{\mathrm{\&mu;}}^k}|{|}_2^2\end{array},$

在更新F时，通过最速下降法可得：

$(I+D^{T}D)F^{k+1}=M^{k+1}-E^{k+1}+\frac{Y^k}{{\mathrm{\&mu;}}^k}+D^T(K^k+\frac{Z^k}{{\mathrm{\&mu;}}^k})$

$F^{k+1}=f^{-1}\left(\frac{f\&lsqb;(M^{k+1}-E^{k+1}+\frac{Y^k}{{\mathrm{\&mu;}}^k})+D^T(K^k+\frac{Z^k}{{\mathrm{\&mu;}}^k})\&rsqb;}{1+|f\left(D_h\right){|}^2+|f\left(D_v\right){|}^2+|f\left(D_t\right){|}^2}\right)$

其中，f(·)和f^-1(·)分别表示3-D傅里叶变换算子和反变换算子。

对于第k+1次迭代三阶张量K的更新，固定其他变量，更新公式为

$\begin{array}{c}{K}^{k+1}=\arg \min L(B^{k+1},M^{k+1},E^{k+1},F^{k+1},K,X^k,Y^k,Z^k)\\ =\arg {\mathrm{min\&lambda;}}_3\left|\right|K|{|}_{2,1}+<Z^k,K-{\mathrm{DF}}^{k+1}>+\frac{{\mathrm{\&mu;}}^k}{2}||K-{\mathrm{DF}}^{k+1}|{|}_2^2\\ =\arg {\mathrm{min\&lambda;}}_3\left|\right|K|{|}_{2,1}+\frac{{\mathrm{\&mu;}}^k}{2}||K-({\mathrm{DF}}^{k+1}-\frac{Z^k}{{\mathrm{\&mu;}}^k})|{|}_2^2\end{array},$

当然，由于K为K＝DF的辅助变量，而D＝{D_h,D_v,D_t}，则并且，在本实施例中， 可通过下列式子求得：

$K_{h,v,t}^{k+1}=max(p^k-\frac{{\mathrm{\&lambda;}}_3}{{\mathrm{\&mu;}}^k},0)\&CenterDot;\frac{p_{h,v,t}^k}{p^k},$

其中，ε>0，并且，ε为一个极小的常数，在本实施例中并不做限定，由用户根据实际需要设定。

在第k+1次迭代还包括更新拉格朗日乘子X、Y、Z以及惩罚因子μ。对拉格朗日乘子的更新公式为：

X^k+1＝X^k+μ^k(O-B^k+1-M^k+1)，

Y^k+1＝Y^k+μ^k(M^k+1-E^k+1-F^k+1)，

$Z_{h,v,t}^{k+1}=Z_{h,v,t}^k+{\mathrm{\&mu;}}^k(K_{h,v,t}^{k+1}-D_{h,v,t}{F}^{k+1}),$

并且，惩罚因子的更新为如前所述的μ^k+1＝min(ρμ^k,μ_max)。

当第k+1次迭代将包括变量B,M,E,F,K以及拉格朗日乘子X、Y、Z、惩罚因子μ的所有未知量都进行更新后，判断是否满足收敛条件若不满足，且设置有预定次数的迭代次数作为收敛条件，再判断迭代次数是否达到预定次数，若未达到，则再进行下一次迭代计算。若满足收敛条件，则迭代结束，以当前更新获得的B、M、E、F作为满足运动目标提取模型的最优解，即为B、M、E、F的最优值。

步骤S140：根据所述第一稀疏部分的最优值获得所述运动目标图像。

获得的最优解中三阶张量F对应的第一稀疏部分表示该多帧图像中的运动目标，则可以根据三阶张量F得到运动目标，并且可以通过输出单元进行显示。

图4示出了利用运动目标提取方法对运动目标进行提取的效果图。在图4中，左边一幅图像为包括有运动目标的多幅连续的图像中的一幅原始图像，其中的人为运动目标，树为动态背景，中间的图像为利用混合高斯模型法(Guassian mixture model,GMM)提取的运动目标图像，右边的图像为利用本实施例提供的方法对运动目标进行的提取效果图。从图4可以看出，本方法实施例提供的运动目标提取方法具有良好的提取效果，相对于提取的图像中还包括树等动态背景的混合高斯模型法，本实施例的算法有效提取出了图像中的运动目标，且滤除了其中的动态背景。

第二实施例

本实施例提供了一种运动目标提取装置200，用于对时间上连续的多帧图像中的运动目标进行提取，该时间上连续的多帧图像可以为视频序列中的图像，并且，在该多帧图像中存在动态背景。请参见图5，所述装置200包括：

图像获取模块210，用于获取连续的多帧图像，将所述多帧图像用三阶张量进行表示，图像的三阶张量中包括表示所述多帧图像中静态背景的低秩部分和表示所述多帧图像中动态部分的稀疏部分，所述稀疏部分包括表示所述多帧图像中运动目标的第一稀疏部分和表示所述多帧图像中动态背景的第二稀疏部分，所述第二稀疏部分的稀疏性大于所述第一稀疏部分。

模型建立模块220，用于以分别对应所述多帧图像的三阶张量中的低秩部分、稀疏部分、第一稀疏部分以及第二稀疏部分的四个未知三阶张量建立运动目标提取模型，所述运动目标提取模型为优化问题。

计算模块230，用于利用交替方向乘子法对所述运动目标提取模型迭代求解，获得低秩部分、稀疏部分、第一稀疏部分以及第二稀疏5部分的最优值。运动目标图像获取模块240，用于根据所述第一稀疏部分的最优值获得所述运动目标图像。

并且，在本实施例中，模型建立模块220建立的运动目标提取模型可以表示为其中，O表示所述多帧图像的三阶张量，B表示所述低秩部分对应的三阶张量，M表示所述稀疏部分对应的三阶张量，F表示所述第一稀疏部分对应的三阶张量，E表示所述第二稀疏部分对应的三阶张量，λ₁、λ₂、λ₃均为预设值。

进一步的，在本实施例中，计算模块230还包括：函数构造单元，用于根据所述运动目标提取模型构造增广拉格朗日函数，所述运动目标提取模型中的未知三阶张量以及拉格朗日乘子为所述增广拉格朗日函数中的多个变量。求解单元，以预定值作为所述多个变量的初始值，迭代求解所述增广拉格朗日函数中的变量直到满足收敛条件。

进一步的，在本实施例提供的装置200中，计算模块230于以低秩部分对应的三阶张量以及稀疏部分对应的三阶张量之和与所述图像的三阶张量的差值的绝对值小于或等于预设阈值作为收敛条件。

综上所述，本发明实施例提供的运动目标提取方法及装置，以三阶张量表示时间上连续的多帧图像，并以对应连续多帧图像的三阶张量中的低秩部分、稀疏部分、第一稀疏部分以及第二稀疏部分建立为优化问题的运动目标提取模型，通过迭代求解获得第一稀疏部分对应的三阶张量的值，由于在图像中，运动目标对应第一稀疏部分，则根据计算获得的第一稀疏部分的三阶张量可获得运动目标图像，从而剔除了第二稀疏部分对应的动态背景的影响。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种运动目标提取方法，其特征在于，用于对具有动态背景的时间上连续的多帧图像中的运动目标进行提取，所述方法包括：

获取连续的多帧图像，将所述多帧图像用三阶张量进行表示，所述三阶张量中包括表示所述多帧图像中静态背景的低秩部分和表示所述多帧图像中动态部分的稀疏部分，所述稀疏部分包括表示所述多帧图像中运动目标的第一稀疏部分和表示所述多帧图像中动态背景的第二稀疏部分，所述第二稀疏部分的稀疏性大于所述第一稀疏部分；

以分别对应所述多帧图像的三阶张量中的低秩部分、稀疏部分、第一稀疏部分以及第二稀疏部分的四个未知三阶张量建立运动目标提取模型，所述运动目标提取模型为优化问题；

利用交替方向乘子法对所述运动目标提取模型迭代求解，获得低秩部分、稀疏部分、第一稀疏部分以及第二稀疏部分的最优值；

根据所述第一稀疏部分的最优值获得所述运动目标图像。

2.根据权利要求1所述的方法，其特征在于，所述运动目标提取模型表示为：

min||B||_HOSVD+λ₁||M||₁+λ₂||E||₁+λ₃||F||_TV

s.t.O＝B+M,M＝F+E

其中，O表示所述多帧图像的三阶张量，B表示所述低秩部分对应的三阶张量，M表示所述稀疏部分对应的三阶张量，F表示所述第一稀疏部分对应的三阶张量，E表示所述第二稀疏部分对应的三阶张量，λ₁、λ₂、λ₃均为预设值。

3.根据权利要求2所述的方法，其特征在于，所述第一稀疏部分F的全变分范数||F||_TV用同性全变分范数表示，所述运动目标提取模型表示为

min||B_HOSVD+λ₁||M||₁+λ₂||E||₁+λ₃||DF||_2,1

s.t.O＝B+M,M＝F+E。

4.根据权利要求1所述的方法，其特征在于，所述利用交替方向乘子法对所述运动目标提取模型迭代求解的收敛中，以低秩部分对应的三阶张量以及稀疏部分对应的三阶张量之和与所述图像的三阶张量的差值的绝对值小于或等于预设阈值作为收敛条件。

5.根据权利要求1所述的方法，其特征在于，所述利用交替方向乘子法对所述运动目标提取模型迭代求解的收敛中，以迭代次数达到预定次数作为收敛条件。

6.根据权利要求1所述的方法，其特征在于，所述利用交替方向乘子法对所述运动目标提取模型迭代求解的步骤包括：

根据所述运动目标提取模型构造增广拉格朗日函数，所述运动目标提取模型中的未知三阶张量以及拉格朗日乘子为所述增广拉格朗日函数中的多个变量；

以预定值作为所述多个变量的初始值，迭代求解所述增广拉格朗日函数中的变量直到满足收敛条件。

7.根据权利要求6所述的方法，其特征在于，所述多个变量的初始值为0。

8.一种运动目标提取装置，其特征在于，用于对具有动态背景的时间上连续的多帧图像中的运动目标进行提取，所述装置包括：

图像获取模块，用于获取连续的多帧图像，将所述多帧图像用三阶张量进行表示，图像的三阶张量中包括表示所述多帧图像中静态背景的低秩部分和表示所述多帧图像中动态部分的稀疏部分，所述稀疏部分包括表示所述多帧图像中运动目标的第一稀疏部分和表示所述多帧图像中动态背景的第二稀疏部分，所述第二稀疏部分的稀疏性大于所述第一稀疏部分；

模型建立模块，用于以分别对应所述多帧图像的三阶张量中的低秩部分、稀疏部分、第一稀疏部分以及第二稀疏部分的四个未知三阶张量建立运动目标提取模型，所述运动目标提取模型为优化问题；

计算模块，用于利用交替方向乘子法对所述运动目标提取模型迭代求解，获得低秩部分、稀疏部分、第一稀疏部分以及第二稀疏部分的最优值；

运动目标图像获取模块，用于根据所述第一稀疏部分的最优值获得所述运动目标图像。

9.根据权利要求8所述的装置，其特征在于，所述模型建立模块建立的运动目标提取模型表示为

其中，O表示所述多帧图像的三阶张量，B表示所述低秩部分对应的三阶张量，M表示所述稀疏部分对应的三阶张量，F表示所述第一稀疏部分对应的三阶张量，E表示所述第二稀疏部分对应的三阶张量，λ₁、λ₂、λ₃均为预设值。

10.根据权利要求9所述的装置，其特征在于，所述计算模块用于以低秩部分对应的三阶张量以及稀疏部分对应的三阶张量之和与所述图像的三阶张量的差值的绝对值小于或等于预设阈值作为收敛条件。