CN111191680B - 一种基于非凸运动辅助的目标检测方法 - Google Patents

一种基于非凸运动辅助的目标检测方法 Download PDF

Info

Publication number
CN111191680B
CN111191680B CN201911271901.3A CN201911271901A CN111191680B CN 111191680 B CN111191680 B CN 111191680B CN 201911271901 A CN201911271901 A CN 201911271901A CN 111191680 B CN111191680 B CN 111191680B
Authority
CN
China
Prior art keywords
matrix
representing
variable
denotes
rank
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911271901.3A
Other languages
English (en)
Other versions
CN111191680A (zh
Inventor
杨真真
乐俊
范露
许鹏飞
孙雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Publication of CN111191680A publication Critical patent/CN111191680A/zh
Application granted granted Critical
Publication of CN111191680B publication Critical patent/CN111191680B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Operations Research (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于非凸运动辅助的目标检测方法，包括步骤1：将待处理的视频数据输入至已构建的低秩稀疏分解模型中；步骤2：采用交替方向乘子法对构建的低秩稀疏分解模型进行求解，得到输入视频数据中的运动目标；本发明采用非凸γ范数代替传统低秩稀疏分解模型中的秩函数近似表示视频背景的低秩部分，同时考虑到背景在变换域上仍然具有稀疏性的特性，采用l1范数对变换域的背景进行稀疏近似，前景仍然采用表示运动目标稀疏先验的的l1范数。此外，在上述的模型中引入运动辅助信息矩阵，使其融入前景的运动信息，更好的实现视频的运动目标检测。

Description

一种基于非凸运动辅助的目标检测方法
技术领域
本发明属于计算机视觉领域，特别涉及一种基于非凸运动辅助的目标检测方法。
背景技术
运动目标检测是计算机视觉等领域最重要和最具有挑战性的任务之一，其性能好坏直接影响目标跟踪、目标识别等后续处理。低秩稀疏分解(Low Rank and SparseDecomposition,LRSD)又称为鲁棒主成分分析(Robust Principal Components Analysis,RPCA)在计算机视觉等领域被广泛关注，尤其在运动目标检测上表现出巨大的潜力。为了准确地进行运动目标检测，实际场景中面临很多的难题，例如，光照变化、伪装物体以及树叶摇动、水面波纹、喷泉等，对目标的判断容易产生误差，提取的背景噪声大，对前景检测的准确度产生影响，最终导致运动目标检测不准确。背景建模是运动目标检测中的主流方法，许多背景建模方法例如Gaussian混合模型(Gaussian Mixture Model,GMM)和可视背景提取(Visual Background extractor,ViBe)等都是基于单个像素的，忽略了像素间的相关信息，在处理一些复杂场景时不能取得良好的前背景分离效果，导致运动目标检测效果较差。
视频背景中帧与帧之间具有很强的相关性，若将视频背景的每一帧作为矩阵的一列，则满足低秩特性，可以将其看做低秩矩阵。而运动的前景只占整个视频很小的一部分，满足稀疏特性，可以将其看成稀疏矩阵。所以视频运动目标检测问题可以归结为矩阵的低秩稀疏分解问题，低秩部分可以较好地进行背景建模，稀疏部分可以较好地检测出前景运动目标，进而将视频分解为具有低秩特性的背景和稀疏特性的前景，从而同时完成视频的背景建模和前景检测。经典的低秩稀疏分解方法通常采用核范数(矩阵的奇异值之和)来近似秩函数，用l1范数来逼近稀疏度，此方法被称为主成分追踪(Principal ComponentPursuit,PCP)法。
传统的低秩稀疏分解问题是从一个具有稀疏误差的已知数据矩阵中恢复出低秩矩阵。该模型的如下：
Figure GDA0003725701610000011
其中，L∈Rm×n是低秩矩阵，S∈Rm×n是稀疏矩阵，M∈Rm×n是已知的数据矩阵，rank(L)表示L的秩，||S||0表示S的l0范数，λ＞0是折中因子。
上述模型是个NP难问题，一般很难求解，于是用核范数来逼近秩函数，用l1范数近似l0范数，则可以转化为如下的凸松弛问题进行求解：
Figure GDA0003725701610000021
其中
Figure GDA0003725701610000022
表示矩阵L的核范数，是矩阵L的所有奇异值之和，||·||1表示l1范数，即矩阵所有元素绝对值之和。该模型即是著名的PCP模型，可以在对背景进行建模的同时能够分离出前景目标，但只能对于简单场景下的视频数据可以很好的检测出运动目标。
为了更有效进行视频运动目标检测，研究者对PCP模型加入运动辅助信息，即得到下述模型：
Figure GDA0003725701610000023
此模型是运动辅助矩阵恢复(Motion-Assisted Matrix Restoration,MAMR)模型，其中||·||*表示矩阵的核范数，||·||1表示l1范数，W代表视频矩阵数据的运动信息，符号
Figure GDA0003725701610000026
表示两个矩阵的对应元素相乘。
这个模型考虑了视频帧之间的联系，用光流法获取运动信息形成一个运动辅助矩阵，比较视频帧和参考帧之间的运动信息，并通过给定的阈值重新选择新的参考帧，克服具有缓慢运动特性的视频帧，进一步的促进了前背景的分离。取得了较高的目标检测精度。但是用光流法获取运动信息的复杂度较高，从而导致算法运行时间较慢。此外，此模型仍然采用核范数逼近秩函数，是一个有偏估计，逼近程度不高。
也有研究者采用截断核范数逼近秩函数，并且考虑背景在变换域的稀疏先验，提出如下模型：
Figure GDA0003725701610000024
此模型是基于截断核范数和稀疏正则化的低秩稀疏分解(Low-Rank and SparseDecomposition via the Truncated Nuclear Norm and a Sparse Regularizer,LRSD-TNNS)模型，其中
Figure GDA0003725701610000025
表示矩阵L的截断范数，r为矩阵L的秩，||·||1表示l1范数，λ1＞0，λ2＞0是折中因子，g(·)表示一个酉变换。
此模型采用截断核范数(Truncated Nuclear Norm,TNN)和变换域的稀疏正则项表示背景先验，即用截断范数逼近表示背景部分的秩函数，并假设背景在变换域上具有稀疏性特性，该模型对较好的实现了简单场景的运动目标检，但截断核范数不稳定，在许多复杂场景下的运动目标检测效果并不理想。
虽然核范数被广泛用于低秩稀疏分解中的秩函数逼近，但因其对所有的奇异值同等对待，不能很好的逼近秩函数，而且采用核范数逼近秩函数是一个有偏估计，从而导致复杂场景下的运动目标检测效果较差。
此外，基于传统低秩稀疏分解的运动目标检测算法在进行目标检测时没有考虑到视频本身固有的属性和联系，没有进一步挖掘视频前背景的其他先验信息。
发明内容
本发明的目：本发明针对传统低秩稀疏分解用于视频运动目标检测时，检测精度较低的问题，提出一种基于非凸运动辅助低秩稀疏分解的目标检测算法，实现对秩函数的近似表达刻画更加准确，实现更好的运动目标检测。
技术方案：一种基于非凸运动辅助的目标检测方法，包括以下步骤：
步骤1：将待处理的视频数据输入至已构建的低秩稀疏分解模型中；
步骤2：采用交替方向乘子法对低秩稀疏分解模型进行求解，得到输入视频数据中的运动目标。
进一步的，所述低秩稀疏分解模型为基于非凸运动辅助的低秩稀疏分解模型，表达式如下：
Figure GDA0003725701610000031
其中，Z＝g(L)为辅助变量，g(L)表示对背景矩阵L进行酉变换，||L||γ表示矩阵L的非凸γ范数，||S||1表示矩阵的l1范数，M∈Rm×n表示已知的数据矩阵，W∈Rm×n代表运动辅助信息矩阵，符号
Figure GDA0003725701610000034
表示两个矩阵的对应元素相乘，λ1＞0和λ2＞0是折中因子。
进一步的，所述步骤2具体包括以下步骤：
S21：给定ρ＞1、λ1＞0、λ2＞0、μ0＞0、M和W，初始点L0＝0、S0＝0、Y0＝0和P0＝0，迭代次数j＝0；ρ表示了迭代过程的加速因子，λ1，λ2表示折中因子，μ0表示初始的惩罚参数值，M∈Rm×n表示已知的数据矩阵，W∈Rm×n表示运动辅助信息矩阵，L0，S0分别代表了低秩矩阵L和稀疏矩阵S初始化的零矩阵，Y0，P0表示拉格朗日乘子初始化的零矩阵。。
S22：更新变量Lj+1：
Lj+1＝Udiag{σ*}VT
式中，U，V分别表示了对矩阵的奇异值分解的左右正交矩阵，diag(·)表示创建对角矩阵，σ*表示了最优的奇异值，σ*由σk收敛得到：
Figure GDA0003725701610000032
式中，
Figure GDA0003725701610000033
表示f(·)在σk处的梯度，(·)+表示取正运算，σA表示矩阵A的奇异值，μj表示第j步的惩罚参数；
S23：更新变量Sj+1：
Figure GDA0003725701610000041
其中shrink(X，t)＝sign(X)max(abs(X)-t，0)表示软阈值算子，sign(·)表示符号函数，max(·)表示了元素的最大的值，abs(·)表示了元素的绝对值，M∈Rm×n表示已知的数据矩阵，W∈Rm×n表示运动辅助信息矩阵，Lj+1表示了在第j+1步的L变量值，Yj、μj表示了第j步的拉格朗日乘子和惩罚参数，λ1表示对变量S的折中因子。
S24：更新变量Zj+1：
Figure GDA0003725701610000042
其中，g(·)表示了对变量L的酉变换，shrink(X，t)＝sign(X)max(abs(X)-t，0)表示软阈值算子，Yj、μj表示了第j步的拉格朗日乘子和惩罚参数，λ2表示对变量Z的折中因子。
S25：更新变量Yj+1：
Yj+1＝Yj+μj(M-Lj+1-Sj+1) (13)
其中M∈Rm×n表示数据矩阵，Lj+1，Sj+1表示变量L，S的第j+1步的值。
S26：更新变量Pj+1：
Pj+1＝Pj+μj(Zj+1-g(Lj+1)) (14)
其中Zj+1表示变量Z的第j+1步的值，g(Lj+1)表示对Lj+1进行酉变换，Pj、μj表示了第j步的拉格朗日乘子参数和惩罚参数。
S27：更新变量μj+1：
μj+1＝ρμj (15)
其中的ρ＞1是加速因子，μj表示了第j步的惩罚参数。
S28：判断是否满足终止条件：
Figure GDA0003725701610000043
其中||·||F表示了Frobenius范数，M∈Rm×n表示已知的数据矩阵，Lj+1表示了在第j+1步的L变量值，Sj+1表示了在第j+1步的S变量值。
进一步的，所述待处理的视频数据为大小为Rm×n的二维矩阵M，m为视频帧的长宽乘积，n为视频所含的帧数。
有益效果：本发明的运动目标检测方法是基于低秩稀疏分解下的运动目标检测，首先考虑到视频背景的低秩特性，采用非凸γ范数对秩函数进行逼近，还考虑视频背景在变换域上仍然具有稀疏性，引入背景在变换域的稀疏先验。此外，还引入运动辅助信息矩阵，使其融入前景的运动信息，表示每个像素属于背景的可能性，进一步提高视频运动目标检测的准确度。然后，采用交替方向乘子法对提出的模型进行求解。最后，将提出的方法应用到视频运动目标检测上，进行仿真实验，并对实验结果进行分析，实验结果表明提出的方法比其他基于低秩稀疏分解的运动目标检测方法更具有优越性和有效性。。
附图说明
图1为本发明的流程图；
图2为具体实施例中，本发明与其他基于低秩稀疏分解模型的运动目标检测方法提取出的前景的仿真实验结果对比图；
其中，图2中(a)为原始视频帧；图2中(b)为实际前景；图2中(c)为本发明所提出方法提取的视频前景；图2中(d)-图2中(g)分别为基于低秩稀疏分解的MAMR、LRSD-TNNSR、GoDec和PCP算法提取的视频前景。
具体实施方式
现结合附图和实施例进一步阐述本发明的技术方案。
本发明采用非凸γ范数代替传统低秩稀疏分解模型中的秩函数近似表示视频背景的低秩部分，同时考虑到背景在变换域上仍然具有稀疏性的特性，采用l1范数对变换域的背景进行稀疏性近似，前景仍然采用表示运动目标稀疏先验的的l1范数。此外，在上述的模型中引入运动辅助信息矩阵，使其融入前景的运动信息，更好的实现视频的运动目标检测。于是提出如下的非凸运动辅助低秩稀疏分解(Nonconvex Motion-Assisted Low Rankand Sparse Decomposition,NMALRSD)模型：
Figure GDA0003725701610000051
其中，L∈Rm×n表示低秩矩阵，S∈Rm×n表示了稀疏矩阵，M∈Rm×n表示已知的数据矩阵，g(L)表示对背景矩阵L进行酉变换(例如离散余弦变换、离散小波变换等)，||L||γ表示矩阵L的非凸γ范数，||S||1表示矩阵的l1范数，W∈Rm×n代表运动信息矩阵，符号
Figure GDA0003725701610000052
表示两个矩阵的对应元素相乘，λ1＞0和λ2＞0是折中因子。获取了确定视频帧的数据矩阵后，生成与视频帧矩阵大小相同的运动辅助信息矩阵W，该矩阵的元素采用满足均匀分布的0或1来表示，其中1表示静止的背景的像素，0表示前景的运动像素。由于运动辅助信息矩阵融入了前景的运动信息，能更好的实现视频的运动目标检测。
采用交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)对提出的非凸运动辅助低秩稀疏分解模型进行求解：
引入辅助变量Z＝g(L)，提出的模型方程则转化为如下格式：
Figure GDA0003725701610000061
约束优化问题(2)可以通过ADMM算法进行求解，其增广拉格朗日函数为：
Figure GDA0003725701610000062
其中，μ＞0为惩罚参数，λ1，λ2表示折中因子，Y和P是拉格朗日乘子，<·，·>表示矩阵内积，
Figure GDA0003725701610000063
是矩阵的Frobenius范数的平方，L∈Rm×n是低秩矩阵，S∈Rm×n是稀疏矩阵，M∈Rm×n是已知的数据矩阵，||·||γ表示非凸γ范数，||·||1表示了矩阵l1范数，符号
Figure GDA0003725701610000064
表示两矩阵的对应元素相乘，L(·,·,·,·,·,·)表示增广拉格朗日函数。
首先，固定变量S、Z、Y、P和μ，更新变量L得：
Figure GDA0003725701610000065
为了解决这个问题，由帕塞瓦尔定理知酉变换(例如离散余弦变换、离散小波变换等)遵守能量守恒定律，即
Figure GDA0003725701610000066
其中H(·)是一个酉变换。假设g-1(·)表示酉变换g(·)的反变换，将反变换用于优化问题的目标函数的最后一项，由帕塞瓦尔定理知问题可以转化为如下问题进行求解：
Figure GDA0003725701610000067
其中，||L||γ表示了低秩矩阵L的非凸γ范数，g-1(·)表示酉变换的反变换，Sj，Zj分别表示对变量S，Z的第j步的值，Pj，Yj，μj分别表示了第j步的拉格朗日乘子和惩罚参数。
令A＝U∑AVT为A∈Rm×n的奇异值分解，其中∑A＝diag(σA)，σA表示矩阵的奇异值，diag(·)表示了对元素创建对角矩阵。又设
Figure GDA0003725701610000068
表示一个酉不变方程，根据文献上述方优化问题(5)可以转化为下述优化问题进行求解：
Figure GDA0003725701610000071
其中μ＞0为参数。优化问题(6)的解为
Figure GDA0003725701610000072
其中
Figure GDA0003725701610000073
σ*＝proxf,u(σA)。其中的proxf,u(σA)表示Moreau-Yosida算子，其定义为：
Figure GDA0003725701610000074
上式的目标函数是是凹凸函数的组合。此问题可以采用DC(Difference ofConvex,DC)算法进行求解。DC算法是把一个凹函数分解为2个凸函数的差，通过线性化凹函数项进行求解，其内循环迭代格式为：
Figure GDA0003725701610000075
上述方程有如下的闭式解：
Figure GDA0003725701610000076
其中
Figure GDA0003725701610000077
表示f(·)在σk处的梯度，σk表示了奇异值在k步的取值，(·)+表示取正运算。经过内循环迭代后，σj会收敛到局部最优点σ*，于是有：
Figure GDA0003725701610000078
其中Udiag{σ*}VT表示对
Figure GDA0003725701610000079
进行奇异值分解，svd(·)表示对元素奇异值分解函数，g-1(·)表示酉变换的反变换。
其次，固定变量L、Z、Y、P和μ，更新变量S得：
Figure GDA00037257016100000710
其中shrink(X,t)＝sign(X)max(abs(X)-t,0)表示软阈值算子，sign(·)表示符号函数,max(·)表示了元素的最大的值，abs(·)表示了元素的绝对值，Lj+1表示了在第j+1步的L变量值，Yj、μj表示了第j步的拉格朗日乘子和惩罚参数，λ1表示对变量S的折中因子。
然后固定变量L、S、Y、P和μ，更新变量Z得：
Figure GDA0003725701610000081
其中，||Z||1表示矩阵Z的l1范数，
Figure GDA0003725701610000082
是矩阵的Frobenius范数的平方，Lj+1表示了在第j+1步的L变量值，Pj、μj表示了第j步的拉格朗日乘子和惩罚参数，λ2表示对变量Z的折中因子，其中shrink(X,t)＝sign(X)max(abs(X)-t,0)表示软阈值算子，g(Lj+1)表示对Lj+1进行酉变换。
最后对乘子Y和P，以及惩罚参数μ进行如下更新：
Yj+1＝Yj+μj(M-Lj+1-Sj+1) (13)
其中，其中M∈Rm×n表示数据矩阵，Lj+1，Sj+1表示变量L，S的第j+1步的值。
Pj+1＝Pj+μj(Zj+1-g(Lj+1)) (14)
其中Zj+1表示变量Z的第j+1步的值，g(Lj+1)表示对Lj+1进行酉变换，Pj、μj表示了第j步的拉格朗日乘子参数和惩罚参数。
μj+1＝ρμj (15)
其中的ρ＞1是加速因子，μj表示了第j步的惩罚参数。
综上所述，采用交替方向乘子法求解基于非凸运动辅助的低秩稀疏分解模型的算法步骤如下：
S1：初始化：给定ρ＞1、λ1＞0、λ2＞0、μ0＞0、M和W，初始点L1＝0、S1＝0、Y0＝0和P0＝0，迭代次数j＝0；ρ表示了迭代过程的加速因子，λ1，λ2表示折中因子，μ0表示初始的惩罚参数值，M∈Rm×n表示数据矩阵，W∈Rm×n表示运动辅助信息矩阵，L1，S1分别代表了低秩矩阵，稀疏矩阵初始化的零矩阵，Y0，P0表示拉格朗日乘子初始化的零矩阵。。
S2：更新变量Lj+1:在内循环中求解σ*，内循环的k+1步更新公式为：
Figure GDA0003725701610000083
进而得到Lj+1＝Udiag{σ*}VT；
S3：更新变量Sj+1：
Figure GDA0003725701610000091
其中shrink(X,t)＝sign(X)max(abs(X)-t,0)表示软阈值算子，sign(·)表示符号函数，max(·)表示了元素的最大的值，abs(·)表示了元素的绝对值，M∈Rm×n表示数据矩阵，W∈Rm×n表示运动辅助信息矩阵，Lj+1表示了在第j+1步的L变量值，Yj、μj表示了第j步的拉格朗日乘子和惩罚参数，λ1表示对变量S的折中因子。
S4：更新变量Zj+1：
Figure GDA0003725701610000092
其中，g(·)表示了对变量L的酉变换，shrink(X,t)＝sign(X)max(abs(X)-t,0)表示软阈值算子，Yj、μj表示了第j步的拉格朗日乘子参数和惩罚参数，λ2表示对变量Z的折中因子。
S5：更新变量Yj+1：
Yj+1＝Yj+μj(M-Lj+1-Sj+1) (13)
其中M∈Rm×n表示数据矩阵，Lj+1，Sj+1表示变量L，S的第j+1步的值。
S6：更新变量Pj+1:
Pj+1＝Pj+μj(Zj+1-g(Lj+1)) (14)
其中Zj+1表示变量Z的第j+1步的值，g(Lj+1)表示对Lj+1进行酉变换，Pj、μj表示了第j步的拉格朗日乘子参数和惩罚参数。
S7：更新变量μj+1：
μj+1＝ρμj (15)
其中的ρ＞1是加速因子，μj表示了第j步的惩罚参数。
若满足终止条件：
Figure GDA0003725701610000093
其中||·||F表示了Frobenius范数，M∈Rm×n表示数据矩阵，Lj+1表示了在第j+1步的L变量值，Sj+1表示了在第j+1步的S变量值。
则迭代终止，否则，令j＝j+1返回步骤S2；
将待处理视频保存为一个大小为Rm×n的二维矩阵M，其中m为视频帧的长宽乘积，n为视频所含的帧数，利用构建的基于非凸运动辅助的低秩稀疏分解模型，输入待处理视频数据，利用交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)对构建的模型进行求解，进而完成对视频的运动目标检测。
为了评估提出的基于NMALRSD的视频目标检测方法的性能，将提出的方法和MAMR、LRSD-TNNSR、GoDec、PCP其他四种基于低秩稀疏分解的视频目标检测方法进行比较。提出的NMALRSD的参数设置如下：λ1＝0.11，λ2＝0.001，ρ＝1.2，μ0＝3×10-3，相对误差
Figure GDA0003725701610000101
选择了7组视频帧Bootstrap、ShoppingMall、WaterSurface、backdoor、busStation、highway和office。具体测试帧信息如下：
"Bootstrap"100帧(160×120)从1746到1845；
"ShoppingMall"100帧(320×256)从1729到1828；
"office"100帧(360×240)从577到676；
"WaterSurface"100帧(160×128)从1450到1549；
"highway"包括100帧(320×240)从649到748；
"backdoor"包括100帧(320×240)从1630到1729；
"busStation"包括100帧(360×240)从1063到1162.
为了说明提出算法的优越性，随机选取Bootstrap的第1842帧、ShoppingMall的第1827帧、office的第671帧、WaterSurface的第1549帧、highway的第685帧、backdoor的第1661帧和busStation的第1073帧，其实验结果如图1所示。
由图1可以看出提出的NMALRSD提取的前景目标比MAMR、LRSD-TNNSR、GoDec和PCP算法提取的前景目标的结构更完整，例如对backdoor视频，NMALRSD算法提取的前景几乎没有背景栅栏的影响，但GoDec和PCP两种算法提取的前景中明显有栅栏的影响。再比如在有光照的office场景中，GoDec算法得到的前景中有大片面积的受光照强度的影响，而且在ShoppingMall和office视频中，GoDec算法的前景检测有误。此外，LRSD-TNNSR和PCP算法提取的office和waterSurface视频帧中的运动目标的轮廓线不完整，不能正确地检测出运动的前景。因此，本文提出的NMALRSD算法相对与其他基于低秩稀疏分解的运动目标检测算法，检测效果更好。
为了进一步验证提出算法的优越性，分别采用F-measure值和运行时间(单位为秒/帧)作为评价运动目标检测效果和算法复杂度的衡量指标。F-measure值同时考虑准确率和召回率，其值范围介于0和1之间，值越大，运动目标检测效果越好，其定义格式为：
Figure GDA0003725701610000102
其中，
Figure GDA0003725701610000103
为准确率，
Figure GDA0003725701610000104
为召回率，TP是被正确判定为前景的像素数目，FP是被误判定为前景的背景像素数目，FN是被误判为背景的前景像素数目。
5种算法对7个不同场景视频提取的前景效果的F-measure值如表1所示。由表1可以看出提出的NMALRSD的F-measure值高于其他4种算法的F-measure值。例如在office视频帧中，提出的NMALRSD算法得到的F-measure值比MAMR、LRSD-TNNSR、GoDec和PCP算法分别高了0.0131、0.1248、0.1455和0.34；在WaterSurface视频帧中，NMALRSD算法的F-measure值比MAMR、LRSD-TNNSR、GoDec和PCP算法分别高了0.0141、0.0249、0.0510和0.0363。总之，提出的NMALRSD在视频运动目标检测上有更高的准确性，性能更优。
表格1不同算法的F-measure值(s/帧)
F-measure Bootstrap ShoppingMall office WaterSurface highway backdoor busStation
NMALRSD 0.7427 0.7360 0.8366 0.8124 0.7333 0.2594 0.7763
MAMR 0.7423 0.7345 0.8235 0.7983 0.7296 0.2557 0.7727
LRSD-TNNSR 0.6660 0.7327 0.7118 0.7875 0.7315 0.2581 0.7632
GoDec 0.7387 0.6830 0.6911 0.7614 0.7255 0.2514 0.7210
PCP 0.7052 0.7185 0.4966 0.7761 0.7081 0.2576 0.7609
5种算法对7个不同场景每帧视频提取的前景的运行时间如表2所示。
表格2运算时间的比较(秒/帧)
时间 Bootstrap ShoppingMall office WaterSurface highway backdoor busStation
NMALRSD 0.075 0.363 0.377 0.082 0.332 0.350 0.401
MAMR 0.051 0.255 0.257 0.057 0.235 0.249 0.264
LRSD-TNNSR 0.168 0.708 0.786 0.179 0.659 0.649 0.904
GoDec 0.002 0.011 0.011 0.002 0.009 0.009 0.024
PCP 0.137 1.139 1.519 0.101 0.963 0.884 1.140
由表2可以看出所提出的NMALRSD算法的运行时间比GoDec的运行时间长，和MAMR算法的运行时间相差不大，比LRSD-TNNSR和PCP算法的运行时间要快的多。综合考虑算法的性能和复杂度，提出的NMALRSD算法比MAMR、LRSD-TNNSR、GoDec和PCP算法更优和有效。

Claims (3)

1.一种基于非凸运动辅助的目标检测方法，其特征在于：包括以下步骤：
步骤1：将待处理的视频数据输入至已构建的低秩稀疏分解模型中；
步骤2：采用交替方向乘子法对构建的低秩稀疏分解模型进行求解，得到输入视频数据中的运动目标；
所述低秩稀疏分解模型为基于非凸运动辅助的低秩稀疏分解模型，表达式如下：
Figure FDA0003725701600000011
Figure FDA0003725701600000012
Z＝g(L)
其中，Z＝g(L)为辅助变量，g(L)表示对背景矩阵L进行酉变换，||L||γ表示矩阵L的非凸γ范数，||S||1表示矩阵的l1范数，M∈Rm×n表示已知的数据矩阵，W∈Rm×n代表运动辅助信息矩阵，符号
Figure FDA0003725701600000016
表示两个矩阵的对应元素相乘，λ1＞0和λ2＞0是折中因子，S表示稀疏矩阵。
2.根据权利要求1所述的一种基于非凸运动辅助的目标检测方法，其特征在于：所述步骤2具体包括以下步骤：
S21：给定ρ＞1、λ1＞0、λ2＞0、μ0＞0、M和W，初始点L0＝0、S0＝0、Y0＝0和P0＝0，迭代次数j＝0；ρ表示迭代过程的加速因子，λ1，λ2表示折中因子，μ0表示初始的惩罚参数值，M∈Rm×n表示已知的数据矩阵，W∈Rm×n表示运动辅助信息矩阵，L0，S0分别代表了低秩矩阵L和稀疏矩阵S的初始化的零矩阵，Y0，P0表示拉格朗日乘子初始化的零矩阵；
S22：更新变量Lj+1：
Lj+1＝Udiag{σ*}VT
式中，U，V分别表示了对矩阵的奇异值分解的左右正交矩阵，diag(·)表示创建对角矩阵，σ*表示了最优的奇异值，σ*由σk收敛得到：
Figure FDA0003725701600000013
式中，
Figure FDA0003725701600000014
表示f(·)在σk处的梯度，(·)+表示取正运算，σA表示矩阵A的奇异值，μj表示第j步的惩罚参数；
S23：更新变量Sj+1：
Figure FDA0003725701600000015
其中shrink(X,t)＝sign(X)max(abs(X)-t,0)，t表示软阈值算子，sign(·)表示符号函数，max(·)表示了元素的最大的值，abs(·)表示了元素的绝对值，M∈Rm×n表示已知的数据矩阵，W∈Rm×n表示运动辅助信息矩阵，Lj+1表示了在第j+1步的L变量值，Yj、μj表示了第j步的拉格朗日乘子和惩罚参数，λ1表示对变量S的折中因子；
S24：更新变量Zj+1：
Figure FDA0003725701600000021
其中，g(·)表示了对变量L的酉变换，shrink(X,t)＝sign(X)max(abs(X)-t,0)表示软阈值算子，Yj、μj表示了第j步的拉格朗日乘子和惩罚参数，λ2表示对变量Z的折中因子；
S25：更新变量Yj+1：
Yj+1＝Yj+μj(M-Lj+1-Sj+1) (13)
其中M∈Rm×n表示已知的数据矩阵，Lj+1，Sj+1表示变量L，S的第j+1步的值；
S26：更新变量Pj+1:
Pj+1＝Pj+μj(Zj+1-g(Lj+1)) (14)
其中Zj+1表示变量Z的第j+1步的值，g(Lj+1)表示对Lj+1进行酉变换，Pj、μj表示了第j步的拉格朗日乘子参数和惩罚参数；
S27：更新变量μj+1：
μj+1＝ρμj (15)
其中的ρ＞1是加速因子，μj表示了第j步的惩罚参数；
S28：判断是否满足终止条件：
Figure FDA0003725701600000022
其中||·||F表示了Frobenius范数，M∈Rm×n表示已知的数据矩阵，Lj+1表示了在第j+1步的L变量值，Sj+1表示了在第j+1步的S变量值；
若满足，则迭代终止，否则令j＝j+1返回步骤S22。
3.根据权利要求1所述的一种基于非凸运动辅助的目标检测方法，其特征在于：所述待处理的视频数据为大小为Rm×n的二维矩阵M，m为视频帧的长宽乘积，n为视频所含的帧数。
CN201911271901.3A 2019-10-09 2019-12-12 一种基于非凸运动辅助的目标检测方法 Active CN111191680B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2019109520767 2019-10-09
CN201910952076 2019-10-09

Publications (2)

Publication Number Publication Date
CN111191680A CN111191680A (zh) 2020-05-22
CN111191680B true CN111191680B (zh) 2022-08-26

Family

ID=70707837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911271901.3A Active CN111191680B (zh) 2019-10-09 2019-12-12 一种基于非凸运动辅助的目标检测方法

Country Status (1)

Country Link
CN (1) CN111191680B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150502A (zh) * 2020-09-14 2020-12-29 燕山大学 缓变运动背景中运动目标检测方法
CN112101082B (zh) * 2020-11-16 2023-07-21 华南理工大学 一种基于改进低秩稀疏分解的旋转机械故障诊断方法
CN113723183B (zh) * 2021-07-21 2024-02-20 南京信息职业技术学院 一种鲁棒的低秩稀疏分解的运动目标检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109345563A (zh) * 2018-09-14 2019-02-15 南京邮电大学 基于低秩稀疏分解的运动目标检测方法
CN110210282A (zh) * 2019-04-03 2019-09-06 南京邮电大学 一种基于非凸低秩稀疏分解的运动目标检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109345563A (zh) * 2018-09-14 2019-02-15 南京邮电大学 基于低秩稀疏分解的运动目标检测方法
CN110210282A (zh) * 2019-04-03 2019-09-06 南京邮电大学 一种基于非凸低秩稀疏分解的运动目标检测方法

Also Published As

Publication number Publication date
CN111191680A (zh) 2020-05-22

Similar Documents

Publication Publication Date Title
Zhang et al. Nonlocal low-rank tensor completion for visual data
Hu et al. Moving object detection using tensor-based low-rank and saliently fused-sparse decomposition
CN111191680B (zh) 一种基于非凸运动辅助的目标检测方法
Jiang et al. Matrix factorization for low-rank tensor completion using framelet prior
Weiss et al. What makes a good model of natural images?
Zhou et al. Bayesian low-tubal-rank robust tensor factorization with multi-rank determination
CN107680116B (zh) 一种监测视频图像中运动目标的方法
CN108510013B (zh) 基于低秩核心矩阵的改进稳健张量主成分分析的背景建模方法
CN110287819A (zh) 动态背景下基于低秩及稀疏分解的动目标检测方法
Wang et al. Single image rain streaks removal: a review and an exploration
CN108765313B (zh) 基于类内低秩结构表示的高光谱图像去噪方法
CN110490894B (zh) 基于改进的低秩稀疏分解的视频前背景分离方法
Chen et al. Hyperspectral image denoising by total variation-regularized bilinear factorization
Kutz et al. Dynamic mode decomposition for robust pca with applications to foreground/background subtraction in video streams and multi-resolution analysis
Kuang et al. An adaptive rank-sparsity K-SVD algorithm for image sequence denoising
Kong et al. Low-Tubal-Rank tensor recovery with multilayer subspace prior learning
Zhu et al. LIGAA: Generative adversarial attack method based on low-frequency information
Mehrabian et al. A constrained independent component analysis technique for artery–vein separation of two-photon laser scanning microscopy images of the cerebral microvasculature
Li et al. Multi-source weakly supervised salient object detection via boosting weak-annotation source and constraining object structure
Yang et al. Detail-aware near infrared and visible fusion with multi-order hyper-Laplacian priors
Yang et al. Estimation of signal-dependent noise level function using multi-column convolutional neural network
Su et al. Regularized fully convolutional networks for RGB-D semantic segmentation
Lam et al. Statistical bootstrap-based principal mode component analysis for dynamic background subtraction
Fei et al. Adaptive PCA transforms with geometric morphological grouping for image noise removal
Bellamine et al. Optical flow estimation based on the structure–texture image decomposition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant