CN110675422B - 一种基于广义非凸鲁棒主成分分析的视频前背景分离方法 - Google Patents
一种基于广义非凸鲁棒主成分分析的视频前背景分离方法 Download PDFInfo
- Publication number
- CN110675422B CN110675422B CN201910933428.4A CN201910933428A CN110675422B CN 110675422 B CN110675422 B CN 110675422B CN 201910933428 A CN201910933428 A CN 201910933428A CN 110675422 B CN110675422 B CN 110675422B
- Authority
- CN
- China
- Prior art keywords
- video
- matrix
- generalized
- convex
- principal component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000513 principal component analysis Methods 0.000 title claims abstract description 40
- 238000000926 separation method Methods 0.000 title claims abstract description 30
- 239000011159 matrix material Substances 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 230000003321 amplification Effects 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 2
- 238000006467 substitution reaction Methods 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于广义非凸鲁棒主成分分析的视频前背景分离方法,将待处理视频转化为一个大小为m行,n列的二维矩阵M,其中m为视频中每一帧的长宽积,n为待处理视频所含的帧数;将所述二维矩阵M输入至预先构建的基于广义非凸鲁棒主成分分析的视频前背景分离模型,得到低秩矩阵L和稀疏矩阵S,低秩矩阵L和稀疏矩阵S分别为待处理视频的背景和前景。优点:解决了现有的视频前背景分离方法中对秩函数和稀疏度函数的替代函数过惩罚而导致逼近程度不佳的问题,提高了视频前背景方法的性能。
Description
技术领域
本发明涉及一种基于广义非凸鲁棒主成分分析的视频前背景分离方法,属于视频分析技术领域。
背景技术
视频作为重要的信息载体,被广泛应用于社会安全、服务和娱乐等多个方面,成为大数据时代我们日常生活不可或缺的部分。随着视频重要地位的不断凸显,视频分析技术随之成为智能视频监控、运动目标跟踪、计算机视觉和模式识别等领域的重要研究对象。作为视频分析基础性研究技术之一的视频前背景分离技术顺应成为研究热点。视频前背景分离技术是视频分析的基础,是将移动的前景和静止的背景进行分离的一种技术。传统的视频前背景分离技术主要是针对单个像素进行处理,例如高斯混合模型、低阶低通滤波模型、ViBe算法、时域中值滤波等,虽然基于单像素视频处理的算法针对性比较强,但在处理的过程中容易忽略视频像素之间以及帧与帧之间结构的相关性,视频前背景分离效果不佳。
现有技术在视频处理中无法直接精确提取运动的前景,仅适合处理轻度腐蚀的数据,即在对腐蚀性大或者破坏严重的视频进行视频背景建模时,提取的前景和背景通常会互相干扰,故难以恢复破坏严重的数据。或者由于某些场景采集的视频具有不连贯性,导致观测矩阵背景的低秩性不强,使得现有技术得到的最优解产生了偏差,导致分离的数据严重失真,最终难以分离视频的前景和背景;核范数是矩阵奇异值的l1范数,在计算过程中会同等的对待所有的奇异值,使得所有奇异值在最优化过程中按照统一原则进行处理,进而会出现对某些奇异值过惩罚的问题;最后,核范数本质是秩函数的凸闭包,但这种近似替代是个有偏估计。
发明内容
本发明所要解决的技术问题是克服传统鲁棒主成分分析的视频前背景分离的精度不高的问题,提供一种基于广义非凸鲁棒主成分分析的视频前背景分离方法。
为解决上述技术问题,本发明提供一种基于广义非凸鲁棒主成分分析的视频前背景分离方法,将待处理视频转化为一个大小为m行,n列的二维矩阵M,其中m为视频中每一帧的长宽积,n为待处理视频所含的帧数;将所述二维矩阵M输入至预先构建的基于广义非凸鲁棒主成分分析的视频前背景分离模型,得到低秩矩阵L和稀疏矩阵S,低秩矩阵L和稀疏矩阵S分别为待处理视频的背景和前景。
进一步的,所述基于广义非凸鲁棒主成分分析的视频前背景分离模型的构建过程为:
利用广义核范数对传统鲁棒主成分分析模型中的秩函数进行替代,并构建广义核范数模型;利用广义范数来对传统鲁棒主成分分析模型中的l0范数进行替代,并构建广义范数模型;将广义核范数模型和广义范数模型进行组合构建基于广义非凸鲁棒主成分分析的视频前背景分离模型。
采用广义核范数和广义范数来代替鲁棒主成分分析模型中的秩函数和l0范数,以解决现有鲁棒主成分分析模型存在的对秩函数和稀疏度函数的替代函数过惩罚而导致逼近程度不佳的问题。
进一步的,所述广义核范数和广义范数为满足闭的、正常的下半连续函数。例如Logarithm函数、平滑切片绝对偏差函数、最小-最大凹性函数等,此类函数为非凸函数,更能逼近视频稀疏的前景和低秩的背景。
进一步的,所述满足闭的、正常的下半连续函数为Logarithm惩罚函数,表达式为:
其中,τ>0和γ>0均为参数,x表示函数的自变量。
进一步的,所述基于广义非凸鲁棒主成分分析的视频前背景分离模型为:
s.t.D=L+S
进一步的,由于交替方向乘子法具有有效性、灵活性和简单性,故本发明利用交替方向乘子法对基于广义非凸鲁棒主成分分析的视频前背景分离模型求解,得到低秩矩阵L和稀疏矩阵S。
进一步的,所述求解的过程为:
(1)给定λ>0、μ0>0、μmax>μ0和ρ>1,初始点L0=0、S0=0和迭代次数k初始值为0,其中ρ为放大因子,λ表示折中参数、μ0表示惩罚因子的初始值、μmax表示惩罚因子的最大值、L0表示低秩矩阵的初始值、S0表示稀疏矩阵的初始值、Y0表示拉格朗日乘子初始值;
(2)根据式更新变量Lk+1,其中Lk+1表示第k步的低秩矩阵的值,Uk和Vk分别表示对矩阵的奇异值分解的左右矩阵,σ(·)表示的奇异值,Diag(·)为矩阵对应的对角阵,为非凸函数g(·)的邻近算子,μk表示第k步的惩罚因子、Sk第k步的稀疏矩阵的值、Yk为乘子和T表示转置;
(4)根据式Yk+1=Yk-μk(Lk+1+Sk+1-D)更新变量Yk+1;
(5)根据式μk+1=min(ρμk,μmax)更新变量μk+1,μk+1表示第k+1步的惩罚因子;
本发明所达到的有益效果:
解决现有鲁棒主成分分析模型存在的对秩函数和稀疏度函数的替代函数过惩罚而导致逼近程度不佳的问题,提高了视频前背景方法的性能。
附图说明
图1是基于广义非凸鲁棒主成分分析的视频前背景分离方法框图;
图2不同算法对不同视频的前景提取实验对比;
图3不同算法对不同视频处理的F-measure值比较。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
如图1所示,一种基于广义非凸鲁棒主成分分析的视频前背景分离方法,构建基于广义非凸鲁棒主成分分析的视频前背景分离模型(Generalized Nonconvex RobustPrincipal Component Analysis,GNRPCA),该GNRPCA模型分别采用广义核范数和广义范数来代替鲁棒主成分分析模型中的秩函数和l0范数,以解决现有鲁棒主成分分析模型存在的对秩函数和稀疏度函数的替代函数过惩罚而导致逼近程度不佳的问题。然后采用交替方向乘子法对提出的基于广义非凸鲁棒主成分分析的视频前背景分离模型进行求解。
提出如下的更一般形式的广义非凸鲁棒主成分分析模型:
s.t.D=L+S
其中是非凸的、闭的、正常的下半连续函数,例如Logarithm函数、平滑切片绝对偏差函数、最小-最大凹性函数等。σi(L)为低秩矩阵L的第i个奇异值,Sj为稀疏矩阵S的第j个元素。此模型为一非凸鲁棒主成分分析模型,是RPCA模型(1)的更一般、更精确的逼近形式。当g(x)=x时有和此时广义核范数即为核范数,广义范数即为l1范数,提出的基于广义非凸鲁棒主成分分析的视频前背景分离模型则退化为PCP模型。
本发明采用交替方向乘子法对提出的广义非凸鲁棒主成分分析模型进行求解。
基于广义非凸鲁棒主成分分析的视频前背景分离模型对应的增广拉格朗日函数为:
其中,μ>0是惩罚因子,Y是拉格朗日乘子,<·,·>为矩阵的内积,min(m,n)表示取m,n的最小值。
首先,固定S、Y和μ,更新L,于是有:
然后,固定L、Y和μ,更新S,于是得到:
由邻近算子的定义可以得到:
最后,分别对乘子Y和惩罚参数μ进行如下更新:
Yk+1=Yk-μk(Lk+1+Sk+1-D)
μk+1=min(ρμk,μmax)
其中ρ>1为放大因子。
综上所述,采用ADMM算法求解提出的模型(3)的具体步骤如下:
⑷更新变量Y:根据式Yk+1=Yk-μk(Lk+1+Sk+1-D)更新变量Yk+1;
⑸更新变量μ:根据式μk+1=min(ρμk,μmax)更新变量μk+1;
否则,令k=k+1返回步骤(2)。
如图2所示,(a)为7个原始视频帧,(b)为选取帧的真实前景,(c)-(h)分别为GNRPCA算法、NonLRSD算法、Godec算法、TNN算法、NNWNN算法和PCP算法提取的前景;如图3所示,不同算法对不同视频的前景提取实验对比结果;根据图2和图3的对比结果,说明本发明解决了现有鲁棒主成分分析模型存在的对秩函数和稀疏度函数的替代函数过惩罚而导致逼近程度不佳的问题,提高了视频前背景方法的性能。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。
Claims (4)
1.一种基于广义非凸鲁棒主成分分析的视频前背景分离方法,其特征在于,将待处理视频转化为一个大小为m行,n列的二维矩阵M,其中m为视频中每一帧的长宽积,n为待处理视频所含的帧数;将所述二维矩阵M输入至预先构建的基于广义非凸鲁棒主成分分析的视频前背景分离模型,得到低秩矩阵L和稀疏矩阵S,低秩矩阵L和稀疏矩阵S分别为待处理视频的背景和前景;
所述基于广义非凸鲁棒主成分分析的视频前背景分离模型为:
s.t.D=L+S
利用交替方向乘子法对基于广义非凸鲁棒主成分分析的视频前背景分离模型求解,得到低秩矩阵L和稀疏矩阵S;
所述求解的过程为:
(1)给定λ>0、μ0>0、μmax>μ0和ρ>1,初始点L0=0、S0=0和迭代次数k初始值为0,其中ρ为放大因子、μ0表示惩罚因子的初始值、μmax表示惩罚因子的最大值、L0表示低秩矩阵的初始值、S0表示稀疏矩阵的初始值、Y0表示拉格朗日乘子初始值;
(2)根据式更新变量Lk+1,其中Lk+1表示第k步的低秩矩阵的值,Uk、Vk分别表示对矩阵的奇异值分解的左右矩阵,σ(·)表示的奇异值,Diag(·)为矩阵对应的对角阵,为非凸函数g(·)的邻近算子,μk表示第k步的惩罚因子、Sk第k步的稀疏矩阵的值、Yk为乘子和T表示转置;
(4)根据式Yk+1=Yk-μk(Lk+1+Sk+1-D)更新变量Yk+1;
(5)根据式μk+1=min(ρμk,μmax)更新变量μk+1,μk+1表示第k+1步的惩罚因子;
2.根据权利要求1所述的基于广义非凸鲁棒主成分分析的视频前背景分离方法,其特征在于,所述基于广义非凸鲁棒主成分分析的视频前背景分离模型的构建过程为:
利用广义核范数对传统鲁棒主成分分析模型中的秩函数进行替代,并构建广义核范数模型;利用广义范数来对传统鲁棒主成分分析模型中的l0范数进行替代,并构建广义范数模型;将广义核范数模型和广义范数模型进行组合构建基于广义非凸鲁棒主成分分析的视频前背景分离模型。
3.根据权利要求2所述的基于广义非凸鲁棒主成分分析的视频前背景分离方法,其特征在于,所述广义核范数和广义范数为满足闭的、正常的下半连续函数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910933428.4A CN110675422B (zh) | 2019-09-29 | 2019-09-29 | 一种基于广义非凸鲁棒主成分分析的视频前背景分离方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910933428.4A CN110675422B (zh) | 2019-09-29 | 2019-09-29 | 一种基于广义非凸鲁棒主成分分析的视频前背景分离方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110675422A CN110675422A (zh) | 2020-01-10 |
CN110675422B true CN110675422B (zh) | 2023-03-03 |
Family
ID=69080193
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910933428.4A Active CN110675422B (zh) | 2019-09-29 | 2019-09-29 | 一种基于广义非凸鲁棒主成分分析的视频前背景分离方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110675422B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111429475B (zh) * | 2020-03-27 | 2023-04-18 | 南京信息职业技术学院 | 一种基于鲁棒低秩稀疏分解的视频前背景分离方法 |
CN111428795A (zh) * | 2020-03-27 | 2020-07-17 | 南京信息职业技术学院 | 一种改进的非凸鲁棒主成分分析方法 |
CN111563547B (zh) * | 2020-04-30 | 2023-05-02 | 南京信息职业技术学院 | 一种基于改进的截断核范数的鲁棒主成分分析方法 |
CN112767261B (zh) * | 2021-01-06 | 2024-02-13 | 温州大学 | 一种基于广义非凸张量鲁棒主成分分析模型的针对彩色图像和视频的非局部去噪框架 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109002802A (zh) * | 2018-07-23 | 2018-12-14 | 武汉科技大学 | 基于自适应鲁棒主成分分析的视频前景分离方法和系统 |
CN110210282A (zh) * | 2019-04-03 | 2019-09-06 | 南京邮电大学 | 一种基于非凸低秩稀疏分解的运动目标检测方法 |
CN110287819A (zh) * | 2019-06-05 | 2019-09-27 | 大连大学 | 动态背景下基于低秩及稀疏分解的动目标检测方法 |
-
2019
- 2019-09-29 CN CN201910933428.4A patent/CN110675422B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109002802A (zh) * | 2018-07-23 | 2018-12-14 | 武汉科技大学 | 基于自适应鲁棒主成分分析的视频前景分离方法和系统 |
CN110210282A (zh) * | 2019-04-03 | 2019-09-06 | 南京邮电大学 | 一种基于非凸低秩稀疏分解的运动目标检测方法 |
CN110287819A (zh) * | 2019-06-05 | 2019-09-27 | 大连大学 | 动态背景下基于低秩及稀疏分解的动目标检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110675422A (zh) | 2020-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110675422B (zh) | 一种基于广义非凸鲁棒主成分分析的视频前背景分离方法 | |
CN108520501B (zh) | 一种基于多尺度卷积稀疏编码的视频去雨雪方法 | |
CN105574534B (zh) | 基于稀疏子空间聚类和低秩表示的显著性目标检测方法 | |
Salman et al. | Real-time fish detection in complex backgrounds using probabilistic background modelling | |
CN107358623B (zh) | 一种基于显著性检测和鲁棒性尺度估计的相关滤波跟踪方法 | |
CN109685045B (zh) | 一种运动目标视频跟踪方法及系统 | |
CN105528595A (zh) | 在无人机航拍图像中对输电线路绝缘子的识别定位方法 | |
CN109146925B (zh) | 一种动态场景下显著性目标检测方法 | |
CN102708370A (zh) | 一种多视角图像前景目标提取方法及装置 | |
CN106780450A (zh) | 一种基于低秩多尺度融合的图像显著性检测方法 | |
CN104036296B (zh) | 一种图像的表示和处理方法及装置 | |
CN106504204A (zh) | 一种基于稀疏表示的单幅图像去雨方法 | |
CN104637060B (zh) | 一种基于邻域主成分分析-拉普拉斯的图像分割方法 | |
CN111428795A (zh) | 一种改进的非凸鲁棒主成分分析方法 | |
CN111191680A (zh) | 一种基于非凸运动辅助的目标检测方法 | |
CN107808391A (zh) | 一种基于特征选择与光滑表示聚类的视频动态目标提取方法 | |
CN109241932B (zh) | 一种基于运动方差图相位特征的热红外人体动作识别方法 | |
Yang et al. | Detail-aware near infrared and visible fusion with multi-order hyper-Laplacian priors | |
CN108171124B (zh) | 一种相似样本特征拟合的人脸图像清晰化方法 | |
CN104331700B (zh) | 基于轨迹能量扩散图的组行为识别方法 | |
CN110136164B (zh) | 基于在线透射变换、低秩稀疏矩阵分解去除动态背景的方法 | |
CN106296740B (zh) | 一种基于低秩稀疏表达的目标精细轮廓跟踪方法 | |
CN109636818A (zh) | 一种拉普拉斯正则约束下低秩稀疏优化的目标分割方法 | |
CN113160345B (zh) | 一种基于ConvLSTM的时间序列影像重建方法 | |
CN109002802A (zh) | 基于自适应鲁棒主成分分析的视频前景分离方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |